SRE gets many customer tickets, some of which are answered in the many go links we have on our page that no one will read. RAG trains an LLm on our codebase, internal documentation, forums, issues queries, etc. These contextual resources help the customer get better answers to their questions faster, freeing up time on both the customer, dev, and SRE side. Additionally, this helps train our team more efficiently as well.

Les grands modèles de langage (LLM) ont révolutionné la résolution de problèmes en langue naturelle, mais connaissez-vous leurs limites ? Les LLM ont des tailles de contexte variant considérablement, allant de quelques milliers à plusieurs millions de tokens, mais que cela implique-t-il concrètement ?

Dans cette session, nous aborderons les points suivants via exemples illustrés et démos :

Qu’est-ce que la fenêtre de contexte d’un LLM ?

Quelle est la relation entre données, tokens, performances et coûts ?

En pratique, comment peut-on pousser les LLM dans leurs limites ?

Quels sont les cas d’usage uniquement résolus grâce à un long contexte ?

Quelles sont les différences avec une approche RAG (Retrieval Augmented Generation) ?