Les grands modèles de langage (LLM) ont révolutionné la résolution de problèmes en langue naturelle, mais connaissez-vous leurs limites ? Les LLM ont des tailles de contexte variant considérablement, allant de quelques milliers à plusieurs millions de tokens, mais que cela implique-t-il concrètement ?

Dans cette session, nous aborderons les points suivants via exemples illustrés et démos :

Qu’est-ce que la fenêtre de contexte d’un LLM ?

Quelle est la relation entre données, tokens, performances et coûts ?

En pratique, comment peut-on pousser les LLM dans leurs limites ?

Quels sont les cas d’usage uniquement résolus grâce à un long contexte ?

Quelles sont les différences avec une approche RAG (Retrieval Augmented Generation) ?