Quasiment toutes les roadmaps Gen AI incluent désormais le déploiement at scale d'assistants experts basés sur des approches RAG. Souvent, la direction prise par les équipes techniques est de considérer chaque assistant comme un projet à part entière, sans suffisamment inclure leur développement et leur maintenance dans un cadre LLMOps bien défini — or c'est ici que le principal obstacle à l'industrialisation d'applications Gen AI se situe, et non sur les capacités des modèles LLM.

Parmi ce cadre, les tests sont indispensables : Context Precision, Context Recall, Faithfulness etc. Les équipes d'Eurazeo et d'Eulidia ont donc mis en place l'automatisation des tests effectués sur les workflows Gen AI, via une intégration de la bibliothèque RAGAS au sein des services Cortex de Snowflake. Cela a permis de poser les bases essentielles pour le déploiement du RAG-as-a-Service, application permettant de créer automatiquement des RAG à destination des équipes internes, tout en garantissant leur performance et leur pertinence.