talk-data.com talk-data.com

Event

Pré-entrainement et finetuning des LLMs à partir de zéro (from scratch)

2025-02-23 – 2025-02-23 Meetup Visit website ↗

Activities tracked

2

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Building a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalisera sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch) 2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions : - Chaque rencontre se concentre sur un chapitre spécifique du livre - Les sessions alternent entre présentation théorique et mise en pratique - Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à : - Lire le chapitre correspondant avant chaque session - Préparer vos questions et observations - Partager vos réflexions lors des discussions de groupe

Prérequis techniques : - Maîtrise de la programmation orientée objet en Python - Curiosité et envie d'explorer les mécanismes internes des modèles de langage - Un ordinateur personnel pour pratiquer (pas besoin des GPUs. Les exemples du livre sont simplifiés pour permettre une exécution sur CPU)

Cette série d'événements vous permettra non seulement de comprendre les principes théoriques, mais aussi d'acquérir une expérience pratique dans la construction et l'optimisation des modèles de langage, des compétences particulièrement recherchées dans le domaine de l'IA.

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !

Sessions & talks

Showing 1–2 of 2 · Newest first

Search within this event →

Fine-tuning a Pre-trained Language Model

2025-02-23
talk

Session on 2025-02-23 focusing on fine-tuning techniques for a pre-trained model, in line with the series described in the description.

From scratch: Building a Language Model

2025-02-23
talk

Session on 2025-02-23 focusing on the complete creation of a language model from zero, based on 'Building a Large Language Model from Scratch' by Sebastian Raschka. The session is chapter-based and alternates between theoretical and practical components.