talk-data.com

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

We are going through Hands-On Build a Large Language Models (from Scratch) by Sebastian Raschka.

The emphasis during the meetups will be to discuss key aspect of the Chapter being covering. Code focused discussions should be done over Discord.

Raschka provides a step-by-step guide coding up your own foundation LLM ground up, spanning initial design and creation stages, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Pages being discussed: Please see the latest message (also pinned) in the #current-reading channel in our Discord chat space to see which pages we'll be reviewing in this session.

Please note that the session is not recorded and participants are responsible for obtaining their own copy of the text.

Discord joining instructions:

• https://bit.ly/llm-discord

Buy the book (affiliate links):

• Amazon UK
• Amazon US

Book overview: In Build a Large Language Model (from Scratch) bestselling author Sebastian Raschka guides you step by step through creating your own LLM. Each stage is explained with clear text, diagrams, and examples. You'll go from the initial design and creation, to pretraining on a general corpus, and on to fine-tuning for specific tasks.

Build a Large Language Model (from Scratch) teaches you how to:

• Plan and code all the parts of an LLM
• Prepare a dataset suitable for LLM training
• Fine-tune LLMs for text classification and with your own data
• Use human feedback to ensure your LLM follows instructions
• Load pretrained weights into an LLM

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Build a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalise sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch) 2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions : - Chaque rencontre se concentre sur un chapitre spécifique du livre - Les sessions alternent entre présentation théorique et mise en pratique - Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à : - Lire le chapitre correspondant avant chaque session - Préparer vos questions et observations - Partager vos réflexions lors des discussions de groupe

Prérequis techniques : - Maîtrise de la programmation orientée objet en Python - Curiosité et envie d'explorer les mécanismes internes des modèles de langage

Cette dernière session est spéciale car nous avons l'honneur d'accueillir l'auteur du livre lui-même Sebastian Raschka qui nous prodiguera des conseils et nous fournira des recommandations pour aller plus loin en Machine Learning, particulièrement en Traitement Automatique des langues et LLMs. Nous aurons également l'occasion de lui poser nos questions.

Programme de la dernière session de la série ce dimanche 09/03/2025 : 1. Présentation du chapitre 7. Finetuning to follow instructions. Comment ajuster un LLM pré-entraîné pour qu'il soit à mesure de suivre des instructions : 16h00 à 17h00 2. Questions et réponses sur le chapitre 7 : 17h00 à 17h10 3. Conseils et recommandations de Sebastian Raschka pour aller plus loin : 17h10 à 17h30 4. Questions et réponses avec Sebastian Raschka : 17h30 à 18h00

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Building a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalisera sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch) 2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions : - Chaque rencontre se concentre sur un chapitre spécifique du livre - Les sessions alternent entre présentation théorique et mise en pratique - Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à : - Lire le chapitre correspondant avant chaque session - Préparer vos questions et observations - Partager vos réflexions lors des discussions de groupe

Prérequis techniques : - Maîtrise de la programmation orientée objet en Python - Curiosité et envie d'explorer les mécanismes internes des modèles de langage

Cette série d'événements vous permettra non seulement de comprendre les principes théoriques, mais aussi d'acquérir une expérience pratique dans la construction et l'optimisation des modèles de langage, des compétences particulièrement recherchées dans le domaine de l'IA.

Cette semaine nous verrons comment faire du finetuning des LLMs pour la classification. Comment télécharger un modèle pré-entraîné et l'adapter à vos propres données.

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Building a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalisera sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch) 2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions : - Chaque rencontre se concentre sur un chapitre spécifique du livre - Les sessions alternent entre présentation théorique et mise en pratique - Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à : - Lire le chapitre correspondant avant chaque session - Préparer vos questions et observations - Partager vos réflexions lors des discussions de groupe

Prérequis techniques : - Maîtrise de la programmation orientée objet en Python - Curiosité et envie d'explorer les mécanismes internes des modèles de langage - Un ordinateur personnel pour pratiquer (pas besoin des GPUs. Les exemples du livre sont simplifiés pour permettre une exécution sur CPU)

Cette série d'événements vous permettra non seulement de comprendre les principes théoriques, mais aussi d'acquérir une expérience pratique dans la construction et l'optimisation des modèles de langage, des compétences particulièrement recherchées dans le domaine de l'IA.

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Building a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalisera sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch) 2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions : - Chaque rencontre se concentre sur un chapitre spécifique du livre - Les sessions alternent entre présentation théorique et mise en pratique - Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à : - Lire le chapitre correspondant avant chaque session - Préparer vos questions et observations - Partager vos réflexions lors des discussions de groupe

Prérequis techniques : - Maîtrise de la programmation orientée objet en Python - Curiosité et envie d'explorer les mécanismes internes des modèles de langage - Un ordinateur personnel pour pratiquer (pas besoin des GPUs. Les exemples du livre sont simplifiés pour permettre une exécution sur CPU)

Cette série d'événements vous permettra non seulement de comprendre les principes théoriques, mais aussi d'acquérir une expérience pratique dans la construction et l'optimisation des modèles de langage, des compétences particulièrement recherchées dans le domaine de l'IA.

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Building a Large Language Model from Scratch" de Sebastian Raschka (https://www.manning.com/books/build-a-large-language-model-from-scratch), cette série d'événements se focalisera sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch) 2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions : - Chaque rencontre se concentre sur un chapitre spécifique du livre - Les sessions alternent entre présentation théorique et mise en pratique - Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à : - Lire le chapitre correspondant avant chaque session - Préparer vos questions et observations - Partager vos réflexions lors des discussions de groupe

Prérequis techniques : - Maîtrise de la programmation orientée objet en Python - Curiosité et envie d'explorer les mécanismes internes des modèles de langage - Un ordinateur personnel pour pratiquer (pas besoin des GPUs. Les exemples du livre sont simplifiés pour permettre une exécution sur CPU)

Cette série d'événements vous permettra non seulement de comprendre les principes théoriques, mais aussi d'acquérir une expérience pratique dans la construction et l'optimisation des modèles de langage, des compétences particulièrement recherchées dans le domaine de l'IA.

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !

Plongez dans l'univers fascinant des modèles de langage en participant à notre série d'événements ! Basée sur l'ouvrage "Building a Large Language Model from Scratch" de Sebastian Raschka (https://www.amazon.com/Build-Large-Language-Model-Scratch/dp/1633437167) , cette série d'événements se focalisera sur deux aspects fondamentaux :

1. La création complète d'un modèle de langage depuis zéro (from scratch) 2. Les techniques d'ajustement (fine-tuning) d'un modèle pré-entraîné

Format des sessions : - Chaque rencontre se concentre sur un chapitre spécifique du livre - Les sessions alternent entre présentation théorique et mise en pratique - Un temps dédié aux questions et discussions permet d'approfondir les concepts complexes

Pour tirer le meilleur parti de cette expérience, nous vous encourageons à : - Lire le chapitre correspondant avant chaque session - Préparer vos questions et observations - Partager vos réflexions lors des discussions de groupe

Prérequis techniques : - Maîtrise de la programmation orientée objet en Python - Curiosité et envie d'explorer les mécanismes internes des modèles de langage - Un ordinateur personnel pour pratiquer (pas besoin des GPUs. Les exemples du livre sont simplifiés pour permettre une exécution sur CPU)

Cette série d'événements vous permettra non seulement de comprendre les principes théoriques, mais aussi d'acquérir une expérience pratique dans la construction et l'optimisation des modèles de langage, des compétences particulièrement recherchées dans le domaine de l'IA.

Rejoignez-nous pour cette aventure passionnante au cœur des technologies qui façonnent l'avenir du traitement du langage naturel !