Description

Fondamentaux LLM

• Language Model des LLMs et Foundation Model des LLMs
• Reseau de neurones/ quantization/ enjeux hardware
• Fonctionnement théorique des « transformers »
• Le mécanisme d’« attention “
• Tokenisation et embedding
• Génération de texte
• De GPT à ChatGPT
• Les APIs pour LLMs
• Les différentes tâches de NLP: le choix du modèle LLM en fonction de la tâche
• Applications pratiques sur différentes tâches
• Utiliser un LLM en local

Adapter un LLM au cas d’usage 

• Choix d’un modèle adapté à son cas d’usage
• La génération augmentée de récupération (RAG)
• Unsupervised/supervised fine-tuning
• Implémenter un RAG  pour différentes tâches de LLMs

Finalité

Après une présentation des principaux concepts des LLM et à leur fonctionnements, ce cours  permettra d’acquérir les bonnes pratiques pour utiliser un LLM et l’adapter à son propre corpus. 

• Comprendre les principes des Large Language Models (LLM)
• Savoir manipuler un LLM
• Adapter un LLM à son corpus documentaire - Finetuning

Description des modalités d'évaluation

Projet

Public

Machine learning/Deep Learning