Connexion à l'espace du CercleDiagnostic 30 min

Fondamentaux de l'IAMis à jour le

Qu'est-ce qu'un LLM (grand modèle de langage) ?

Un LLM, ou grand modèle de langage, est un modèle d'intelligence artificielle entraîné sur d'immenses volumes de textes pour prédire la suite la plus probable d'un texte, ce qui lui permet de rédiger, résumer, traduire, répondre ou raisonner.

Aussi appelé : grand modèle de langage, large language model, modèle de langage, LLMs

En clair

Un commercial colle dans un assistant les notes prises pendant un rendez-vous et demande un e-mail de suivi qui reprend les besoins du client et propose une date. Le LLM rédige un premier jet fluide, au bon ton. Le commercial vérifie les détails, ajuste une phrase et l'envoie.

Comment ça marche

Un pré-entraînement sur d'immenses volumes de textes

Le modèle apprend d'abord à prédire le mot suivant sur une très grande quantité de textes. Il y gagne une connaissance large de la langue et du monde, stockée dans ses paramètres. La plupart des LLM actuels reposent sur l'architecture dite transformeur, présentée en 2017.

Un affinage pour devenir un assistant

Un modèle seulement pré-entraîné complète des textes, il ne suit pas bien les consignes. On l'affine ensuite (fine-tuning), notamment avec des retours humains qui classent ses réponses, pour qu'il devienne un assistant utile et prudent.

Ce qu'il lit et ce qu'il produit

Le LLM lit et écrit en tokens, des morceaux de mots. Il ne voit à un instant donné que le contenu de sa fenêtre de contexte : votre consigne, la conversation et les documents fournis.

À ne pas confondre avec

LLM (grand modèle de langage) et les termes voisins
Terme voisinSa définitionLa différence
IA générativeL'IA générative est une famille d'intelligence artificielle qui produit un contenu nouveau, texte, image, son ou code, à partir d'une consigne, le plus souvent écrite en langage courant, grâce à ce qu'elle a appris de grands volumes de données.Le LLM est le moteur. L'IA générative est la famille d'usages qu'il rend possibles, et elle inclut aussi des modèles d'images ou de son qui ne sont pas des LLM.
Modèle de fondationUn modèle de fondation est un grand modèle d'IA entraîné sur des données très vastes et variées, aux capacités générales, que l'on adapte ensuite à de nombreuses tâches différentes, comme rédiger, résumer, traduire ou analyser.Un modèle de fondation peut traiter du texte, des images ou du son. Un LLM est un modèle de fondation centré sur le langage.
  • TokenUn token est la plus petite unité de texte qu'un modèle de langage lit et produit, un mot, un morceau de mot ou un signe, et c'est en tokens que se comptent les limites et les tarifs des modèles.
  • Fenêtre de contexteLa fenêtre de contexte est la quantité maximale de texte, mesurée en tokens, qu'un modèle de langage peut prendre en compte en une fois : la consigne, la conversation, les documents fournis et sa propre réponse.
  • PromptUn prompt est la consigne écrite en langage courant que l'on donne à une IA générative pour obtenir une réponse : une question, une tâche à accomplir, avec le contexte, le format attendu et parfois des exemples.
  • IA générativeL'IA générative est une famille d'intelligence artificielle qui produit un contenu nouveau, texte, image, son ou code, à partir d'une consigne, le plus souvent écrite en langage courant, grâce à ce qu'elle a appris de grands volumes de données.
  • Modèle de fondationUn modèle de fondation est un grand modèle d'IA entraîné sur des données très vastes et variées, aux capacités générales, que l'on adapte ensuite à de nombreuses tâches différentes, comme rédiger, résumer, traduire ou analyser.
  • HallucinationUne hallucination est une réponse fausse ou inventée qu'une IA générative présente avec assurance comme un fait : un chiffre, une citation, une source ou un événement qui n'existe pas.

Pour aller plus loin

Questions fréquentes

ChatGPT, Claude et Mistral sont-ils des LLM ?

Ce sont des assistants construits sur des LLM : GPT pour ChatGPT, Claude pour l'assistant du même nom, les modèles Mistral pour Le Chat. L'assistant ajoute une interface, des outils et des règles d'usage autour du modèle.

Un LLM connaît-il les informations récentes ?

Pas par lui-même : il connaît ce qui figurait dans ses données d'entraînement, jusqu'à une date limite. Pour des informations récentes ou internes, on lui fournit des documents dans la conversation, ou on le relie à une recherche web ou à une base documentaire.

Pourquoi un LLM se trompe-t-il parfois avec assurance ?

Parce qu'il produit le texte le plus plausible, pas le plus vrai. Sans source à laquelle se référer, il peut inventer un chiffre ou une citation : c'est une hallucination.

Sources

  1. CNIL, définition « Modèle de langage », consulté le .
  2. Anthropic, glossaire de la documentation Claude (LLM, pretraining, RLHF), consulté le .
  3. Wikipédia, « Transformeur », consulté le .

30 minutes pour savoir combien de temps vous récupérez.

Diagnostic offert, sans engagement, avec Mehdi ou Loïc. Réponse confirmée sous 24 h ouvrées.

  • Un échange concret, pas un argumentaire
  • 3 pistes d'automatisation identifiées
  • Compte-rendu écrit envoyé sous 24 h
Réserver mon diagnostic gratuitAppeler le +33 6 35 51 35 74

Réserver votre diagnostic de 30 min

30 minutes avec Mehdi ou Loïc, offertes et sans engagement. Choisissez le créneau qui vous arrange.

Chargement du planning…

Ouvrir le planning dans un nouvel onglet

Cookies et mesure d'audience

Nous mesurons l'audience avec Google Analytics si vous l'acceptez. En savoir plus sur les cookies et la politique de confidentialité