La définition en une phrase
Un LLM, pour Large Language Model, est un programme entraîné sur une très grande quantité de textes afin de prédire la suite la plus probable d’un texte donné. En français, on parle de grand modèle de langage.
Cette capacité de prédiction suffit à produire des réponses, des résumés, des traductions ou du code. Quand vous posez une question à un assistant d’IA, le modèle écrit sa réponse morceau par morceau, en choisissant à chaque fois la suite la plus probable.
Les tokens, l’unité de base
Un LLM découpe le texte en tokens : des bouts de mots, des mots courts ou des signes de ponctuation. Le mot « bonjour » peut tenir en un seul token, alors qu’un mot rare comme « anticonstitutionnellement » en compte plusieurs.
Les tokens servent aussi d’unité de mesure. Les offres pour développeurs sont facturées au nombre de tokens, et chaque modèle a une limite de texte qu’il peut prendre en compte d’un coup, appelée fenêtre de contexte.
Comment il apprend
L’entraînement se fait en deux grandes étapes. D’abord, le modèle lit des milliards de phrases tirées de livres et de pages web, et ajuste ses réglages internes pour mieux deviner le mot suivant. Ensuite, des équipes humaines lui montrent des exemples de bonnes réponses et notent ses propositions, pour qu’il suive mieux les consignes.
Le résultat est un très gros fichier de valeurs numériques, appelées paramètres. Les modèles récents en comptent des dizaines, voire des centaines de milliards.
Pourquoi il peut inventer des informations
Le modèle produit une suite probable, et une phrase probable peut être fausse. S’il ne dispose pas de l’information, il écrit quand même une réponse qui a l’allure d’une bonne réponse. On appelle ce phénomène une hallucination.
Cas courant : vous demandez la source d’un chiffre, et l’outil cite un rapport avec un titre crédible et une date. Le rapport n’existe pas. Pour un chiffre ou une référence juridique, vérifiez à la source avant de réutiliser la réponse.
Certains assistants consultent le web avant de répondre et affichent leurs sources. Le risque baisse sans disparaître, alors ouvrez les liens proposés avant de les citer.
Quelques LLM que vous croisez déjà
- GPT, d’OpenAI, qui fait fonctionner ChatGPT ;
- Claude, développé par Anthropic ;
- Gemini, de Google, intégré à Gmail et à Google Docs ;
- Llama, publié par Meta, que des entreprises installent sur leurs propres serveurs ;
- les modèles de Mistral AI, une entreprise française, qui alimentent son assistant Le Chat.
LLM, chatbot et moteur de recherche
Le LLM est le moteur. Le chatbot est l’interface de discussion construite autour, avec ses réglages et parfois des outils en plus, comme la recherche web ou la lecture de fichiers. ChatGPT est un chatbot ; GPT est le modèle qui le fait fonctionner.
Un moteur de recherche classique affiche des liens vers des pages qui existent déjà. Un LLM rédige un texte nouveau à partir de ce qu’il a appris, ce qui le rend pratique pour reformuler et moins sûr pour vérifier un fait.
Ce que ça change pour vous
Un LLM rend service sur les tâches dont vous pouvez juger le résultat, comme le premier jet d’un courrier ou le résumé d’un compte rendu de vingt pages. Un prompt qui précise le public visé et le ton attendu demande ensuite moins de corrections.
Évitez d’y coller des données personnelles de clients ou des documents confidentiels, sauf si votre entreprise a souscrit une offre qui encadre leur traitement. Les conditions d’utilisation varient d’un service à l’autre et changent régulièrement.
À retenir
Un LLM prédit la suite d’un texte à partir de ce qu’il a appris pendant son entraînement. Il rédige vite, mais il peut affirmer une erreur avec aplomb : la vérification reste de votre côté.