Une machine à prédire la suite
À la fin de cette étape, vous saurez :
- Expliquer qu’un modèle de langage prédit la suite d’un texte, token après token
- Savoir ce que sont un token et une fenêtre de contexte
Situation · histoire imaginée
Sonia est bluffée : l’assistant répond à tout, dans un français impeccable. « Il a dû tout lire, et il cherche la réponse dans sa mémoire », pense-t-elle. Est-ce ainsi qu’il fonctionne ?
L’essentiel
Un grand modèle de langage, à lui seul, ne va pas chercher une réponse dans une base de données. Il prédit la suite la plus probable du texte, un Token Unité de texte traitée par un modèle. Voir le glossaire après l’autre GPT-4 Technical Report (mars 2023)OpenAI (arXiv).
Source primaire · consultée le 25 septembre 2026
Consulter la source. C’est pourquoi il écrit si bien… et pourquoi il peut se tromper avec aplomb.
Trois notions pour comprendre
Le token. Le modèle ne lit pas forcément des mots entiers, mais des tokens : des mots, des morceaux de mots, des caractères. Pour Claude, un token représente environ 3,5 caractères de texte anglais ; le nombre varie selon la langue Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG)Anthropic.
Source primaire · consultée le 25 septembre 2026
Consulter la source.
La prédiction. À chaque étape, le modèle calcule la probabilité de chaque suite possible, en choisit une, puis recommence avec le texte ainsi allongé. Une réponse entière se construit ainsi, token après token.
La Fenêtre de contexte Quantité de texte qu’un modèle peut prendre en compte pour produire sa réponse (question, échanges précédents, documents fournis) ; une mémoire de travail, distincte des données d’entraînement. Voir le glossaire. C’est la quantité de texte que le modèle peut prendre en compte pour répondre : votre question, les échanges précédents, les documents fournis. Une sorte de mémoire de travail, distincte de tout ce qu’il a lu pendant son entraînement.
Vrai ou faux
Comment répond un modèle de langage ?
Vrai ou faux ?
ComprendreDu modèle brut à l’assistant
Un modèle seulement entraîné à prédire la suite des textes répond mal aux questions. On l’ajuste ensuite (Fine-tuning Ajustement d’un modèle sur des données spécifiques. Voir le glossaire), notamment avec des retours humains sur ses réponses (apprentissage par renforcement, RLHF), pour en faire un assistant qui suit des consignes Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG)Anthropic.
Source primaire · consultée le 25 septembre 2026
Consulter la source.
Question
Faire parler un document
Choisissez la bonne réponse.
À retenir
- Un modèle de langage prédit la suite d’un texte, token après token ; à lui seul, il ne consulte pas une base de faits.
- Il s’appuie sur ce qui tient dans sa fenêtre de contexte : ce que vous lui fournissez compte.
- Bien écrit ne veut pas dire vrai : la prédiction vise le plausible.
Sources
- GPT-4 Technical Report (mars 2023), OpenAI (arXiv)source primaire
- Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG), Anthropicsource primaire
Contenu tiré de la base de connaissance du site (§2.2, §2.10), dont chaque affirmation est sourcée et datée. Dernière vérification des sources : 25 septembre 2026.
Une précaution. L’auteur de ce site n’est pas juriste. Les règles citées ont été documentées avec soin, à partir de sources officielles datées, mais une erreur ou un changement récent reste possible : en cas de doute, vérifiez le texte officiel ou demandez l’avis d’un professionnel. Vous avez repéré une erreur ? Signalez-la : chaque signalement aide les lecteurs suivants.
Fin de l’étape
Faites les activités de la page, puis terminez l’étape.