Une machine à prédire la suite

  • 6 min
  • 30 points
  • Relu le 4 octobre 2026
  1. 1Une machine à prédire la suite
  2. 2Pourquoi deux réponses diffèrent
  3. 3Plausible n’est pas vrai

À la fin de cette étape, vous saurez :

  • Expliquer qu’un modèle de langage prédit la suite d’un texte, token après token
  • Savoir ce que sont un token et une fenêtre de contexte

Situation · histoire imaginée

Sonia est bluffée : l’assistant répond à tout, dans un français impeccable. « Il a dû tout lire, et il cherche la réponse dans sa mémoire », pense-t-elle. Est-ce ainsi qu’il fonctionne ?

L’essentiel

Un grand modèle de langage, à lui seul, ne va pas chercher une réponse dans une base de données. Il prédit la suite la plus probable du texte, un Token Unité de texte traitée par un modèle. Voir le glossaire après l’autre GPT-4 Technical Report (mars 2023)OpenAI (arXiv).
Source primaire · consultée le 25 septembre 2026
Consulter la source
. C’est pourquoi il écrit si bien… et pourquoi il peut se tromper avec aplomb.

Trois notions pour comprendre

Le token. Le modèle ne lit pas forcément des mots entiers, mais des tokens : des mots, des morceaux de mots, des caractères. Pour Claude, un token représente environ 3,5 caractères de texte anglais ; le nombre varie selon la langue Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG)Anthropic.
Source primaire · consultée le 25 septembre 2026
Consulter la source
.

La prédiction. À chaque étape, le modèle calcule la probabilité de chaque suite possible, en choisit une, puis recommence avec le texte ainsi allongé. Une réponse entière se construit ainsi, token après token.

La Fenêtre de contexte Quantité de texte qu’un modèle peut prendre en compte pour produire sa réponse (question, échanges précédents, documents fournis) ; une mémoire de travail, distincte des données d’entraînement. Voir le glossaire. C’est la quantité de texte que le modèle peut prendre en compte pour répondre : votre question, les échanges précédents, les documents fournis. Une sorte de mémoire de travail, distincte de tout ce qu’il a lu pendant son entraînement.

Comment un modèle de langage prédit la suiteLa phrase « Le vélo électrique est » est découpée en cinq tokens : Le, vélo, élec, trique, est. Le modèle calcule une probabilité pour chaque suite possible : pratique 46 %, lourd 31 %, cher 23 %. Il choisit « pratique », l’ajoute à la phrase, puis recommence avec le texte allongé.1. Le texte, découpé en tokensLevéloélectriqueest?pratique2. Une probabilité pour chaque suite possiblepratique46 %lourd31 %cher23 %3. Il en choisit une, l’ajoute au texte…↻ puis recommence avec le texte allongé.
Exemple imaginé : le découpage et les probabilités sont illustratifs. Chaque nouveau token s’ajoute au texte, qui sert à prédire le suivant.

Vrai ou faux

Comment répond un modèle de langage ?

Vrai ou faux ?

  1. Pour répondre, le modèle seul recherche la bonne réponse dans une base de données.
  2. Une réponse se construit token après token.
  3. Un token correspond toujours à un mot entier.
  4. La fenêtre de contexte est la quantité de texte que le modèle peut prendre en compte pour répondre.
Répondez à tout pour valider.
ComprendreDu modèle brut à l’assistant

Un modèle seulement entraîné à prédire la suite des textes répond mal aux questions. On l’ajuste ensuite (Fine-tuning Ajustement d’un modèle sur des données spécifiques. Voir le glossaire), notamment avec des retours humains sur ses réponses (apprentissage par renforcement, RLHF), pour en faire un assistant qui suit des consignes Glossaire de la documentation (tokens, température, fenêtre de contexte, RAG)Anthropic.
Source primaire · consultée le 25 septembre 2026
Consulter la source
.

Question

Faire parler un document

Choisissez la bonne réponse.

Sonia veut que l’assistant réponde à propos d’un devis précis reçu hier. Que doit-elle faire ?
Répondez à tout pour valider.

À retenir

  • Un modèle de langage prédit la suite d’un texte, token après token ; à lui seul, il ne consulte pas une base de faits.
  • Il s’appuie sur ce qui tient dans sa fenêtre de contexte : ce que vous lui fournissez compte.
  • Bien écrit ne veut pas dire vrai : la prédiction vise le plausible.

Sources

Contenu tiré de la base de connaissance du site (§2.2, §2.10), dont chaque affirmation est sourcée et datée. Dernière vérification des sources : 25 septembre 2026.

Une précaution. L’auteur de ce site n’est pas juriste. Les règles citées ont été documentées avec soin, à partir de sources officielles datées, mais une erreur ou un changement récent reste possible : en cas de doute, vérifiez le texte officiel ou demandez l’avis d’un professionnel. Vous avez repéré une erreur ? Signalez-la : chaque signalement aide les lecteurs suivants.

Fin de l’étape

Faites les activités de la page, puis terminez l’étape.