Fabrique-moi une IA #2 — La prédiction

Dans la 1ère édition de L’IA, décantée, on a dit : un LLM, au fond, c’est de l’internet compressé. Cette compression se produit lors de la première étape de fabrication de l’IA, le pré-entrainement.

Questions : comment la compression fonctionne-t-elle ? On obtient quoi après le préentraînement ? Pourquoi les réponses à ces 2 questions devraient intéresser tout utilisateur d’IA ?

Si vous êtes pressé(e)

Un LLM ne mémorise pas internet, il le compresse en repérant des régularités comme un chef retient des recettes-types plutôt que d’en retenir 10 000 par cœur. La compression produit un “modèle de base” capable de prédire, statistiquement, le prochain mot dans une phrase. Comme il a compressé des millions de page web durant son entrainement, il peut simuler leur structure. Une IA peut recréer des pages web parce qu’elle sait à quoi celles-ci ressemblent, statistiquement. Par contre, pour le contenu exact de la page ? Elle invente…

Enjeux et perspectives : les hallucinations sont structurelles à l’IA, pas accidentelles. Elles fonctionnent comme les mirages du désert : phénomènes réels, prédictibles, et inévitables dans certaines conditions. Si le LLM prédit le prochain mot le plus probable, il n’a en revanche aucun mécanisme pour distinguer le vrai du faux. Demander à l’IA “ne dis que des choses vraies” revient à demander à un mirage de disparaître : c’est architecturalement impossible.

Dans la partie pro, on fait plus que “faire avec” cette réalité mécanique : on s’assure qu’elle fonctionne pour nous.

Structure de l’article

Aperçu de la phase de préentraînement

Résultat : la création d’un “modèle de base”

Impact sur nos stratégies de prompts (partie payante).

1. Première phase de fabrication d’un LLM : le préentraînement

Un modèle préentraîné sur plusieurs dizaines ou centaines de téraoctets de texte peut finir par tenir dans un disque dur ordinaire. Comment est-ce possible ?

La réponse à cette question importe : comprendre ce mécanisme explique pourquoi les LLM sont à la fois incroyablement performants et peu fiables. En retraçant la genèse d’un LLM, on constate que les problèmes d’hallucination qu’on rencontre au quotidien font partie intégrante de l’architecture de ces IA. Le mécanisme de compression révèle quand et pourquoi ces erreurs apparaissent.

Pourquoi le préentraînement marche si bien

Imaginons : un chef cuisinier veut « mémoriser » 10 000 recettes. Il a deux options :

Faire du par cœur (± fichier .zip) :
- Mémoriser chaque recette mot pour mot : « Ajouter 250 g de farine, 3 œufs, 100 ml de lait… »
- Espace mémoire requis : énorme
- Reconstruction : parfaite (récitation exacte)
Mémoriser des régularités (approche LLM) :
- Observer que beaucoup de recettes suivent des régularités :
  - « Les gâteaux commencent souvent par : “farine + œufs + liquide” »
  - « Les sauces commencent souvent par : matière grasse + aromates »
  - « Les proportions suivent des ratios récurrents »
- Décider de mémoriser les règles, les régularités… pas les recettes exactes
- Espace mémoire requis : beaucoup plus petit
- Reconstruction : approximative mais plausible. Notre chef ne peut pas retrouver des recettes précises : il ne s’en rappelle pas et n’a même jamais essayé. Par contre, il peut préparer quelque chose qui ressemble plutôt bien à un repas…

Lors de sa phase de préentraînement, le LLM ne fait pas du par cœur. Il mémorise des régularités, des empreintes, des schémas ; le rythme, la trame, la séquences ; des enchaînements, des configurations, des profils ; l’agencement, la tendance, la règle. Ce qui revient. Ce qui est récurrent. Ce qui structure. Et il établit, au sein de cette grammaire cachée, des liens.

Voilà pourquoi, dans la 1re édition, j’ai parlé d’un « résumé compressé intelligent ». « Le terme « intelligent » ne désignait pas une capacité cognitive des LLMs, mais la manière dont la compression de l’information était effectuée lors de leur préentrainement : elle structurée, optimisée. Mais on reste à des années lumière d’une intelligence au sens humain.

Le mécanisme de compression

Ce qui se passe durant le préentraînement :

1. Exposition massive : le modèle voit des trillions de séquences de mots. Imaginons que la phrase « La capitale de la France est… » → « Paris » apparaisse dans 1M de documents.

2. Ajustement des paramètres : chaque fois que l’IA prédit mal, ses milliards de réglages sont légèrement ajustés, comme si le chef affinait ses règles : « Ah, je comprends, les gâteaux français utilisent plus de beurre que les gâteaux anglais… »¹ Ces ajustements capturent des régularités statistiques, pas du texte exact.

3. Convergence : après des millions d’ajustements, le LLM fait des liens. Il se dit en quelque sorte : « Ah ok, quand je lis “capitale de la France est”, il y a une forte probabilité pour que le mot suivant dans la phrase soit “Paris” ».

Comment les LLM peuvent-ils compresser à ce point de l’information ?

S’il a appris à prédire qu’après la phrase « la capitale de la France est » + réponse « Paris », il n’a plus besoin de se souvenir du million de documents dans lesquels cette phrase apparaît… La seule chose sauvegardée dans son résumé géant et « intelligent » ?

Cette régularité/règle :

“France” + “capitale” → ...
“Paris” (probable) 
"Lyon" (clairement peu probable) 😁

Cette compression est très efficace parce que les données internet sont hautement redondantes. Dans les quelques milliards de pages web utilisées durant le préentraînement, des milliers d’articles expliquent que « Paris est la capitale de la France ». Des millions de documents suivent les mêmes structures grammaticales. Les mêmes formules apparaissent, encore et encore.

Savoir prédire pour ne plus se souvenir

Le préentraînement coûte cher, mais extraire des motifs ou des schémas récurrents réduit considérablement la taille du fichier final, puisqu’on peut se débarrasser de tout ce qui est redondant une fois la règle identifiée.

Point clé : le résumé compressé d’un LLM stocke des règles, pas des copies de texte.

Un changement de perspective nécessaire

Évitez de penser que le modèle « apprend » ou « comprend ». En réalité, ses paramètres encodent des régularités statistiques. Les associations sont stockées mécaniquement au sein du son résumé compressé de tout ce qu’il a lu, sans qu’il n’y ait aucune compréhension.

Après des jours, voire des semaines ou des mois d’entraînement, et des (100aines de) millions de dollars à apprendre à prédire le prochain mot d’une phrase afin de réduire la taille du fichier final d’un LLM, qu’obtient-on ?

Un « modèle de base ».

2. Le « modèle de base » : capable de faire quoi exactement ?

Que produit ce buffet à volonté-marathon où le modèle avale toutes les données qu’on peut lui fournir ?

Déjà, il n’est pas un ChatGPT-4 ou 5, capable de converser : il ne comprend pas encore le principe de questions / réponses. On ne peut pas lui donner d’instructions. Par contre, ce modèle excelle à reproduire des structures de texte (formes), mais sans vérifier la réalité des données (fond).

Puisqu’on lui a fait voir des millions de page web, il est capable d’en créer. Par exemple, il peut imiter la structure d’une page de vente de livre sur Amazon.

Lorsqu’on lui demande de générer une telle page, il décompresse la structure exacte : titre, auteur, maison d’édition, nombre de pages, nº ISBN… Par contre, il la remplit avec les informations les plus statistiquement probables : il génère un numéro ISBN (séquence de 10 ou 13 chiffres), un titre cohérent, etc., mais ces éléments sont inventés. Ce sont des mélanges factuels plausibles mais factuellement faux.

Le résultat est une façade parfaite qui prouve sa maîtrise de la structure et de la grammaire, mais aussi son incapacité inhérente à distinguer le vrai du faux sans un mécanisme de vérification externe.

Point clé : un modèle de base est capable de créer des décors plausibles, mais il les peuple d’information inexactes.

C’est comme si l’IA était un JPEG floue du web (@Ted Chiang) : les motifs à haute fréquence sont conservés, mais les détails précis disparaissent dès que vous commencez à zoomer sur l’image (dates, chiffres exacts, faits rares)…

Ce qu’il fait :

Simule les régularités statistiques de documents internet
Complète automatiquement des séquences de texte
Peut mémoriser le contenu fréquemment vu (articles Wikipédia)
Génère des « reconstructions » à partir des données d’entraînement compressées

Ce qu’il ne fait pas :

Répondre utilement aux questions (nécessite un autre étape d’entrainement – on en reparle) ou suivre des instructions (nécessite un alignement – on en reparlera aussi)
Vérifier les faits (son architecture ne contient aucun mécanisme de ce type)
« Savoir » qu’il ne sait pas quelque chose

C’est Andrej Karpathy qui donne l’exemple de la page d’un livre vendu sur Amazon. Il décrit le modèle de base ainsi :

« [C’est] un simulateur de texte internet… [Il] crée des remixes d’internet ; il rêve des pages internet. »

Vous avez bien lu : un modèle de base… « rêve ».

Distinction critique : le modèle de base est un simulateur. Mais c’est parce qu’il est, par essence et avant tout de chose, un rêveur. Même après les étapes suivantes d’entrainement, le rêveur demeure. C’est ce qu’on a créé, architecturalement. Pas un penseur, ni un vérificateur : un rêveur. Si c’est ce qu’il fait et ce qu’il est, comment lui reprocher d’halluciner ?

Pourquoi le préentraînement marche si mal

Résumons l’objectif du préentraînement : le modèle apprend à prédire le prochain mot pour minimiser l’« erreur » de prédiction. Pour ça, il ajuste des milliards de paramètres sur une centaine de milliards de séquences de mots. Il repère des motifs, des règles, des récurrences, et construit des associations statistiques entre les séquences de mots. Il fabrique son « résumé compressé intelligent ».

Par contre, il n’apprend pas à distinguer le vrai du faux, à vérifier les faits. Il ne développe pas d’humilité épistémique (= n’apprend pas à dire « Je ne sais pas »).

Fondamentalement, un LLM « rêve » ce qu’il produit pour nous répondre.
Dans ce cas, comment lui reprocher d’halluciner ?

Ce n’est pas un bug. C’est son fonctionnement. L’architecture de ces IA est basée sur la prédiction du mot suivant le plus probable. L’IA ne sait pas si le mot suivant le plus probable correspond à la réalité du monde physique. C’est de la statistique, pas de la vérité.

Sous le capot : la mécanique réelle

Plus tard dans sa vie, une fois transformé en agent conversationnel, il ne « comprend » pas votre requête ni n’« exécute » une instruction quand vous le sollicitez. Il effectue la seule tâche pour laquelle il a été entraîné :

Recevoir la séquence de mots de votre prompt
Prédire le mot suivant le plus probable statistiquement
Ajouter ce mot à la séquence
Répéter

Une IA ne sait distinguer le vrai du faux. Pour elle, « halluciner » n’a aucun sens. Halluciner, c’est ce qu’elle fait 24/24. Parfois, elle hallucine sévère. Parfois un peu moins. Mais la mécanique (prédire le prochain mot) est la même, et sous-tend tout ce qu’elle fabrique.

Pourquoi demander « Ne dis que des choses vraies » ne sert à rien

Vous ne pouvez pas « corriger » les hallucinations en demandant au modèle d’être véridique. La vérification de la vérité nécessite un mécanisme différent.

L’architecture actuelle des LLM a :

Un objectif : prédire le prochain mot
Une méthode : maximiser la probabilité d’une continuation plausible
Une sortie : séquences statistiquement probables

Vous notez ce qui manque ? Il n’y a pas de « module de vérité » prêt à être enclenché. Vous demandez à un système de reconnaissance de séquences de se vérifier lui-même ? Il n’en est simplement pas capable.

Les hallucinations persistent dès le modèle de base et jusqu’à ce qu’il devienne un modèle conversationnel, puisqu’elles sont issues de l’architecture de base du LLM :

Limite du système : dire à un modèle d’« être vrai », de ne pas « inventer » est inutile. Il ne peut pas vérifier ses affirmations. Ses erreurs viennent souvent du manque de données, d’une recherche défaillante, d’un raisonnement incorrect ou d’une génération fautive. La suite de la newsletter (abonnés payants) détaille des stratégies pour gérer ces limites.
Limite de la prédiction : certaines informations sont imprévisibles. Le modèle peut bien apprendre les règles de grammaire, mais pas les faits rares comme une date précise ou un événement récent. Il cherche à les deviner, souvent mal.
Corrections superficielles : les réglages post-entraînement rendent le modèle plus prudent, sans corriger le fond du problème : il reste un système de compression textuelle sans vérification du réel.

Conclusion

Le préentrainement produit un modèle de base : une machine qui simule des pages web en décompressant des régularités statistiques. Pour la transformer en assistant conversationnel, deux transformations supplémentaires sont nécessaires (tuning et alignement).

Dans les prochaines éditions, nous détaillerons ces phases, mais retenez ceci : elles rendent les hallucinations moins fréquentes sans pouvoir les éliminer. Le mécanisme central – prédiction du mot suivant à partir de régularités compressées – demeure.

Pour les professionnels (formateurs, entrepreneurs, PME, organismes de formation, consultants), la question devient donc : comment naviguer l’IA en évitant les tempêtes d’hallucinations statistiques ?

Si l’IA opère en suivant des probabilités, la seule réponse cohérente sur le plan architectural est la vérification par défaut. Les pros doivent s’appuyer sur des flux de travail considérant les LLM comme des machines nécessitant une validation humaine, et non comme des bases de connaissances dignes de confiance. Cette validation commence par des prompts bétons. En en parle ci-dessous avec les abonnés.

3. Professionnels : êtes-vous conscients du mirage ?

Vous roulez dans la vallée de la Mort. Le Soleil est haut dans le ciel et pèse lourdement sur la Terre. L’air compressé vacille ; la chaleur déforme l’horizon. Devant vous, une étendue d’eau sur la route. Un lac, parfait reflet du ciel, vibrant de lumière. En vous approchant, il disparaît, puis réapparaît plus loin. Le béton brûle, et l’eau vous échappe.

Ce n’est pas une hallucination. Vous ne rêvez pas. Aucun problème avec vos yeux. C’est la lumière qui se réfracte à travers des couches d’air chaud et froid, suivant parfaitement les lois de la physique. Le phénomène est réel, prévisible, inévitable dans ces conditions.

Un LLM générant de faux « faits » fonctionne de la même manière : des motifs statistiques se réfractent à travers l’architecture de compression. Le phénomène est inévitable, mais prévisible. Ci-dessous, on analyse le phénomèmne et on explique comment l’encadrer. Vous accédez à des matrices d’analyse et à un document de prompt.

Du mirage physique au mirage d’IA

Mills & Angell ont tenté d’imposer le mot « mirage d’IA » pour capturer la tendance de l’IA à halluciner tout en éliminant l’impression de faire face à un être conscient, moralement coupable de mensonge ou de demi-vérité (Mills & Angell, 2025) :

« Tout comme un mirage dans le désert est un artefact de conditions physiques, un mirage d’IA est un artefact de la façon dont les systèmes traitent les données d’entraînement et les prompts. Dans les deux cas, un humain peut confondre un mirage avec la réalité ou le voir pour ce qu’il est vraiment. »

J’ai brièvement papoté Nate Angell suite à la publication de son papier. Il sait bien que le combat est perdu d’avance et que le terme « hallucination » a pris dans le discours populaire. Mais son « mirage d’IA » est, sur le plan mécanique, un terme plus approprié qu’« hallucination ».

Pourquoi ?

Un mirage d’IA est un phénomène physique, et n’implique pas un état mental : les LLM n’ont pas de conscience. L’analogie est plus appropriée.
Le mirage d’IA n’est pas un dysfonctionnement : des conditions spécifiques produisent ces erreurs appelées “hallucinations”.
Il est donc prévisible (comme les mirages apparaissent à midi sur les routes chaudes).
En avoir conscience – en tant qu’utilisateur – ne l’élimine pas (vous voyez toujours un mirage même en sachant que c’est un mirage).

Les conditions du mirage

Tout comme les voyageurs expérimentés apprennent à identifier les conditions de leur apparition (route plate + soleil de midi + chaleur extrême), les utilisateurs de LLM peuvent cartographier les conditions propices à l’hallucination.

Conditions à haut risque (mirage probable) :

Événements récents (post-coupure)²
Sujets de niche (rares dans les données d’entraînement)
Pas de sources fournies
Raisonnement multi-étapes sans structure

Conditions à bas risque (mirage improbable) :

Sujets bien documentés
Sources fournies dans le prompt
Raisonnement explicite demandé (étape par étape)
Vérification externe activée

Quatre types de mirages statistiques

1. Mirages de lacune de connaissances

Cause : l’information manque ou a été oubliée lors du préentraînement
Mécanisme : le modèle doit continuer la phrase, c’est son job, donc il remplit les trous avec ce qui semble plausible
Analogie : décrire un film que vous n’avez jamais vu en vous basant sur des films similaires
Conditions d’apparition : événements récents, sujets très spécifiques, contenu filtré (enlevé de ses sources lors du préentraînement)
Exemple : poser une question sur l’élection de 2024 à un modèle entraîné uniquement jusqu’en 2023

2. Mirages de récupération ratée

Cause : l’information existe dans le modèle, mais la question ne la fait pas remonter correctement
Mécanisme : les connaissances sont stockées par associations statistiques, pas par logique claire
Analogie : chercher un livre dans la mauvaise section de bibliothèque (science-fiction au lieu d’histoire)
Conditions d’apparition : questions ambiguës ou mal formulées
Exemple : « capitale de la France » fonctionne, mais « centre administratif de la France » peut donner une mauvaise réponse.

Exemple célèbre : on demande à l’IA qui est la mère de Tom Cruise ? Elle répond, sans souci: Mary Lee Pfeiffer. Puis, dans la même conversation, on lui demande qui est le “fils de Mary Lee Pfeiffer”, et là 🤯
Vous trouverez un exemple avec ChatGPT-4 ici.

3. Mirages de raccourci statistique

Cause : le modèle prend des raccourcis probabilistes au lieu de réfléchir étape par étape
Mécanisme : il produit des suites de mots très probables sans vrai raisonnement
Analogie : savoir que « Paris est la capitale de la France » et « La France est en Europe » → conclure à tort « Paris est la capitale de l’Europe »
Conditions d’apparition : raisonnement sur plusieurs étapes sans guide précis
Exemple : combiner des faits corrects de façon incorrecte simplement parce que c’est plausible

4. Mirages d’incertitude

Cause : le modèle est incertain : il peut continuer la phrase avec plusieurs mots considérés comme étant autant probables les uns que les autres
Mécanisme : le modèle choisit au hasard et s’enfonce dans ses propres inventions
Analogie : comme le jeu du téléphone arabe, où de petites erreurs s’accumulent
Conditions d’apparition : sujets peu connus, situations limites, réglages de « température » élevés
Exemple : le modèle hésite sur le mot suivant, choisit au hasard, ce qui influence les mots suivants… et la spirale continue

Cartographier les conditions de mirage

Sur la base de la compréhension de l’architecture compression + prédiction, vous pouvez prédire la fiabilité de l’information que vous recevez d’un IA.

Variables à évaluer :

1. Densité de données (combien de données d’entraînement existent sur le sujet ?)

Haute : sujets extrêmement bien documentés, connaissances mainstream
Basse : spécialités de niche, développements récents, contextes locaux

2. Complexité des séquences (combien d’étapes de raisonnement ?)

Simple : récupération d’un seul fait (« Qu’est-ce que X ? »)
Complexe : raisonnement multi-étapes, calcul, chaînes logiques

3. Distance temporelle (à quel point l’information nécessaire est-elle récente ?)

Sûr : connaissances générales pré-2023
Risqué : événements post-coupure, données en temps réel

4. Contexte fourni (qu’y a-t-il dans votre prompt ?)

Ancré : sources fournies (RAG³), exemples donnés
Non ancré : question ouverte, pas de références

Matrice d’évaluation des risques :

Naviguer, pas corriger

Ancien modèle mental : « Corriger les hallucinations »

Nouveau modèle mental : « Naviguer les mirages »

Vous ne pouvez pas éliminer les mirages du désert. Vous pouvez :

Éviter de voyager à midi (ne pas demander sur des événements post-coupure)
Transporter de l’eau (fournir des sources dans les prompts)
Vérifier avant de faire confiance (vérifier les sorties critiques)

Vous ne pouvez pas éliminer les mirages des LLM. Vous pouvez :

Éviter les conditions à haut risque (carte ci-dessus)
Fournir un ancrage (RAG, exemples, sources)
Vérifier avant d’agir (décisions critiques pour l’entreprise)

Conclusion : prédire plus pour moins se souvenir

Un LLM est une machine qui apprend à prédire pour cesser de se souvenir. Ce faisant, elle peut compresser ses données. L’IA ne peut prédire que des structures récurrentes identifiées lors du préentrainement. Elle crée des « décors » plausibles qu’elle peuple d’informations tout autant plausibles.

Ce qui change avec cette compréhension :

Avant :

« L’IA hallucine parfois » (bug mystérieux)
« Soyez plus précis dans vos prompts » (conseil vague)
« Faites confiance mais vérifiez » (peu clair quand faire quoi)

Après :

« Les mirages statistiques apparaissent dans des conditions prévisibles » (physique cartographiable)
« Fournissez des sources pour les sujets de niche » (stratégie ciblée)
« Vérification obligatoire pour conditions à haut risque » (cadre clair)

La clarté mécanique : vous ne parlez pas à une intelligence. Vous utilisez un système de reconnaissance de séquences.

Ce système :

a compressé les régularités internet
reconstruit des séquences plausibles
n’a aucun mécanisme de vérification de la vérité
crée des mirages prévisibles dans des conditions spécifiques

En pratique, trois actions pour l’entreprise :

Cartographiez votre cas d’usage selon les conditions de mirage (évaluation des risques via la matrice présentée)
Naviguez, n’essayez pas d’éliminer (travaillez avec l’architecture, pas contre elle)
Vérifiez systématiquement les sorties à haut risque (ce n’est pas optionnel, c’est architectural)

Accédez à un document d’exemples de prompts (j’utilise des emojis, ce que je ne fais pas en général, parce qu’ils sont pertinents et guident l’analyse dans ces contextes).

Naviguer les mirages : stratégies de prompts fondées sur l’architecture des LLMs

Le document est riche mais commencer par des prompts bétons qui prennent en compte l’architecture fondamentale du LLM est le meilleur moyen de naviguer l’océan de la prédiction.

Quatre types de mirages nécessitent quatre approches distinctes détaillées dans le document. Ces quatre stratégies réduisent massivement les mirages / hallucinations, mais ne les éliminent pas. Certains domaines restent hors périmètre : validation comptable (obligation légale de vérification humaine), diagnostic médical (responsabilité pénale), analyse juridique contractuelle complexe (risque financier disproportionné).

Le calcul est simple : si le coût de vérification exhaustive dépasse le gain d’automatisation, le LLM n’a pas de valeur économique. Dans ces cas, le modèle peut servir de brouillon ou d’assistant de recherche, mais la production finale reste humaine. La clarté mécanique aide à identifier où tracer cette ligne.

Enfin, je crois… Si vous avez goûté à un cake irlandais, vous savez que c’est sans doute pas très loin des proportions françaises en terme de qtt de beurre…

La coupure : le moment où on a arrêté d’entrainer une IA. Après cette date, elle ne sait pas ce qui s’est passé puisqu’elle n’a rien lu sur ce sujet.

On reviendra sur le RAG, une stratégie permettant de fournir à votre IA une base de connaissance solide et détaillées, mais vous pouvez déjà tester la fonction avec les dossiers de projets dans GPT-5 par ex.