Dans les échanges sur l’intelligence artificielle, on lit souvent que les grands modèles de langage (LLM) ne seraient guère plus que des machines statistiques “prédisant le mot suivant”. L’argument, sous-entendu péjoratif, suggère que les réponses générées ne seraient qu’un enchaînement probabiliste de mots, dénué de compréhension réelle. Or cette vision est incomplète et occulte la richesse des mécanismes en jeu. Tentons de déconstruire ce cliché.
Un entraînement sur le “mot suivant”… mais bien plus que cela
Le pré‑entraînement des LLM consiste effectivement à apprendre à prédire le prochain token dans de grandes quantités de textes. Comme l’explique un article pédagogique du CSET (Center for Security and Emerging Technology), « les LLM sont souvent considérés comme des chatbots qui prédisent le mot suivant, mais cela ne raconte pas toute l’histoire » cset.georgetown.edu. Cette phase de pré‑entraînement est une première étape : le modèle lit des milliards de phrases, devine le mot suivant, compare sa prédiction au mot réel et ajuste ses paramètres via l’algorithme de rétropropagation cset.georgetown.edu. Au fil des itérations, il capture des patterns syntaxiques et sémantiques de plus en plus fins.
Ce mécanisme “simple” est étonnamment puissant. Avec la bonne entrée, un “prédicteur de mot suivant” devient un système de question‑réponse ou un générateur de code. Par exemple, en complétant la phrase « L’actrice qui joue Rose dans le film Titanic… », le modèle produit naturellement “Kate Winslet”, répondant ainsi à une question factuelle cset.georgetown.edu. De même, en lui demandant « Je vais écrire une fonction Python pour convertir des degrés Celsius en Fahrenheit », il continue le texte avec une implémentation correcte cset.georgetown.edu. Le modèle n’a pas été programmé explicitement pour ces tâches ; il a internalisé suffisamment de régularités durant le pré‑entraînement pour les accomplir.
La richesse des représentations internes
Pour prédire le mot suivant, l’IA doit convertir chaque mot en vecteurs numériques (les embeddings) qui reflètent leur sens et leur contexte. Au début du processus, ces vecteurs sont aléatoires ; au fil de l’apprentissage, ils se réorganisent de manière à rapprocher les mots aux significations similaires cset.georgetown.edu. Ces représentations vectorielles constituent un “modèle du monde” condensé dans les poids du réseau : elles encodent des relations grammaticales, sémantiques et même une forme de bon sens statistique. Cette base permet ensuite de transférer des compétences vers d’autres tâches (traduction, résumé, analyse de sentiments…).
Fine‑tuning et renforcement : l’autre moitié du chemin
Les systèmes utilisés en production, tels que ChatGPT ou Bing Copilot, ne se contentent pas du pré‑entraînement. Ils subissent des phases de fine‑tuning supervisé et d’apprentissage par renforcement avec retour humain (RLHF) qui les orientent vers un comportement utile et sûr. Ces étapes consistent à présenter au modèle des exemples de dialogues, à évaluer leurs réponses et à ajuster les paramètres pour améliorer la pertinence, la politesse et la conformité. D’autres approches (instruction tuning, alignment) enseignent au modèle à suivre des ordres explicites plutôt qu’à simplement extrapoler du texte.
L’émergence de capacités inattendues
Le caractère émergent des LLM contredit également l’idée d’un simple “autocompléteur”. Des chercheurs de Georgetown soulignent que des modèles entraînés à prédire le mot suivant peuvent soudainement apprendre à écrire des histoires, résoudre certains problèmes mathématiques ou générer des programmes cset.georgetown.edu. Ces compétences ne sont pas explicitement codées ; elles apparaissent lorsque l’on augmente la taille des réseaux et des ensembles de données. Les performances sur des tâches variées sont corrélées à la capacité de prédiction du texte : à mesure que l’on améliore la perplexité (mesure de l’aptitude à prédire le mot suivant), les modèles deviennent plus compétents dans des domaines hétérogènes cset.georgetown.edu.
Pourquoi la réduction au “mot suivant” est trompeuse
Bien sûr, du point de vue algorithmique, un LLM ne comprend pas au sens humain ; il manipule des symboles et optimise une fonction de perte. Cependant, la réduction au “mot suivant” laisse entendre que le modèle n’a aucune structure interne. Or il dispose de milliards de paramètres ajustés qui capturent des régularités complexes. Les analogies simples servent à vulgariser, mais elles peuvent devenir réductrices si elles sont prises au pied de la lettre.
Surtout, cette vision néglige le rôle des prompts et de l’ingénierie de requêtes. C’est l’utilisateur, par sa formulation, qui exploite la capacité du modèle à compléter du texte pour obtenir une explication, une fonction, un schéma ou un résumé. Dire que le modèle “ne fait que…” revient à minorer la puissance de cette interaction.
Conclusion : dépassons les clichés
Affirmer que les LLM « ne font que prédire le mot suivant » revient à réduire l’intelligence artificielle générative à un mécanisme d’auto‑complétion. Dans la réalité, cette prédiction est la brique fondamentale à partir de laquelle émergent des représentations sémantiques riches, une capacité de généralisation et des comportements alignés grâce à des techniques de fine‑tuning. Ces modèles ne raisonnent pas comme des humains, mais ils construisent des structures internes suffisamment sophistiquées pour résoudre des problèmes variés lorsque l’on sait les solliciter. La vraie question n’est donc pas de savoir si “prédire le mot suivant” est une tâche trop simple, mais comment tirer parti de cette simplicité apparente pour créer des applications utiles, éthiques et contrôlées. Laissons ainsi aux pseudo-savants qui, faute de comprendre les LLM, préfèrent en moquer le fonctionnement. Nous sommes arrivé à un stade ou un simple "prédicteur de mots" est plus intelligent que certaines personnes...
Stay Tuned !