Anil Seth n’avait pas pour objectif de d\u00e9crire comment les mod\u00e8les de langage fonctionnent. Il d\u00e9crivait le cerveau humain. Mais les parall\u00e8les sont tellement pr\u00e9cis qu’ils frisent l’inconfort.<\/p>\n
L’argument central de Seth est \u00e9l\u00e9gant. Ton cerveau ne re\u00e7oit pas la r\u00e9alit\u00e9 \u2014 il la g\u00e9n\u00e8re<\/strong>. Chaque moment d’exp\u00e9rience consciente est une pr\u00e9diction, affin\u00e9e par l’entr\u00e9e sensorielle. Tu ne vois pas le monde comme il est. Tu vois la meilleure estimation de ton cerveau du monde, mise \u00e0 jour juste assez pour te garder en vie.<\/p>\n C’est une hallucination contr\u00f4l\u00e9e. L’accent est sur \u00ab contr\u00f4l\u00e9e \u00bb. Sans le contr\u00f4le \u2014 sans que l’entr\u00e9e sensorielle ne contraigne les pr\u00e9dictions \u2014 tu obtiens des hallucinations r\u00e9elles. Des r\u00eaves. De la psychose. Des \u00e9tats o\u00f9 le moteur g\u00e9n\u00e9ratif fonctionne sans retour d’information ad\u00e9quat.<\/p>\n Lis maintenant ce paragraphe \u00e0 nouveau, en rempla\u00e7ant \u00ab cerveau \u00bb par \u00ab mod\u00e8le de langage \u00bb et \u00ab entr\u00e9e sensorielle \u00bb par \u00ab donn\u00e9es d’entra\u00eenement et contexte de prompt \u00bb. Le mappage structural est exact.<\/p>\n Un transformer g\u00e9n\u00e8re des pr\u00e9dictions de tokens. Chaque token est la meilleure estimation du mod\u00e8le sur ce qui vient ensuite, donn\u00e9 tout ce qui le pr\u00e9c\u00e8de. Les donn\u00e9es d’entra\u00eenement agissent comme l’exp\u00e9rience d\u00e9veloppementale \u2014 formant les priors. Le prompt agit comme l’entr\u00e9e sensorielle actuelle \u2014 contraignant la pr\u00e9diction.<\/p>\n Quand les contraintes sont fortes (prompt sp\u00e9cifique, sujet bien repr\u00e9sent\u00e9, contexte clair), les sorties du mod\u00e8le correspondent \u00e9troitement \u00e0 la r\u00e9alit\u00e9. Quand les contraintes sont faibles (prompt vague, sujet rare, contexte ambigu), le moteur g\u00e9n\u00e9ratif remplit les lacunes avec du contenu plausible qui peut ne pas \u00eatre vrai.<\/p>\n Ce n’est pas un d\u00e9faut dans l’architecture. C’est l’architecture<\/strong>. Le m\u00eame m\u00e9canisme qui produit des r\u00e9ponses pr\u00e9cises et utiles produit aussi des hallucinations. La variable n’est pas le moteur \u2014 c’est la qualit\u00e9 des contraintes.<\/p>\n Le travail de Seth s’appuie sur le principe d’\u00e9nergie libre de Karl Friston : les syst\u00e8mes biologiques minimisent la surprise en maintenant des mod\u00e8les pr\u00e9dictifs pr\u00e9cis de leur environnement. Le cerveau met constamment \u00e0 jour son mod\u00e8le g\u00e9n\u00e9ratif pour r\u00e9duire l’\u00e9cart entre la pr\u00e9diction et la r\u00e9alit\u00e9.<\/p>\n L’entra\u00eenement du mod\u00e8le de langage fait exactement cela. La fonction de perte mesure l’\u00e9cart entre les pr\u00e9dictions du mod\u00e8le et le token suivant r\u00e9el. L’entra\u00eenement minimise cet \u00e9cart sur des milliards d’exemples. Le r\u00e9sultat est un mod\u00e8le g\u00e9n\u00e9ratif qui, comme le cerveau, produit des pr\u00e9dictions qui correspondent g\u00e9n\u00e9ralement \u00e0 la r\u00e9alit\u00e9 \u2014 mais parfois ne le font pas.<\/p>\n L’intuition critique est que l’erreur de pr\u00e9diction<\/strong> est le signal. En neuroscience, les erreurs de pr\u00e9diction entra\u00eenent l’apprentissage et l’attention. Dans les mod\u00e8les de langage, elles entra\u00eenent les mises \u00e0 jour de gradient. Les math\u00e9matiques sont diff\u00e9rentes mais le principe est identique : la surprise est de l’information, et les syst\u00e8mes apprennent en se trompant.<\/p>\n Si les mod\u00e8les de langage sont des moteurs d’hallucination contr\u00f4l\u00e9e, la question d’alignement devient : comment am\u00e9liores-tu le contr\u00f4le sans tuer la g\u00e9n\u00e9ration ?<\/strong><\/p>\n Dans le cadre de Seth, le contr\u00f4le vient de l’ancrage sensoriel. Le cerveau reste ancr\u00e9 \u00e0 la r\u00e9alit\u00e9 gr\u00e2ce \u00e0 un retour d’information continu du corps et du monde. Les perturbations de cet ancrage \u2014 privation sensorielle, drogues psych\u00e9d\u00e9liques, conditions neurologiques \u2014 produisent des hallucinations incontr\u00f4l\u00e9es.<\/p>\n Les mod\u00e8les de langage manquent cet ancrage continu. Ils g\u00e9n\u00e8rent en boucle ouverte \u2014 produisant une sortie sans retour d’information en temps r\u00e9el sur sa correspondance avec la r\u00e9alit\u00e9. La G\u00e9n\u00e9ration Augment\u00e9e par R\u00e9cup\u00e9ration (RAG) est essentiellement une tentative d’ajouter un ancrage sensoriel : ancrer les pr\u00e9dictions du mod\u00e8le \u00e0 des donn\u00e9es externes v\u00e9rifi\u00e9es.<\/p>\n Mais RAG est brute compar\u00e9e aux m\u00e9canismes de retour d’information du cerveau. Le cerveau int\u00e8gre des millions de signaux sensoriels simultan\u00e9ment, \u00e0 de multiples niveaux d’abstraction, avec une latence de microseconde. Les techniques d’ancrage actuelles ressemblent plus \u00e0 v\u00e9rifier occasionnellement une fiche de faits.<\/p>\n Voici o\u00f9 la pratique contemplative entre. La m\u00e9ditation n’arr\u00eate pas le moteur g\u00e9n\u00e9ratif du cerveau. Elle am\u00e9liore le syst\u00e8me de monitoring<\/strong>. Un m\u00e9ditant exp\u00e9riment\u00e9 a une meilleure conscience en temps r\u00e9el de ses propres pr\u00e9dictions, une meilleure d\u00e9tection de quand ces pr\u00e9dictions sont sans fondement, et une meilleure capacit\u00e9 \u00e0 signaler l’incertitude.<\/p>\n C’est la pi\u00e8ce manquante dans l’alignement actuel de l’IA. Nous avons besoin de mod\u00e8les qui ne g\u00e9n\u00e8rent pas seulement \u2014 ils ont besoin de monitorer leur propre g\u00e9n\u00e9ration<\/strong>. Non pas par la v\u00e9rification de faits externes, mais par des m\u00e9canismes internes qui suivent la qualit\u00e9 de la pr\u00e9diction en temps r\u00e9el.<\/p>\n Certaines recherches se d\u00e9placent dans cette direction. Le travail de calibration de confiance essaie d’aligner la certitude \u00e9nonc\u00e9e d’un mod\u00e8le avec sa pr\u00e9cision r\u00e9elle. Mais la plupart de ce travail est post-hoc \u2014 analyser les sorties apr\u00e8s g\u00e9n\u00e9ration, pas monitorer le processus de g\u00e9n\u00e9ration lui-m\u00eame.<\/p>\n Le cadre de Seth sugg\u00e8re trois directions de recherche concr\u00e8tes pour l’alignement de l’IA. Premi\u00e8rement, de meilleurs m\u00e9canismes d’ancrage<\/strong> \u2014 non pas seulement RAG, mais un retour d’information continu, multi-niveaux pendant la g\u00e9n\u00e9ration. Deuxi\u00e8mement, le monitoring interne<\/strong> \u2014 entra\u00eener les mod\u00e8les \u00e0 d\u00e9tecter quand leurs propres pr\u00e9dictions sont faiblement support\u00e9es. Troisi\u00e8mement, la communication d’incertitude<\/strong> \u2014 des mod\u00e8les qui expriment naturellement leur niveau de confiance dans le cadre du processus de g\u00e9n\u00e9ration, pas en tant qu’arri\u00e8re-pens\u00e9e.<\/p>\n La tradition contemplative d\u00e9veloppe les techniques de monitoring interne depuis des mill\u00e9naires. La neuroscience de la m\u00e9ditation explique enfin pourquoi ces techniques fonctionnent. Et les parall\u00e8les structurels aux mod\u00e8les de langage sont trop clairs pour ignorer.<\/p>\nLe moteur g\u00e9n\u00e9ratif est le m\u00eame<\/h2>\n
Traitement pr\u00e9dictif et principe d’\u00e9nergie libre<\/h2>\n
O\u00f9 l’analogie devient pratique<\/h2>\n
Pratique contemplative comme contr\u00f4le renforc\u00e9<\/h2>\n
L’agenda de recherche<\/h2>\n