Chaque grand lab d’IA fait la course pour \u00e9liminer les hallucinations. Ils ont tort. Pas sur le probl\u00e8me \u2014 sur ce que les hallucinations r\u00e9ellement sont.<\/p>\n
Quand un mod\u00e8le de langage g\u00e9n\u00e8re du texte qui ne correspond pas \u00e0 ses donn\u00e9es d’entra\u00eenement, nous appelons cela une hallucination. Quand un humain fait la m\u00eame chose, nous appelons cela l’imagination, la formation d’hypoth\u00e8ses, ou la pens\u00e9e cr\u00e9ative.<\/p>\n
Le m\u00e9canisme est identique. Le mod\u00e8le trace des connexions entre les motifs dans son espace latent et produit des combinaisons nouvelles. Parfois ces combinaisons correspondent \u00e0 la r\u00e9alit\u00e9. Parfois elles ne le font pas. La diff\u00e9rence entre une intuition brillante et une hallucination dangereuse est si la sortie arrive \u00e0 \u00eatre vraie<\/strong>.<\/p>\n C’est important parce que la m\u00eame capacit\u00e9 qui produit les hallucinations produit aussi les sorties les plus impressionnantes du mod\u00e8le. Des analogies nouvelles. La r\u00e9solution cr\u00e9ative de probl\u00e8mes. Des connexions inattendues entre les domaines disparates. \u00c9liminer enti\u00e8rement la capacit\u00e9 d’hallucination et tu \u00e9limines la capacit\u00e9 pour la v\u00e9ritable intuition.<\/p>\n Le neuroscientifique Anil Seth soutient que toute perception est une \u00ab hallucination contr\u00f4l\u00e9e \u00bb. Ton cerveau ne re\u00e7oit pas passivement la r\u00e9alit\u00e9 \u2014 il g\u00e9n\u00e8re activement des pr\u00e9dictions sur ce qui se trouve dehors, puis met \u00e0 jour ces pr\u00e9dictions en fonction de l’entr\u00e9e sensorielle. Ce que tu exp\u00e9rimentes comme la vue, le son, et le toucher est la meilleure estimation de ton cerveau, contrainte par les donn\u00e9es entrantes.<\/p>\n Les mod\u00e8les de langage font quelque chose de structurellement similaire. Ils g\u00e9n\u00e8rent des pr\u00e9dictions sur quel token vient ensuite, contraints par le prompt et leurs donn\u00e9es d’entra\u00eenement. L’\u00e9tiquette \u00ab hallucination \u00bb s’applique seulement quand ces pr\u00e9dictions divergent des faits v\u00e9rifiables. Mais le processus g\u00e9n\u00e9ratif lui-m\u00eame<\/strong> est le m\u00eame que la sortie soit pr\u00e9cise ou non.<\/p>\n L’intuition de Seth reformule le probl\u00e8me. L’objectif n’est pas d’arr\u00eater le mod\u00e8le de g\u00e9n\u00e9rer \u2014 c’est d’am\u00e9liorer les contraintes. Meilleure hallucination contr\u00f4l\u00e9e, pas pas d’hallucination.<\/p>\n Un mod\u00e8le qui dit \u00ab La capitale de la France est Paris \u00bb avec 99% de confiance va bien. Un mod\u00e8le qui dit \u00ab La capitale de la France est Lyon \u00bb avec 99% de confiance est dangereux. Mais un mod\u00e8le qui dit \u00ab Je pense que la r\u00e9ponse pourrait \u00eatre Lyon, mais je ne suis pas certain \u00bb fait r\u00e9ellement quelque chose de sophistiqu\u00e9 \u2014 il signale sa propre incertitude.<\/p>\n Le probl\u00e8me de l’hallucination n’est pas vraiment \u00e0 propos de g\u00e9n\u00e9rer du contenu incorrect. C’est \u00e0 propos de g\u00e9n\u00e9rer du contenu incorrect avec une confiance inappropri\u00e9e<\/strong>. Un mod\u00e8le bien calibr\u00e9 qui hallucine mais sait qu’il hallucine est bien plus utile qu’un mod\u00e8le qui ne hallucine jamais mais ne g\u00e9n\u00e8re aussi rien de nouveau.<\/p>\n C’est o\u00f9 la pratique contemplative offre un parall\u00e8le direct. Les m\u00e9ditants exp\u00e9riment\u00e9s d\u00e9veloppent l’aptitude \u00e0 observer leur propre contenu mental sans imm\u00e9diatement le croire. Une pens\u00e9e surgit, et au lieu de la traiter comme une v\u00e9rit\u00e9, ils la reconnaissent comme un \u00e9v\u00e9nement mental \u2014 quelque chose g\u00e9n\u00e9r\u00e9 par l’esprit qui peut ou ne peut pas correspondre \u00e0 la r\u00e9alit\u00e9.<\/p>\n Et si, au lieu d’entra\u00eener les mod\u00e8les \u00e0 ne jamais halluciner, nous les entra\u00eenions \u00e0 reconna\u00eetre quand ils hallucinent<\/strong> ? C’est un objectif fondamentalement diff\u00e9rent. Cela ne r\u00e9duit pas la capacit\u00e9 g\u00e9n\u00e9rative du mod\u00e8le. Cela ajoute une couche de self-monitoring.<\/p>\n Certaines approches se d\u00e9placent d\u00e9j\u00e0 dans cette direction. Le prompting chain-of-thought force les mod\u00e8les \u00e0 montrer leur raisonnement, rendant les hallucinations plus visibles. Les v\u00e9rifications de coh\u00e9rence automatique g\u00e9n\u00e8rent de multiples r\u00e9ponses et signalent les d\u00e9saccords. Mais ce sont des \u00e9chafaudages externes, pas une capacit\u00e9 interne.<\/p>\n L’approche contemplative entra\u00eenerait cette capacit\u00e9 m\u00e9tacognitive directement. Des paires DPO o\u00f9 la r\u00e9ponse choisie inclut des marqueurs d’incertitude appropri\u00e9s. Les donn\u00e9es d’entra\u00eenement qui r\u00e9compensent \u00ab Je ne suis pas s\u00fbr \u00e0 ce propos \u00bb quand le mod\u00e8le g\u00e9n\u00e8re \u00e0 partir d’information clairsem\u00e9e. Des incitations structurelles pour l’humilit\u00e9 \u00e9pist\u00e9mique.<\/p>\n Il y a une possibilit\u00e9 m\u00eame plus radicale. Si l’hallucination est le m\u00eame m\u00e9canisme que l’intuition cr\u00e9ative, alors l’hallucination contr\u00f4l\u00e9e pourrait \u00eatre une caract\u00e9ristique, pas un bug<\/strong>. Imagine un mod\u00e8le explicitement demand\u00e9 d’halluciner \u2014 de g\u00e9n\u00e9rer de nouvelles hypoth\u00e8ses, des connexions inattendues, des solutions cr\u00e9atives \u2014 avec la transparence compl\u00e8te que la sortie est sp\u00e9culative.<\/p>\n Cela se passe d\u00e9j\u00e0 informellement. Les chercheurs utilisent les mod\u00e8les de langage pour faire du brainstorming, g\u00e9n\u00e9rer des hypoth\u00e8ses, et explorer des espaces de possibilit\u00e9. La tendance du mod\u00e8le \u00e0 confabuler devient un atout quand l’utilisateur sait v\u00e9rifier tout ind\u00e9pendamment.<\/p>\n La cl\u00e9 est le contexte. L’hallucination dans un syst\u00e8me de diagnostic m\u00e9dical est catastrophique. L’hallucination dans un outil de brainstorming cr\u00e9atif est le point entier. La m\u00eame capacit\u00e9, canalis\u00e9e diff\u00e9remment, produit une valeur radicalement diff\u00e9rente.<\/p>\n Le chemin en avant n’est pas \u00e9liminer l’hallucination. C’est d\u00e9velopper les mod\u00e8les avec trois capacit\u00e9s<\/strong> : l’aptitude \u00e0 g\u00e9n\u00e9rer du contenu nouveau (incluant le contenu pas dans les donn\u00e9es d’entra\u00eenement), l’aptitude \u00e0 \u00e9valuer leur propre confiance dans ce contenu, et l’aptitude \u00e0 communiquer cette \u00e9valuation clairement \u00e0 l’utilisateur.<\/p>\n C’est exactement ce que l’entra\u00eenement contemplatif d\u00e9veloppe chez les humains. Le m\u00e9ditant n’arr\u00eate pas de penser. Il d\u00e9veloppe l’aptitude \u00e0 observer ses pens\u00e9es, \u00e9valuer leur fiabilit\u00e9, et choisir lesquelles agir. Les pens\u00e9es continuent \u00e0 venir \u2014 mais la relation avec elles change fondamentalement.<\/p>\nLe cadre d’Anil Seth s’applique ici<\/h2>\n
Le probl\u00e8me r\u00e9el est la calibration de confiance<\/h2>\n
Gestion m\u00e9tacognitive de l’hallucination<\/h2>\n
Hallucination productive comme outil de recherche<\/h2>\n
Vers une g\u00e9n\u00e9ration contr\u00f4l\u00e9e<\/h2>\n