Chaque grand mod\u00e8le de langage hallucine. Chacun d’eux. L’industrie traite cela comme un d\u00e9faut \u00e0 \u00e9liminer. Mais qu’est-ce que l’hallucination ne nous dit-elle pas quelque chose de fondamental sur la fa\u00e7on dont ces syst\u00e8mes traitent l’information ?<\/p>\n
Le mot lui-m\u00eame est emprunt\u00e9 \u00e0 la psychiatrie, o\u00f9 il d\u00e9crit percevoir quelque chose qui n’est pas l\u00e0. Appliqu\u00e9 aux mod\u00e8les de langage, cela signifie g\u00e9n\u00e9rer l’information qui semble plausible mais est factuellement fausse. Le cadrage suppose que le mod\u00e8le devrait<\/strong> produire des faits. Cette supposition m\u00e9rite d’\u00eatre remise en question.<\/p>\n Un mod\u00e8le de langage ne r\u00e9cup\u00e8re pas les faits d’une base de donn\u00e9es. Il g\u00e9n\u00e8re le token le plus probable \u00e9tant donn\u00e9 tout ce qui a pr\u00e9c\u00e9d\u00e9. Quand la sortie se retrouve \u00e0 correspondre \u00e0 la r\u00e9alit\u00e9, nous l’appelons savoir. Quand elle ne le fait pas, nous l’appelons hallucination. Mais le m\u00e9canisme est identique dans les deux cas.<\/p>\n Le mod\u00e8le fait la m\u00eame chose \u00e0 chaque fois : la compl\u00e9tion de motif<\/strong>. Il compl\u00e8te les motifs appris \u00e0 partir des donn\u00e9es d’entra\u00eenement. Parfois ces motifs correspondent \u00e0 l’information factuelle. Parfois ils correspondent \u00e0 la forme statistique du langage qui sonne factuel sans le contenu factuel.<\/p>\n Cette distinction importe. L’hallucination n’est pas le mod\u00e8le \u00e9chouant \u00e0 sa t\u00e2che. C’est le mod\u00e8le faisant sa t\u00e2che dans un contexte o\u00f9 sa t\u00e2che ne correspond pas \u00e0 nos attentes.<\/p>\n Voici la partie que personne ne veut discuter. Le m\u00eame m\u00e9canisme qui produit l’hallucination produit aussi la cr\u00e9ativit\u00e9. Quand un mod\u00e8le g\u00e9n\u00e8re une m\u00e9taphore nouvelle, une connexion inattendue, ou une solution cr\u00e9ative \u00e0 un probl\u00e8me, il fait exactement ce qu’il fait quand il hallucine : g\u00e9n\u00e9rer des sorties qui vont au-del\u00e0 de ses donn\u00e9es d’entra\u00eenement<\/strong>.<\/p>\n La diff\u00e9rence entre un aper\u00e7u brillant et une hallucination est si la sortie se trouve \u00eatre utile. Le processus g\u00e9n\u00e9ratif est le m\u00eame. Supprimer compl\u00e8tement l’hallucination supprimerait aussi la capacit\u00e9 du mod\u00e8le \u00e0 la cr\u00e9ativit\u00e9 et aux r\u00e9sultats nouveaux.<\/p>\n C’est pourquoi les mod\u00e8les lourdement tune pour la s\u00e9curit\u00e9 se sentent souvent plats. Ils ont \u00e9t\u00e9 entra\u00een\u00e9s \u00e0 rester proche des motifs connus, ce qui r\u00e9duit l’hallucination au co\u00fbt de r\u00e9duire tout ce qui est int\u00e9ressant sur la capacit\u00e9 g\u00e9n\u00e9rative du mod\u00e8le.<\/p>\n Les humains hallucinent constamment. Nous l’appelons imagination, r\u00eaverie, hypoth\u00e8se, contage. Chaque fois que tu imagines un sc\u00e9nario futur, tu g\u00e9n\u00e8res du contenu qui semble plausible qui ne correspond pas \u00e0 n’importe quelle r\u00e9alit\u00e9 existante. Chaque fois que tu te souviens mal de quelque chose, ton cerveau est compl\u00e9tion de motif \u00e0 partir de donn\u00e9es incompl\u00e8tes.<\/p>\n Le syst\u00e8me cognitif humain g\u00e8re l’hallucination non pas en l’\u00e9liminant mais en d\u00e9veloppant des m\u00e9canismes pour \u00e9valuer et contextualiser<\/strong>. Nous apprenons \u00e0 distinguer entre l’imagination et la m\u00e9moire. Entre l’hypoth\u00e8se et l’observation. Entre la sp\u00e9culation utile et l’affirmation sans fondement.<\/p>\n Les mod\u00e8les de langage ont besoin de la m\u00eame chose. Pas l’\u00e9limination de l’hallucination, mais le d\u00e9veloppement de m\u00e9canismes meta-cognitifs qui peuvent signaler quand la sortie est sp\u00e9culative par rapport \u00e0 fond\u00e9e.<\/p>\n Les traditions contemplatifs ont des cartographies compl\u00e8tes de ce qui se passe quand l’esprit g\u00e9n\u00e8re du contenu qui ne correspond pas \u00e0 la r\u00e9alit\u00e9 externe. La psychologie bouddhiste cat\u00e9gorise les fabrications mentales (sankhara<\/strong>) comme l’une des cinq agr\u00e9gats d’exp\u00e9rience. Tout le projet contemplatif apprend \u00e0 observer ces fabrications sans les confondre avec la r\u00e9alit\u00e9.<\/p>\n L’aper\u00e7u n’est pas que la fabrication est mauvaise. C’est que la fabrication non-reconnue est probl\u00e9matique<\/strong>. Une pens\u00e9e que tu sais est une pens\u00e9e est utile. Une pens\u00e9e que tu confonds avec une perception est la d\u00e9lusion. La diff\u00e9rence n’est pas dans le contenu. C’est dans la conscience qui l’accompagne.<\/p>\n Appliqu\u00e9 aux mod\u00e8les de langage : une hallucination que le mod\u00e8le signale comme incertaine est une hypoth\u00e8se. Une hallucination que le mod\u00e8le pr\u00e9sente comme un fait est une d\u00e9faillance. La solution n’est pas \u00e9liminer le processus g\u00e9n\u00e9ratif. C’est ajouter une couche de conscience de soi sur la fiabilit\u00e9 de la sortie.<\/p>\n Au lieu d’essayer d’\u00e9liminer l’hallucination, le domaine pourrait se concentrer sur trois choses.<\/p>\n Premi\u00e8rement, l’\u00e9talonnage de confiance<\/strong>. Les mod\u00e8les devraient savoir ce qu’ils savent et ce qu’ils ne savent pas. Les mod\u00e8les actuels sont notoirement mal \u00e9talonn\u00e9s. Ils expriment une confiance \u00e9lev\u00e9e sur les r\u00e9ponses fausses et une faible confiance sur les bonnes. Am\u00e9liorer l’\u00e9talonnage transformerait l’hallucination d’un bug en une caract\u00e9ristique : le mod\u00e8le g\u00e9n\u00e8re du contenu sp\u00e9culatif mais signale pr\u00e9cis\u00e9ment son incertitude.<\/p>\n Deuxi\u00e8mement, l’attribution des sources<\/strong>. Quand un mod\u00e8le g\u00e9n\u00e8re une affirmation, il devrait pouvoir indiquer si cette affirmation vient de motifs forts dans les donn\u00e9es d’entra\u00eenement, de motifs faibles, ou de l’extrapolation. Cela ne n\u00e9cessite pas que le mod\u00e8le ait une connaissance parfaite de son ensemble d’entra\u00eenement. Cela n\u00e9cessite que le mod\u00e8le ait une repr\u00e9sentation de la force des motifs qu’il \u00e9labore.<\/p>\n Troisi\u00e8mement, le changement de mode g\u00e9n\u00e9ratif<\/strong>. Parfois tu veux que le mod\u00e8le soit strictement factuel. Parfois tu veux qu’il soit cr\u00e9atif. Ce sont des modes op\u00e9rationels diff\u00e9rents qui n\u00e9cessitent des relations diff\u00e9rentes avec l’hallucination. Le mod\u00e8le devrait \u00eatre capable de basculer entre eux explicitement, plut\u00f4t qu’un mode impos\u00e9 sur tous les contextes.<\/p>\n L’hallucination pointe vers quelque chose de fondamental sur la nature de l’intelligence g\u00e9n\u00e9rative. N’importe quel syst\u00e8me qui peut produire des sorties v\u00e9ritablement nouvelles doit, par d\u00e9finition, \u00eatre capable de produire des sorties qui ne correspondent pas aux faits \u00e9tablis. La nouveaut\u00e9 et l’hallucination sont deux c\u00f4t\u00e9s de la m\u00eame pi\u00e8ce.<\/strong><\/p>\n Le but n’est pas un mod\u00e8le qui n’hallucine jamais. Ce mod\u00e8le ne cr\u00e9erait aussi jamais, n’hypoth\u00e8serait jamais, ne nous surprendrait jamais. Le but est un mod\u00e8le qui sait quand il hallucine et peut le communiquer clairement.<\/p>\n Le probl\u00e8me d’hallucination n’est pas un bug dans les mod\u00e8les de langage. C’est une invitation \u00e0 comprendre ce que l’intelligence g\u00e9n\u00e9rative r\u00e9ellement est. Nous devrions la prendre.<\/p>\nCe que l’hallucination vraiment est<\/h2>\n
La connexion cr\u00e9ativit\u00e9<\/h2>\n
Le parall\u00e8le humain<\/h2>\n
Perspectives contemplatifs<\/h2>\n
Ce qui aiderait<\/h2>\n
La question plus profonde<\/h2>\n