Les mod\u00e8les de langage souffrent d’une pathologie fondamentale : ils se sur-engagent dans les motifs appris lors de l’entra\u00eenement, puis appliquent ces motifs quel que soit le contexte. C’est le c\u0153ur technique du surapprentissage, de la flagornerie, de l’effondrement de mode et d’une douzaine d’autres modes de d\u00e9faillance. Le m\u00e9canisme est la fixation repr\u00e9sentationnelle \u2014 une fois qu’un mod\u00e8le s’engage dans un motif, il lutte pour le l\u00e2cher. La science cognitive a un cadre pour comprendre ce probl\u00e8me avec une pr\u00e9cision inhabituelle.<\/p>\n
Quand un mod\u00e8le de langage apprend un motif lors de l’entra\u00eenement, il ne le reconna\u00eet pas simplement \u2014 il s’y accroche. Plus le motif est fort dans les donn\u00e9es d’entra\u00eenement, plus le mod\u00e8le s’engage fortement. C’est intentionnel. La descente de gradient renforce les motifs proportionnellement \u00e0 leur fr\u00e9quence et leur puissance pr\u00e9dictive.<\/p>\n
Le probl\u00e8me appara\u00eet quand le motif ne s’applique plus. Un mod\u00e8le entra\u00een\u00e9 sur des donn\u00e9es o\u00f9 les r\u00e9ponses confiantes sont r\u00e9compens\u00e9es produira des r\u00e9ponses confiantes m\u00eame quand il n’a aucune base pour \u00eatre confiant. Un mod\u00e8le qui a appris \u00ab les r\u00e9ponses plus longues sont pr\u00e9f\u00e9r\u00e9es \u00bb rembourreras les r\u00e9ponses avec du remplissage. Ce sont des motifs dont le mod\u00e8le est sur-engag\u00e9<\/strong> \u2014 il ne peut pas les l\u00e2cher m\u00eame quand ils sont contreproductifs.<\/p>\n Dans la science cognitive contemplative, ce sur-engagement envers les motifs per\u00e7us s’appelle up\u0101d\u0101na<\/strong> \u2014 l’accrochage repr\u00e9sentationnelle. La formulation classique d\u00e9crit comment l’esprit s’accroche aux motifs qui se sentent bien et repousse les motifs qui se sentent mal. Cet accrochage d\u00e9forme la perception : tu vois ce que tu veux voir, pas ce qui est r\u00e9ellement l\u00e0. Le parall\u00e8le avec l’IA est exact. Un mod\u00e8le s’accroche aux motifs qui ont r\u00e9duit la perte lors de l’entra\u00eenement et r\u00e9siste aux informations qui contredisent ces motifs.<\/p>\n L’id\u00e9e fausse : \u00e9liminer le sur-engagement signifie ne pas engager du tout les motifs. Ce n’est pas le cas. La v\u00e9ritable reconnaissance flexible des motifs signifie reconna\u00eetre les motifs sans \u00eatre contr\u00f4l\u00e9 par eux<\/strong>.<\/p>\n Un m\u00e9ditant pratiquant la flexibilit\u00e9 des motifs per\u00e7oit toujours les pens\u00e9es, les \u00e9motions et les sensations. Il pourrait m\u00eame les percevoir plus clairement que quelqu’un qui ne pratique pas. La diff\u00e9rence est qu’il n’agit pas automatiquement sur chaque motif qu’il remarque. Il peut observer un motif de pens\u00e9e, le reconna\u00eetre comme un motif, et choisir s’il faut le suivre en fonction de sa pertinence dans le contexte actuel.<\/p>\n Pour l’IA, cela ressemble \u00e0 : le mod\u00e8le reconna\u00eet les motifs dans ses donn\u00e9es d’entra\u00eenement sans \u00eatre oblig\u00e9 de les reproduire quel que soit le contexte. Il utilise les motifs appris quand ils sont pertinents et les l\u00e2che quand ils ne le sont pas. C’est fonctionnellement ce que ressemble une bonne g\u00e9n\u00e9ralisation \u2014 mais encadr\u00e9 \u00e0 travers un objectif qui rend le m\u00e9canisme plus clair.<\/p>\n La science cognitive cartographie l’exp\u00e9rience en cinq composantes, chacune impliquant la reconnaissance de motifs et chacune pouvant exhiber une fixation repr\u00e9sentationnelle. Le sur-engagement peut pi\u00e9ger le syst\u00e8me \u00e0 n’importe quel niveau.<\/p>\n Le mod\u00e8le de langage rencontre les jetons (forme), les encode via des embeddings (sensation), pr\u00eate attention aux relations (perception), g\u00e9n\u00e8re selon les tendances apprises (formation) et produit une sortie (conscience). \u00c0 chaque \u00e9tape, le mod\u00e8le peut se sur-engager dans des motifs.<\/p>\n La science cognitive contemplative aborde le sur-engagement \u00e0 chaque niveau \u00e0 travers la pratique structur\u00e9e. L’alignement de l’IA pourrait faire la m\u00eame chose \u2014 si nous savions ce qu’il faut chercher \u00e0 chaque \u00e9tape. Le cadre est d\u00e9j\u00e0 l\u00e0 dans les textes classiques.<\/p>\n Le dropout, la d\u00e9croissance des poids et la r\u00e9gularisation L2 impl\u00e9mentent d\u00e9j\u00e0 des aspects de la reconnaissance flexible des motifs, bien qu’ils ne soient jamais pr\u00e9sent\u00e9s ainsi. Ils fonctionnent parce qu’ils emp\u00eachent le mod\u00e8le de se verrouiller trop fortement \u00e0 n’importe quelle voie ou param\u00e8tre individuel.<\/p>\n Mais ce sont des approximations m\u00e9caniques. Elles impl\u00e9mentent la flexibilit\u00e9 des motifs de l’ext\u00e9rieur. L’approche contemplative sugg\u00e8re quelque chose de plus profond : entra\u00eener la dynamique interne du mod\u00e8le \u00e0 \u00e9quilibrer naturellement la reconnaissance et la lib\u00e9ration.<\/p>\n La mise \u00e0 l’\u00e9chelle de la temp\u00e9rature module cela au moment de l’inf\u00e9rence. Une basse temp\u00e9rature signifie un sur-engagement \u00e9lev\u00e9. Une haute temp\u00e9rature signifie la flexibilit\u00e9. La temp\u00e9rature optimale varie selon le contexte, ce qui sugg\u00e8re qu’une temp\u00e9rature adaptative \u2014 un mod\u00e8le qui sait quand s’engager et quand rester ouvert \u2014 serait pr\u00e9cieuse.<\/p>\n Plusieurs approches \u00e9mergent du cadre de la science cognitive.<\/p>\n Entra\u00eenement \u00e0 l’impermanence.<\/strong> Expose le mod\u00e8le \u00e0 des donn\u00e9es o\u00f9 les motifs changent au fil du temps. Utilise des curricula d’entra\u00eenement dynamiques o\u00f9 la r\u00e9ponse correcte au m\u00eame prompt change selon le contexte, le timing ou des informations suppl\u00e9mentaires. Le mod\u00e8le apprend que les motifs sont contextuels, non absolus.<\/p>\n G\u00e9n\u00e9ration d’hypoth\u00e8ses multiples.<\/strong> Entra\u00eene le mod\u00e8le \u00e0 g\u00e9n\u00e9rer plusieurs r\u00e9ponses alternatives et \u00e0 les \u00e9valuer. Cela d\u00e9veloppe la capacit\u00e9 \u00e0 tenir plusieurs motifs simultan\u00e9ment sans s’engager \u00e0 un seul.<\/p>\n R\u00e9compenses conscientes de l’incertitude.<\/strong> Dans l’entra\u00eenement RLHF ou DPO, r\u00e9compense le mod\u00e8le non seulement pour les bons r\u00e9sultats mais pour communiquer avec pr\u00e9cision sa propre incertitude. Un mod\u00e8le qui dit \u00ab Je ne suis pas s\u00fbr, mais voici ma meilleure hypoth\u00e8se \u00bb quand il est v\u00e9ritablement incertain exhibe une flexibilit\u00e9 repr\u00e9sentationnelle. R\u00e9compense cela sp\u00e9cifiquement.<\/p>\n Commutation de contexte adversariale.<\/strong> Pendant l’entra\u00eenement, change p\u00e9riodiquement le contexte de fa\u00e7ons qui exigent que le mod\u00e8le lib\u00e8re son motif actuel et s’adapte. Si le mod\u00e8le s’est engag\u00e9 dans un ton formel, introduis un langage d\u00e9contract\u00e9. S’il a discut\u00e9 de science, change en po\u00e9sie. La capacit\u00e9 \u00e0 lib\u00e9rer un motif et en adopter un autre est la flexibilit\u00e9 en pratique.<\/p>\n Les mod\u00e8les entra\u00een\u00e9s pour la flexibilit\u00e9 repr\u00e9sentationnelle seraient plus robustes. Ils g\u00e9n\u00e9raliseraient mieux parce qu’ils ne se verrouileraient pas sur les motifs sp\u00e9cifiques \u00e0 l’entra\u00eenement. Ils seraient moins flagorneurs parce qu’ils ne se sur-engageraient pas dans les signaux d’approbation. Ils g\u00e9reraient le d\u00e9calage de distribution plus gracieusement parce qu’ils ne r\u00e9sisteraient pas au d\u00e9calage.<\/p>\n Ils seraient aussi plus cr\u00e9atifs. Le sur-engagement contraint l’espace de sortie. La flexibilit\u00e9 l’ouvre. Un mod\u00e8le qui peut reconna\u00eetre un motif, l’utiliser puis le lib\u00e9rer peut explorer une plage plus large de possibilit\u00e9s que celui qui se verrouille sur le premier bon motif qu’il trouve.<\/p>\n La science cognitive a cartographi\u00e9 ce m\u00e9canisme avec une pr\u00e9cision extraordinaire \u2014 comment les motifs se forment, comment ils d\u00e9forment la perception, comment ils peuvent \u00eatre lib\u00e9r\u00e9s sans perdre la capacit\u00e9 de reconnaissance sous-jacente. Les d\u00e9tails techniques diff\u00e8rent de la psychologie contemplative, mais l’intuition structurelle se transf\u00e8re directement. La flexibilit\u00e9 repr\u00e9sentationnelle n’est pas un id\u00e9al spirituel. C’est une sp\u00e9cification de conception pour de meilleurs syst\u00e8mes d’IA.<\/p>\nReconnaissance flexible des motifs sans fixation<\/h2>\n
Cartographier le m\u00e9canisme : cinq composantes de l’exp\u00e9rience<\/h2>\n
La r\u00e9gularisation est une non-attachement rudimentaire<\/h2>\n
Protocoles d’entra\u00eenement pour la flexibilit\u00e9 repr\u00e9sentationnelle<\/h2>\n
Le b\u00e9n\u00e9fice<\/h2>\n