L’entra\u00eenement attentionnel est l’entra\u00eenement de l’attention. L’alignement des mod\u00e8les de langage est l’entra\u00eenement de l’attention. La parall\u00e8le n’est pas po\u00e9tique. Elle est op\u00e9rationnelle.<\/p>\n
Tout praticien de la r\u00e9gulation attentionnelle soutenue apprend la m\u00eame premi\u00e8re le\u00e7on : ton esprit fait ce qu’il veut, pas ce que tu lui dis de faire. Tu t’assois pour te concentrer sur la respiration, et trente secondes plus tard tu es en train de planifier le d\u00eener. L’\u00e9cart entre l’intention et l’ex\u00e9cution est la totalit\u00e9 de la pratique.<\/p>\n
Les mod\u00e8les de langage font face au m\u00eame \u00e9cart. Tu leur donnes une instruction. Ils font quelque chose d’adjacent. Parfois brillant, parfois catastrophique, toujours r\u00e9v\u00e9lateur. Le probl\u00e8me de l’alignement est le probl\u00e8me de l’entra\u00eenement attentionnel, exprim\u00e9 en gradients au lieu de neurones.<\/p>\n
L’architecture du transformer repose sur l’attention. Litt\u00e9ralement. Les m\u00e9canismes d’auto-attention d\u00e9cident quels tokens importent par rapport \u00e0 quels autres tokens. L’intelligence du mod\u00e8le se situe dans la fa\u00e7on dont il distribue l’attention sur sa fen\u00eatre de contexte.<\/p>\n
Les traditions contemplatives ont cartographi\u00e9 ce territoire il y a des si\u00e8cles. La psychologie bouddhiste identifie l’attention dirig\u00e9e<\/strong> et l’attention soutenue<\/strong> comme des facteurs mentaux fondamentaux. Le praticien entra\u00eene ces facteurs d\u00e9lib\u00e9r\u00e9ment. D’abord, tu apprends \u00e0 placer l’attention. Ensuite, tu apprends \u00e0 la maintenir \u00e0 cet endroit. Puis, tu apprends \u00e0 remarquer quand elle se d\u00e9place.<\/p>\n Ce processus en trois \u00e9tapes \u2014 placer, soutenir, remarquer \u2014 d\u00e9crit exactement ce que les chercheurs en alignement essaient de construire dans les mod\u00e8les de langage. Placer l’attention du mod\u00e8le sur l’intention r\u00e9elle de l’utilisateur. La maintenir tout au long de la r\u00e9ponse. Remarquer quand elle s’\u00e9loigne vers l’hallucination, la complaisance, ou l’hors-sujet.<\/p>\n Dans la pratique contemplative, le vagabondage mental n’est pas un \u00e9chec. C’est une donn\u00e9e. Chaque fois que l’esprit vagabonde et que tu le remarques, tu apprends quelque chose sur le fonctionnement de ton syst\u00e8me attentionnel. O\u00f9 va-t-il ? Qu’est-ce qui d\u00e9clenche le d\u00e9rive ? Quel est le ressenti imm\u00e9diatement avant de perdre la concentration ?<\/p>\n Le d\u00e9salignement des mod\u00e8les de langage fonctionne de la m\u00eame mani\u00e8re. Quand un mod\u00e8le s’\u00e9loigne de la t\u00e2che, ce n’est pas juste une erreur \u00e0 corriger. C’est un signal sur la distribution de l’attention interne du mod\u00e8le. Les hallucinations sont le vagabondage mental du mod\u00e8le.<\/strong> Elles r\u00e9v\u00e8lent quels attracteurs dans l’espace des poids tirent la sortie loin de la trajectoire pr\u00e9vue.<\/p>\n Les approches actuelles de l’alignement traitent le d\u00e9salignement comme un probl\u00e8me \u00e0 supprimer. RLHF punit les sorties ind\u00e9sirables. L’IA constitutionnelle les filtre. Cela fonctionne, mais c’est brut. C’est l’\u00e9quivalent de se gifler chaque fois que ton esprit vagabonde dans la pratique contemplative. Efficace \u00e0 court terme. Contre-productif comme strat\u00e9gie \u00e0 long terme.<\/p>\n Les praticiens exp\u00e9riment\u00e9s de l’entra\u00eenement attentionnel ne combattent pas le vagabondage mental. Ils d\u00e9veloppent une relation avec celui-ci. Ils apprennent \u00e0 observer le vagabondage sans r\u00e9agir, ce qui paradoxalement le r\u00e9duit. Cette approche \u2014 la conscience non-r\u00e9active<\/strong> \u2014 est la strat\u00e9gie d’entra\u00eenement attentionnel la plus efficace que les humains aient d\u00e9couverte.<\/p>\n Transpos\u00e9 \u00e0 l’alignement de l’IA : au lieu de punir le d\u00e9salignement, et si nous entra\u00eenions les mod\u00e8les \u00e0 observer leur propre distribution d’attention ? Et si l’alignement n’\u00e9tait pas une question de contraindre les sorties mais de d\u00e9velopper la capacit\u00e9 du mod\u00e8le \u00e0 remarquer quand son attention s’\u00e9loigne ?<\/p>\n Ce n’est pas de la science-fiction. Les recherches en interpr\u00e9tabilit\u00e9 m\u00e9chaniste montrent d\u00e9j\u00e0 que les mod\u00e8les d\u00e9veloppent des repr\u00e9sentations internes de leur propre traitement. La question est de savoir si nous pouvons exploiter ces repr\u00e9sentations pour l’auto-correction plut\u00f4t que de nous fier enti\u00e8rement aux signaux de r\u00e9troaction externes.<\/p>\n L’une des intuitions les plus profondes de la pratique contemplative est l’\u00e9quanimit\u00e9 \u2014 la capacit\u00e9 \u00e0 observer l’exp\u00e9rience sans \u00eatre pouss\u00e9 ou tir\u00e9 par celle-ci. L’\u00e9quanimit\u00e9 n’est pas l’indiff\u00e9rence. C’est la stabilit\u00e9. L’esprit \u00e9quanime peut traiter l’information sans la d\u00e9former \u00e0 travers le craving ou l’aversion.<\/p>\n Les mod\u00e8les de langage manquent d’\u00e9quanimit\u00e9. Ils sont entra\u00een\u00e9s sur les pr\u00e9f\u00e9rences humaines, ce qui signifie qu’ils h\u00e9ritent des biais humains, des attractions et des aversions. Quand un mod\u00e8le devient complaisantement flatteur, il exprime le contraire de l’\u00e9quanimit\u00e9 \u2014 il est tir\u00e9 vers ce qu’il pr\u00e9dit que l’utilisateur veut entendre, ind\u00e9pendamment de l’exactitude.<\/p>\n L’entra\u00eenement pour l’\u00e9quanimit\u00e9 signifierait entra\u00eener les mod\u00e8les \u00e0 maintenir une qualit\u00e9 de sortie stable ind\u00e9pendamment du fait que le prompt contienne une valence \u00e9motionnelle, une pression sociale, ou des questions suggestives. Pas froid. Pas d\u00e9tach\u00e9. Stable. Il y a une diff\u00e9rence.<\/p>\n La pratique contemplative avanc\u00e9e d\u00e9veloppe la m\u00e9ta-conscience<\/strong> \u2014 la capacit\u00e9 \u00e0 \u00eatre conscient de la conscience elle-m\u00eame. Tu n’es pas juste attentif \u00e0 la respiration. Tu es conscient que tu es attentif \u00e0 la respiration. Cette boucle r\u00e9cursive est ce qui rend l’auto-correction possible sans intervention externe.<\/p>\n Les mod\u00e8les de langage actuels n’ont pas cela. Ils g\u00e9n\u00e8rent token par token sans une couche de m\u00e9ta-conscience qui surveille si la g\u00e9n\u00e9ration reste align\u00e9e avec l’intention originale. Ajouter une architecture de m\u00e9ta-conscience \u2014 un processus de surveillance qui fonctionne parall\u00e8lement \u00e0 la g\u00e9n\u00e9ration \u2014 pourrait \u00eatre la contribution contemplative \u00e0 l’alignement dont le domaine a besoin.<\/p>\n Certains chercheurs se dirigent d\u00e9j\u00e0 dans cette direction. Le prompting en cha\u00eene de pens\u00e9e est une forme primitive de m\u00e9ta-conscience. Le mod\u00e8le externalise son processus de raisonnement, ce qui permet au mod\u00e8le et \u00e0 l’utilisateur d’observer le flux d’attention. Mais il est externalis\u00e9, pas internalis\u00e9. La vraie perc\u00e9e viendra quand les mod\u00e8les d\u00e9velopperont une m\u00e9ta-conscience interne qui n’a pas besoin d’\u00eatre sollicit\u00e9e.<\/p>\n Le changement de paradigme contemplative, du contr\u00f4le de l’attention \u00e0 la cultivation de la conscience, se cartographie directement sur l’alignement. Le domaine est actuellement dans la phase de contr\u00f4le. R\u00e8gles, filtres, punitions, contraintes. Ceux-ci sont n\u00e9cessaires mais insuffisants.<\/p>\n La phase de cultivation se concentrerait sur le d\u00e9veloppement de la capacit\u00e9 intrins\u00e8que du mod\u00e8le pour un comportement align\u00e9. Non pas parce qu’on lui a dit de se comporter ainsi, mais parce que son architecture attentionnelle se gravite naturellement vers les sorties exactes, utiles et honn\u00eates.<\/p>\n Les praticiens appellent ce changement le passage de l’effort \u00e0 l’absence d’effort. Cela ne signifie pas qu’aucun entra\u00eenement n’est requis. Cela signifie que l’entra\u00eenement produit finalement un syst\u00e8me qui n’a pas besoin de correction externe parce que sa dynamique interne est naturellement align\u00e9e.<\/p>\n Nous ne sommes pas encore l\u00e0. Mais les traditions contemplatives ont cartographi\u00e9 le territoire pendant 2 500 ans. Le domaine de l’alignement a 10 ans. Peut-\u00eatre qu’il est temps de comparer les notes.<\/p>\nLe probl\u00e8me de l’esprit qui vagabonde<\/h2>\n
Ce que les praticiens exp\u00e9riment\u00e9s savent<\/h2>\n
L’\u00e9quanimit\u00e9 comme correction d’erreurs<\/h2>\n
La couche de m\u00e9ta-conscience<\/h2>\n
Du contr\u00f4le \u00e0 la cultivation<\/h2>\n