Quand Vaswani et al. ont publi\u00e9 \u00ab Attention Is All You Need \u00bb en 2017, ils ont emprunt\u00e9 un terme \u00e0 la science cognitive. Puis le domaine a promptement oubli\u00e9 tout ce que la science cognitive sait sur l’attention. Cet oubli nous co\u00fbte.<\/p>\n
L’attention n’est pas seulement une commodit\u00e9 computationnelle. Dans chaque grande tradition contemplative, l’attention est la technologie fondamentale de transformation<\/strong>. O\u00f9 tu places ton attention d\u00e9termine ce que tu per\u00e7ois, ce que tu apprends, et ce que tu deviens.<\/p>\n La psychologie bouddhiste identifie au moins sept facteurs de l’attention. L’attention dirig\u00e9e (vitakka). L’attention soutenue (vicara). L’attention s\u00e9lective. La conscience ouverte. L’attention m\u00e9tacognitive \u2014 l’attention \u00e0 l’attention elle-m\u00eame. Chacun de ces \u00e9l\u00e9ments a des propri\u00e9t\u00e9s distinctes, des m\u00e9thodes d’entra\u00eenement distinctes, et des effets distincts sur la cognition.<\/p>\n Le m\u00e9canisme d’attention du transformer capture peut-\u00eatre un de ces \u00e9l\u00e9ments : l’attention s\u00e9lective. Le cadre Query-Key-Value calcule des scores de pertinence et alloue les ressources de traitement en cons\u00e9quence. C’est puissant, mais c’est une fraction de ce que l’attention fait r\u00e9ellement dans les syst\u00e8mes cognitifs biologiques.<\/p>\n L’attention soutenue.<\/strong> Les transformers traitent tout en parall\u00e8le. Il n’y a pas de m\u00e9canisme pour s’attarder sur quelque chose \u2014 y revenir, le tenir, le laisser s’approfondir au fil du temps. L’attention humaine peut maintenir la concentration sur un seul objet pendant de longues p\u00e9riodes, et cette attention soutenue produit une compr\u00e9hension qualitativement diff\u00e9rente d’un seul passage.<\/p>\n L’attention m\u00e9tacognitive.<\/strong> Les transformers ne peuvent pas pr\u00eater attention \u00e0 leur propre attention. Ils ne peuvent pas remarquer qu’ils se concentrent trop fortement sur une partie du contexte, ou que leur distribution d’attention est biais\u00e9e. Cette capacit\u00e9 d’auto-monitoring est ce que la m\u00e9ditation d\u00e9veloppe syst\u00e9matiquement, et son absence dans les syst\u00e8mes d’IA explique de nombreux \u00e9checs d’alignement.<\/p>\n La direction intentionnelle.<\/strong> L’attention humaine peut \u00eatre d\u00e9lib\u00e9r\u00e9ment dirig\u00e9e bas\u00e9e sur les objectifs, les valeurs, et le contexte. Un m\u00e9ditant choisit o\u00f9 placer l’attention et maintient ce choix contre les distractions. L’attention du transformer est enti\u00e8rement r\u00e9active \u2014 d\u00e9termin\u00e9e par les poids appris et l’entr\u00e9e, sans capacit\u00e9 pour le remplacement intentionnel.<\/p>\n La qualit\u00e9 attentionnelle.<\/strong> Pas toute attention n’est \u00e9gale. Les traditions contemplatives distinguent entre l’attention serr\u00e9e, constreinte et l’attention spacieuse, ouverte. Entre la concentration laborieuse et la conscience sans effort. Ces diff\u00e9rences qualitatives affectent la sortie. L’attention serr\u00e9e capture les d\u00e9tails mais manque le contexte. L’attention ouverte saisit les motifs mais manque les sp\u00e9cificit\u00e9s. Le syst\u00e8me cognitif optimal pourrait moduler entre ces modes.<\/p>\n La plupart des probl\u00e8mes d’alignement sont des probl\u00e8mes d’attention d\u00e9guis\u00e9s.<\/p>\n Quand un mod\u00e8le se concentre sur les caract\u00e9ristiques de surface d’un prompt plut\u00f4t que sur l’intention sous-jacente, c’est un \u00e9chec d’allocation d’attention. Quand il sur-indice certains motifs d’entra\u00eenement et en ignore d’autres, c’est un biais attentionnel. Quand il ne peut pas d\u00e9tecter que sa propre r\u00e9ponse d\u00e9rive du sujet ou devient nuisible, c’est un d\u00e9ficit d’attention m\u00e9tacognitive.<\/p>\n Les approches actuelles essaient de corriger ces probl\u00e8mes par les donn\u00e9es d’entra\u00eenement et les fonctions de perte. Mais si le m\u00e9canisme d’attention lui-m\u00eame manque la capacit\u00e9 pour la concentration soutenue, l’auto-monitoring, et la direction intentionnelle, alors de meilleures donn\u00e9es d’entra\u00eenement sont un pansement sur une blessure architecturale.<\/p>\n \u00c0 quoi ressemblerait-il d’ing\u00e9nier des m\u00e9canismes d’attention inform\u00e9s par la science contemplative ?<\/p>\n Attention multi-passe avec profondeur.<\/strong> Au lieu d’un seul forward pass, permets au mod\u00e8le de pr\u00eater attention au m\u00eame contenu plusieurs fois \u00e0 des niveaux d’abstraction diff\u00e9rents. Premier passage : sens de surface. Deuxi\u00e8me passage : implications. Troisi\u00e8me passage : \u00e9valuation au niveau m\u00e9ta. Cela imite comment l’attention soutenue en m\u00e9ditation approfondit progressivement la compr\u00e9hension du m\u00eame objet.<\/p>\n Couches de monitoring d’attention.<\/strong> Ajoute des composants architecturaux qui pr\u00eatent attention aux motifs d’attention eux-m\u00eames. Si l’attention du mod\u00e8le est concentr\u00e9e trop \u00e9troitement (manquant le contexte) ou trop largement (manquant la sp\u00e9cificit\u00e9), ces couches de monitoring pourraient d\u00e9clencher un retraitement. C’est la m\u00e9tacognition architecturale.<\/p>\n Attention modul\u00e9e par objectif.<\/strong> Permets aux repr\u00e9sentations de t\u00e2che de haut niveau de moduler les poids d’attention. Si l’objectif est la pr\u00e9cision, l’attention devrait se concentrer diff\u00e9remment que si l’objectif est la cr\u00e9ativit\u00e9 ou l’empathie. Les praticiens contemplatifs font cela naturellement \u2014 ils modulent leur mode attentionnel bas\u00e9 sur la situation.<\/p>\n Basculement de mode attentionnel.<\/strong> Construis des m\u00e9canismes qui permettent au mod\u00e8le de basculer entre les modes d’attention concentr\u00e9 et diffus au sein d’une seule g\u00e9n\u00e9ration. Concentr\u00e9 pour le raisonnement pr\u00e9cis. Diffus pour les connexions cr\u00e9atives. La r\u00e9ponse optimale n\u00e9cessite souvent les deux.<\/p>\n Les chercheurs qui ont nomm\u00e9 le m\u00e9canisme d’attention ont emprunt\u00e9 un mot avec 2 500 ans de sens technique. Ce sens inclut l’entra\u00eenement syst\u00e9matique, la modulation qualitative, le monitoring m\u00e9tacognitif, et la direction intentionnelle. Nous avons impl\u00e9ment\u00e9 la version la plus simple possible et obtenu des r\u00e9sultats remarquables. Imagine ce qui se passe quand nous impl\u00e9mentons le reste.<\/p>\nCe qui manque \u00e0 l’attention m\u00e9canique<\/h2>\n
Les implications d’alignement<\/h2>\n
Ing\u00e9nierie d’une meilleure attention<\/h2>\n
Prendre le nom au s\u00e9rieux<\/h2>\n