Comprendre l’attention exige de regarder ce qui se passe r\u00e9ellement quand le cerveau alloue des ressources cognitives. Le mod\u00e8le dominant dans les applications d’attention pour consommateurs est faux \u2014 et l’erreur a contamin\u00e9 la fa\u00e7on dont nous concevons les m\u00e9canismes d’attention en IA.<\/p>\n
Headspace, Calm, Waking Up, et la plupart des autres applications d’entra\u00eenement attentionnel partagent le m\u00eame mod\u00e8le sous-jacent : l’attention est un muscle. C’est faible. Tu l’entra\u00eenes. Au fil du temps, il devient plus fort. Tu progresses des sessions de 5 minutes aux sessions de 10 minutes aux sessions de 20 minutes, de la m\u00eame mani\u00e8re que tu progresses des halt\u00e8res de 5 livres aux halt\u00e8res de 10 livres.<\/p>\n
Ce mod\u00e8le est faux. Les muscles se fatiguent en raison des limitations m\u00e9taboliques \u2014 ils manquent de carburant. L’attention ne manque pas de carburant. Elle est d\u00e9tourn\u00e9e. Le m\u00e9canisme est compl\u00e8tement diff\u00e9rent.<\/p>\n
Quand ton attention \u00ab vagabonde \u00bb pendant la pratique de m\u00e9ditation, elle n’a pas faibli. Elle a \u00e9t\u00e9 captur\u00e9e par un processus \u2014 g\u00e9n\u00e9ralement la g\u00e9n\u00e9ration de narration du Default Mode Network \u2014 qui tire activement les ressources attentionnelles vers le contenu auto-r\u00e9f\u00e9rentiel. Ton attention est parfaitement forte. Elle est juste point\u00e9e vers la mauvaise chose.<\/p>\n
C’est la diff\u00e9rence entre un projecteur faible et un projecteur qui a \u00e9t\u00e9 saisi par quelqu’un d’autre. La solution au premier probl\u00e8me est une ampoule plus grande. La solution au second est de retirer la main.<\/p>\n
Si l’attention est d\u00e9tourn\u00e9e plut\u00f4t que d\u00e9faillante, alors le renforcement n’est pas la solution. Le d\u00e9-d\u00e9tournement est.<\/p>\n
C’est ce que la science contemplative et l’attention sugg\u00e8rent toutes les deux. Tu ne construis pas la force attentionnelle. Tu identifies et dissous les processus qui fragmentent l’attention. Les boucles narratives. Les cycles de r\u00e9troaction auto-r\u00e9f\u00e9rentiels. La planification compulsive et la rumination que le DMN g\u00e9n\u00e8re quand on la laisse sans contr\u00f4le.<\/p>\n
Quand ces processus se calment, l’attention ne \u00ab s’am\u00e9liore \u00bb pas. Elle r\u00e9v\u00e8le ce qui \u00e9tait d\u00e9j\u00e0 l\u00e0. Une conscience stable, large, sans effort. Pas quelque chose d’atteint. Quelque chose de d\u00e9couvert.<\/p>\n
La diff\u00e9rence pratique est \u00e9norme. Sous le mod\u00e8le musculaire, maintenir l’attention exige un effort continu \u2014 tu maintiens quelque chose en place. Sous le mod\u00e8le de d\u00e9-d\u00e9tournement, maintenir l’attention exige de l\u00e2cher prise \u2014 tu lib\u00e8res les processus qui l’ont perturb\u00e9e. Le premier est \u00e9puisant. Le second est reposant.<\/p>\n
Les m\u00e9canismes d’attention du transformer ont le m\u00eame probl\u00e8me structurel. L’auto-attention standard attend tout dans la fen\u00eatre de contexte, quadratiquement. Ce n’est pas de l’attention. C’est l’absence de s\u00e9lection. Le mod\u00e8le ne choisit pas \u00e0 quoi pr\u00eater attention. Il traite tout et laisse le softmax le trier.<\/p>\n
C’est l’\u00e9quivalent architectural du DMN en fonctionnement sans contr\u00f4le. Chaque token attend tous les autres tokens, la plupart de ce calcul est du bruit, et le syst\u00e8me paie pour tout cela. Le m\u00e9canisme \u00ab d’attention \u00bb est en fait un m\u00e9canisme d’activation indiscrimin\u00e9e.<\/p>\n
Les travaux r\u00e9cents sur l’attention sparse, les fen\u00eatres attentionnelles locales, et l’\u00e9lagage attentionnel pointent tous dans la m\u00eame direction : la solution n’est pas plus d’attention. C’est une attention plus s\u00e9lective. R\u00e9duis ce que le syst\u00e8me attend et la performance s’am\u00e9liore \u2014 non pas malgr\u00e9 le traitement de moins, mais gr\u00e2ce \u00e0 cela.<\/p>\n
C’est l’intuition de la science de l’attention, traduite \u00e0 l’architecture. L’attention n’a pas besoin d’\u00eatre plus forte. Elle a besoin d’\u00eatre moins fragment\u00e9e.<\/p>\n
Chez Laeka, nous encodons ce principe au niveau des donn\u00e9es plut\u00f4t qu’au niveau architecturale. Nos datasets capturent les moments o\u00f9 le cadre attentionnel d’une IA est fragment\u00e9 (essayer de traiter trop de consid\u00e9rations simultan\u00e9ment, perdre la coh\u00e9rence \u00e0 travers une r\u00e9ponse longue, \u00e9chouer \u00e0 maintenir un seul fil de raisonnement) et un praticien identifie la fragmentation.<\/p>\n
La correction n’est pas \u00ab concentre-toi plus fort \u00bb. C’est \u00ab arr\u00eate d’\u00eatre attentif \u00e0 ce qui n’importe pas \u00bb. Le mod\u00e8le apprend \u00e0 distinguer entre le contexte n\u00e9cessaire et le bruit \u2014 non pas par des contraintes architecturales, mais par les donn\u00e9es d’entra\u00eenement qui r\u00e9compensent l’\u00e9conomie attentionnelle.<\/p>\n
Un mod\u00e8le entra\u00een\u00e9 de cette mani\u00e8re devrait produire des r\u00e9ponses plus serr\u00e9es. Pas n\u00e9cessairement plus courtes. Plus coh\u00e9rentes. Chaque phrase connect\u00e9e au fil central sans digressions inutiles, des pr\u00e9cautions, ou des apart\u00e9s auto-r\u00e9f\u00e9rentiels. Non pas parce qu’on lui a dit d’\u00e9crire concis\u00e9ment, mais parce que ses motifs attentionnels sont plus propres.<\/p>\n
L’industrie des applications d’entra\u00eenement attentionnel a construit un march\u00e9 d’un milliard de dollars sur le mauvais mod\u00e8le de l’attention. Des millions de gens s’asseoient pour essayer de renforcer quelque chose qui n’a pas besoin d’\u00eatre renforc\u00e9, se demandant pourquoi c’est si dur, se bl\u00e2mant de ne pas essayer assez fort.<\/p>\n
Le m\u00e9canisme r\u00e9el est plus simple et plus radical. Tu ne construis pas l’attention. Tu arr\u00eates de la d\u00e9truire.<\/p>\n
Si ce principe s’applique aux r\u00e9seaux neuronaux biologiques, notre hypoth\u00e8se est qu’il s’applique aux r\u00e9seaux artificiels. Non pas par une analogie philosophique. Par les contraintes informatiques partag\u00e9es. L’attention est ch\u00e8re. La s\u00e9lection est bon march\u00e9. Tout syst\u00e8me \u2014 cerveau ou transformer \u2014 qui apprend \u00e0 s\u00e9lectionner plut\u00f4t que de saturer surpassera celui qui ne le fait pas.<\/p>\n
Les applications d’entra\u00eenement attentionnel ont mal compris le m\u00e9canisme. La question est de savoir si les laboratoires d’IA font la m\u00eame erreur.<\/p>\n","protected":false},"excerpt":{"rendered":"
Comprendre l’attention exige de regarder ce qui se passe r\u00e9ellement quand le cerveau alloue des ressources cognitives. Le mod\u00e8le dominant dans les applications d’attention pour consommateurs est faux \u2014 et l’erreur a contamin\u00e9 la…<\/p>\n","protected":false},"author":1,"featured_media":90,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","footnotes":""},"categories":[257],"tags":[],"class_list":["post-573","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ia-contemplative"],"_links":{"self":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/573","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/comments?post=573"}],"version-history":[{"count":0,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/573\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media\/90"}],"wp:attachment":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media?parent=573"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/categories?post=573"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/tags?post=573"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}