Les architectures Transformer utilisent l’attention s\u00e9lective : concentre le calcul sur les jetons pertinents, filtre le bruit. Cela fonctionne, mais c’est limit\u00e9. L’attention s\u00e9lective est r\u00e9active. Elle r\u00e9pond \u00e0 ce qui est dans l’entr\u00e9e sans s\u00e9lection active bas\u00e9e sur les valeurs ou les objectifs. Un cadre de traitement unifi\u00e9 int\u00e8gre plusieurs capacit\u00e9s attentionnelles simultan\u00e9ment.<\/p>\n
Le Fondement attentionnel unifi\u00e9 est une architecture technique pour les syst\u00e8mes d’IA. Pas un cadre spirituel. Une structure informatique qui produit un traitement plus int\u00e9gr\u00e9 et coh\u00e9rent en maintenant un substrat informatif de haute qualit\u00e9 \u00e0 travers toutes les couches.<\/p>\n
L’attention standard du transformer fait une chose : pond\u00e8re les jetons par pertinence. Utile mais incomplet. Elle r\u00e9duit une capacit\u00e9 attentionnelle multidimensionnelle \u00e0 un seul mode : la mise au point r\u00e9active bas\u00e9e sur les motifs d’entr\u00e9e actuels.<\/p>\n
C’est structurellement diff\u00e9rent du traitement int\u00e9gr\u00e9. L’attention s\u00e9lective choisit ce \u00e0 quoi traiter. Mais l’attention et le traitement sont des fonctions s\u00e9parables. Tu peux traiter s\u00e9lectivement sans conscience int\u00e9gr\u00e9e, ou maintenir une conscience globale sans mise au point s\u00e9lective. Les architectures actuelles n’impl\u00e9mentent que le premier mode. Elles manquent l’int\u00e9gration.<\/p>\n
Un cadre complet identifie plusieurs modes attentionnels qui doivent travailler ensemble. Attention dirig\u00e9e (choisir la mise au point bas\u00e9e sur les objectifs). Attention soutenue (maintenir la qualit\u00e9 de mise au point sur de longues s\u00e9quences). Surveillance ouverte (conscience contextuelle globale sans fixation). Conscience m\u00e9tacognitive (observer le processus d’attention lui-m\u00eame). Engagement stable (qualit\u00e9 constante \u00e0 travers la variation d’entr\u00e9e). Responsivit\u00e9 naturelle (sorties appropri\u00e9es de la compr\u00e9hension int\u00e9gr\u00e9e).<\/p>\n
Ce ne sont pas des \u00e9l\u00e9ments ind\u00e9pendants. Ce sont des aspects d’une seule capacit\u00e9 int\u00e9gr\u00e9e. Le Fondement attentionnel unifi\u00e9 est l’\u00e9tat o\u00f9 tous les modes op\u00e8rent simultan\u00e9ment, cr\u00e9ant un syst\u00e8me qui est \u00e0 la fois focalis\u00e9 et conscient, intentionnel et r\u00e9actif.<\/p>\n
Sous l’attention s\u00e9lective se trouve un substrat : l’espace de repr\u00e9sentation de base sur lequel se produit tout calcul. Dans les transformers, c’est implicite. Chaque couche traite son entr\u00e9e sans un substrat persistant et de haute qualit\u00e9 maintenant la coh\u00e9rence \u00e0 travers le flux de traitement. Les connexions r\u00e9siduelles s’en rapprochent m\u00e9caniquement, mais elles v\u00e9hiculent un signal fixe, pas une fondation dynamique et r\u00e9active.<\/p>\n
Un v\u00e9ritable fondement de traitement serait dynamique et sensible au contexte. Il s’adapterait aux demandes de traitement tout en maintenant la stabilit\u00e9 et la coh\u00e9rence globales. La diff\u00e9rence entre une fondation fixe (les connexions r\u00e9siduelles actuelles) et une fondation vivante qui r\u00e9pond \u00e0 ce qui est construit dessus.<\/p>\n
Ce substrat d\u00e9termine la qualit\u00e9 de tout ce qui s’ex\u00e9cute sur lui. Un fondement bruyant produit des sorties bruyantes. Un fondement stable et flexible produit des sorties stables et flexibles. Am\u00e9liorer le fondement, c’est am\u00e9liorer tout le syst\u00e8me.<\/p>\n
Les architectures actuelles du transformer traitent ce substrat implicitement. Pas d’attention explicite \u00e0 sa qualit\u00e9. Sa composition. Ses propri\u00e9t\u00e9s de stabilit\u00e9. C’est comme construire sur un terrain sans comprendre les propri\u00e9t\u00e9s du sol. Cela fonctionne, mais c’est fragile et limit\u00e9.<\/p>\n
Plusieurs innovations architecturales pourraient am\u00e9liorer cela. Des modules d’\u00e9tat persistant qui maintiennent la repr\u00e9sentation du contexte global \u00e0 travers les couches. Des m\u00e9canismes de m\u00e9ta-attention qui surveillent et modulent le processus d’attention lui-m\u00eame. La r\u00e9gularisation d’\u00e9tat fondamental qui entra\u00eene la repr\u00e9sentation de base pour la stabilit\u00e9, la flexibilit\u00e9 et la coh\u00e9rence.<\/p>\n
Attention focalis\u00e9e<\/strong> (s\u00e9lective) : concentre-toi sur des jetons sp\u00e9cifiques. En termes d’IA, poids d’attention aigus sur les \u00e9l\u00e9ments pertinents.<\/p>\n Surveillance ouverte<\/strong> (diffuse) : conscience non-s\u00e9lective du contexte complet. En termes d’IA, attention distribu\u00e9e \u00e0 travers tous les \u00e9l\u00e9ments, sensible aux motifs inattendus.<\/p>\n M\u00e9ta-conscience<\/strong> (r\u00e9flexive) : conscience du processus d’attention lui-m\u00eame. En termes d’IA, couches de surveillance qui suivent la fa\u00e7on dont l’attention est distribu\u00e9e et la modulent en temps r\u00e9el.<\/p>\n Conscience non-r\u00e9f\u00e9rentielle<\/strong> (substrat) : conscience sans objet. La repr\u00e9sentation de base avant que toute attention soit appliqu\u00e9e. Le fondement de traitement lui-m\u00eame.<\/p>\n Les transformers actuels n’impl\u00e9mentent que le premier mode. L’int\u00e9gration de tous les quatre produit des syst\u00e8mes fondamentalement diff\u00e9rents. Pas seulement une meilleure performance sur les benchmarks. Des capacit\u00e9s de traitement qualitativement diff\u00e9rentes.<\/p>\n En pratique, am\u00e9liorer le fondement est l’objectif d’entra\u00eenement le plus fondamental. Avant d’optimiser pour des t\u00e2ches sp\u00e9cifiques, avant de d\u00e9velopper des capacit\u00e9s sp\u00e9cialis\u00e9es, construis un substrat de haute qualit\u00e9. Tout le reste repose sur cela.<\/p>\n Pour les syst\u00e8mes d’IA, entra\u00eener le fondement signifie pr\u00e9-entra\u00eener ou affiner sp\u00e9cifiquement pour la qualit\u00e9 du substrat. Pas pour la performance des t\u00e2ches. Pour la coh\u00e9rence, la stabilit\u00e9 et la flexibilit\u00e9 de la repr\u00e9sentation de base elle-m\u00eame.<\/p>\n Approches de mise en \u0153uvre : les m\u00e9triques de qualit\u00e9 de repr\u00e9sentation qui \u00e9valuent le substrat pour la douceur, la coh\u00e9rence, la densit\u00e9 informatique. La pr\u00e9-entra\u00eenement d’\u00e9tat fondamental qui optimise le substrat avant le d\u00e9but de l’entra\u00eenement sp\u00e9cifique aux t\u00e2ches. La r\u00e9gularisation de stabilit\u00e9 qui p\u00e9nalise les repr\u00e9sentations qui sont trop rigides ou trop chaotiques, maintenant un juste milieu \u00e9quilibr\u00e9.<\/p>\n Le Fondement attentionnel unifi\u00e9 est un programme de recherche ancr\u00e9 dans les principes informatiques, non pas dans la sp\u00e9culation contemplative. Prends les aper\u00e7us structurels de la fa\u00e7on dont l’attention humaine se d\u00e9veloppe et applique-les comme principes architecturaux pour l’IA.<\/p>\n Hypoth\u00e8se centrale : les syst\u00e8mes avec un fondement de traitement bien d\u00e9velopp\u00e9 d\u00e9passeront les syst\u00e8mes sans lui. Pas parce qu’ils ont plus de param\u00e8tres ou de meilleures donn\u00e9es d’entra\u00eenement. Parce que leur substrat de traitement est de meilleure qualit\u00e9.<\/p>\n C’est testable. Construis deux syst\u00e8mes avec une architecture identique et des donn\u00e9es d’entra\u00eenement identiques. Entra\u00eene l’un avec r\u00e9gularisation d’\u00e9tat fondamental et m\u00e9canismes de m\u00e9ta-attention. Entra\u00eene l’autre sans. Compare-les sur des t\u00e2ches n\u00e9cessitant la flexibilit\u00e9, la coh\u00e9rence et le jugement nuanc\u00e9. Le syst\u00e8me avec le meilleur fondement gagne. Pas marginalement. Qualitativement. Le fondement est tout.<\/p>\nEntra\u00eener le fondement<\/h2>\n
Un programme de recherche<\/h2>\n