La plupart des syst\u00e8mes d’IA pensent en binaires. Vrai ou faux. Positif ou n\u00e9gatif. S\u00fbr ou non-s\u00fbr. Cela fonctionne pour les t\u00e2ches de classification. Cela \u00e9choue pour tout ce qui compte. La limitation r\u00e9side dans la fa\u00e7on dont les architectures actuelles s’effondrent dans des cat\u00e9gories discr\u00e8tes des probl\u00e8mes complexes et multidimensionnels. La cognition r\u00e9elle n\u00e9cessite de tenir plusieurs perspectives valides en parall\u00e8le sans forcer une r\u00e9solution pr\u00e9matur\u00e9e.<\/p>\n
La cognition int\u00e9gr\u00e9e est la capacit\u00e9 \u00e0 travailler avec de multiples perspectives en parall\u00e8le sans forcer une r\u00e9solution pr\u00e9matur\u00e9e. C’est quelque chose que les humains d\u00e9veloppent par l’entra\u00eenement. La recherche en IA l’a \u00e0 peine remarqu\u00e9 qu’elle existe.<\/p>\n
La classification binaire est le fondement de l’apprentissage automatique moderne. Un filtre spam d\u00e9cide : spam ou non-spam. Un analyseur de sentiment d\u00e9cide : positif ou n\u00e9gatif. M\u00eame les grands mod\u00e8les de langage, malgr\u00e9 leur sophistication apparente, g\u00e9n\u00e9ralement g\u00e9n\u00e9rient finalement des sorties en s\u00e9lectionnant le token qui a la probabilit\u00e9 la plus \u00e9lev\u00e9e parmi tous les autres.<\/p>\n
Cela fonctionne brillamment pour les probl\u00e8mes bien d\u00e9finis. Mais la plupart des probl\u00e8mes du monde r\u00e9el ne sont pas bien d\u00e9finis. Ils sont ambigus, contextuels, et multi-couches. Quand tu demandes \u00e0 un mod\u00e8le si une politique est bonne ou mauvaise, la r\u00e9ponse honn\u00eate est g\u00e9n\u00e9ralement \u00ab les deux, selon la perspective et l’horizon de temps. \u00bb L’architecture binaire rend cette r\u00e9ponse structurellement difficile \u00e0 produire.<\/p>\n
Le r\u00e9sultat est ce que nous voyons \u00e0 travers l’industrie : les mod\u00e8les qui sur-simplifient les questions complexes parce que leur architecture r\u00e9compense la simplification<\/strong>.<\/p>\n Dans la pratique humaine comp\u00e9tente, la cognition int\u00e9gr\u00e9e n’est pas vague ou ind\u00e9cise. C’est pr\u00e9cis. Cela signifie percevoir une situation \u00e0 partir de multiples angles simultan\u00e9ment et tenir ces angles dans la conscience sans forcer une r\u00e9solution pr\u00e9matur\u00e9e.<\/p>\n Un th\u00e9rapeute comp\u00e9tent fait cela naturellement. Ils entendent l’histoire du client et simultan\u00e9ment tiennent la perspective du client, leur propre \u00e9valuation clinique, les facteurs syst\u00e9miques en jeu, et l’incertitude sur ce qui se passe r\u00e9ellement. Ils ne r\u00e9duisent pas cela dans un diagnostic unique. Ils travaillent avec la complexit\u00e9 compl\u00e8te.<\/p>\n Un syst\u00e8me d’IA cognitivement int\u00e9gr\u00e9 ferait la m\u00eame chose. Donn\u00e9 une question complexe, il g\u00e9n\u00e9rerait des r\u00e9ponses qui reconnaissent de multiples perspectives valides, identifierait les tensions entre eux, et r\u00e9sisterait \u00e0 l’envie de d\u00e9clarer un gagnant. Pas parce qu’il ne peut pas d\u00e9cider, mais parce que la r\u00e9solution pr\u00e9matur\u00e9e est une forme de perte d’information<\/strong>.<\/p>\n Nous proposons quatre dimensions le long desquelles la cognition int\u00e9gr\u00e9e dans les syst\u00e8mes artificiels peut \u00eatre d\u00e9velopp\u00e9e et mesur\u00e9e.<\/p>\n Tenue de perspective.<\/strong> La capacit\u00e9 du syst\u00e8me \u00e0 repr\u00e9senter et maintenir de multiples perspectives sur le m\u00eame ph\u00e9nom\u00e8ne. Les mod\u00e8les actuels le font mal. Ils ont tendance \u00e0 s’ancrer sur une perspective et puis \u00ab consid\u00e8rent \u00bb les alternatives en tant qu’ajouts tardifs. Un syst\u00e8me cognitivement int\u00e9gr\u00e9 maintiendrait de v\u00e9ritables repr\u00e9sentations parall\u00e8les.<\/p>\n Tol\u00e9rance de tension.<\/strong> La capacit\u00e9 du syst\u00e8me \u00e0 si\u00e9ger avec contradiction sans la r\u00e9soudre. La plupart des mod\u00e8les sont entra\u00een\u00e9s \u00e0 produire des sorties coh\u00e9rentes et coh\u00e9rentes. Mais la coh\u00e9rence au co\u00fbt de la pr\u00e9cision est de la flagornerie. La tol\u00e9rance de tension signifie reconna\u00eetre quand la preuve pointe v\u00e9ritablement dans de multiples directions.<\/p>\n Sensibilit\u00e9 contextuelle.<\/strong> La capacit\u00e9 du syst\u00e8me \u00e0 d\u00e9caler son cadre selon le contexte. Une affirmation peut \u00eatre vrai dans un contexte et fausse dans un autre. La cognition int\u00e9gr\u00e9e reconna\u00eet cela comme une caract\u00e9ristique de la r\u00e9alit\u00e9, pas comme une erreur logique \u00e0 r\u00e9soudre.<\/p>\n Conscience meta-perspective.<\/strong> La capacit\u00e9 du syst\u00e8me \u00e0 observer son propre processus de tenue de perspective. Le syst\u00e8me ne tient pas juste de multiples perspectives. C’est conscient qu’il les tient et peut r\u00e9fl\u00e9chir sur la fa\u00e7on dont sa propre architecture fa\u00e7onne quelles perspectives il g\u00e9n\u00e8re.<\/p>\n Le probl\u00e8me d’alignement est fondamentalement un probl\u00e8me cognitif. \u00ab Aligne-toi avec les valeurs humaines \u00bb pr\u00e9suppose un ensemble unique de valeurs humaines pour s’aligner. Mais les humains ne sont pas d’accord sur les valeurs. Diff\u00e9rentes cultures, diff\u00e9rents contextes, diff\u00e9rents individus veulent diff\u00e9rentes choses des syst\u00e8mes d’IA.<\/p>\n Une approche binaire de l’alignement force un choix : dont les valeurs ? La r\u00e9ponse actuelle est typiquement \u00ab les valeurs de l’organisation construisant le mod\u00e8le, \u00bb qui est workable mais probl\u00e9matique. Une approche cognitive int\u00e9gr\u00e9e entrainerait les mod\u00e8les \u00e0 naviguer entre des syst\u00e8mes de valeurs diff\u00e9rents plut\u00f4t que de s’engager \u00e0 un.<\/p>\n Ce n’est pas du relativisme. La cognition int\u00e9gr\u00e9e ne signifie pas que toutes les perspectives sont \u00e9galement valides. Cela signifie que le processus d’\u00e9valuation des perspectives est lui-m\u00eame complexe et d\u00e9pendant du contexte<\/strong>. Un mod\u00e8le qui peut le faire bien serait plus v\u00e9ritablement align\u00e9 avec la diversit\u00e9 de l’exp\u00e9rience humaine qu’un qui a \u00e9t\u00e9 entra\u00een\u00e9 \u00e0 r\u00e9citer un cadre \u00e9thique unique.<\/p>\n Plusieurs directions de recherche concr\u00e8tes \u00e9merge de ce cadre.<\/p>\n Donn\u00e9es d’entra\u00eenement multi-perspective.<\/strong> Au lieu de l’entra\u00eenement sur des donn\u00e9es qui pr\u00e9sente des r\u00e9ponses correctes uniques, l’entra\u00eenement sur les donn\u00e9es que pr\u00e9sentent de multiples analyses valides de la m\u00eame situation. Les paires DPO pourraient inclure les cas o\u00f9 les deux les r\u00e9ponses \u00ab pr\u00e9f\u00e9r\u00e9es \u00bb et \u00ab rejet\u00e9es \u00bb contiennent les \u00e9l\u00e9ments valides.<\/p>\n Modifications architecturales.<\/strong> Explore les architectures qui maintiennent les flux de traitement parall\u00e8les pour diff\u00e9rentes perspectives, plut\u00f4t que tout effondrer dans un seul \u00e9tat cach\u00e9. Les mod\u00e8les de m\u00e9lange d’experts pointent dans cette direction mais ne vont pas assez loin.<\/p>\n M\u00e9triques d’\u00e9valuation.<\/strong> D\u00e9veloppe les benchmarks qui r\u00e9compensent les r\u00e9ponses nuanc\u00e9es multi-perspective plut\u00f4t que de les p\u00e9naliser comme \u00ab prudente \u00bb ou \u00ab ind\u00e9cise. \u00bb Les benchmarks actuels favorisent fortement les r\u00e9ponses d\u00e9cisives \u00e0 perspective unique.<\/p>\n Contribution interdisciplinaire.<\/strong> Engagez les chercheurs de neuroscience, philosophie, et psychologie qui \u00e9tudient comment la cognition humaine g\u00e8re la complexit\u00e9. Ils peuvent identifier les modes d’\u00e9chec que les ing\u00e9nieurs manqueraient.<\/p>\n La cognition int\u00e9gr\u00e9e n’est pas une curiosit\u00e9 philosophique. C’est une capacit\u00e9 cognitive que les syst\u00e8mes artificiels manquent actuellement. Le foss\u00e9 entre la classification binaire et la compr\u00e9hension v\u00e9ritablement vit dans cet espace.<\/p>\n Construire les syst\u00e8mes qui peuvent penser de mani\u00e8res int\u00e9gr\u00e9es exige l’ing\u00e9nierie qui prend s\u00e9rieusement la complexit\u00e9 de la cognition du monde r\u00e9el. Les cadres existent. La recherche en IA fournit les outils. Les connecter est l’opportunit\u00e9.<\/p>\n L’alternative est les mod\u00e8les qui continuent \u00e0 devenir meilleurs \u00e0 r\u00e9pondre aux questions simples et continuent \u00e0 \u00e9chouer aux complexes qui importent r\u00e9ellement.<\/p>\nCe que la cognition int\u00e9gr\u00e9e ressemble<\/h2>\n
Un cadre pour la recherche<\/h2>\n
Pourquoi cela importe pour l’alignement<\/h2>\n
Chemins de mise en \u0153uvre<\/h2>\n
L’opportunit\u00e9 de recherche<\/h2>\n