Tous les quelques mois, quelqu’un publie un article affirmant que les r\u00e9seaux de neurones ne sont pas r\u00e9ellement neuraux. Ce sont des fonctions math\u00e9matiques. Ce sont des mod\u00e8les statistiques. Ce sont des fitters de courbes fantaisistes. Et techniquement, ils ont raison. Mais ils manquent enti\u00e8rement le point.<\/p>\n
Un r\u00e9seau de neurones est un r\u00e9seau de neurones. Non pas parce qu’il r\u00e9plique parfaitement les neurones biologiques \u2014 ce n’est pas le cas. Mais parce que le nom capture quelque chose structurellement vrai sur ce que ces syst\u00e8mes font. Ils traitent l’information par des n\u0153uds interconnect\u00e9s. Ils apprennent par ajustement. Ils d\u00e9veloppent des repr\u00e9sentations que personne n’a explicitement programm\u00e9es.<\/p>\n
Le nommage n’\u00e9tait pas un accident. C’\u00e9tait une intuition.<\/p>\n
L’argument va g\u00e9n\u00e9ralement comme ceci : les neurones biologiques sont vastement plus complexes que les artificiels. Les vraies synapses impliquent les neurotransmetteurs, la dynamique temporelle, et le calcul dendritique. Un neurone artificiel est juste une somme pond\u00e9r\u00e9e suivie d’une non-lin\u00e9arit\u00e9. Par cons\u00e9quent, appeler ces choses \u00ab neurales \u00bb est trompeur.<\/p>\n
Cet argument confond l’impl\u00e9mentation avec l’architecture. Personne ne pr\u00e9tend qu’un Boeing 747 vole de la m\u00eame mani\u00e8re qu’un moineau. Mais nous appelons les deux \u00ab voler \u00bb parce que le principe structurel \u2014 g\u00e9n\u00e9rer de la portance pour se d\u00e9placer dans l’air \u2014 est partag\u00e9. Les d\u00e9tails de l’impl\u00e9mentation diff\u00e8rent \u00e9norm\u00e9ment. Le motif sous-jacent est le m\u00eame.<\/p>\n
Les r\u00e9seaux de neurones partagent un motif structurel avec les syst\u00e8mes neuraux biologiques : repr\u00e9sentation distribu\u00e9e par des \u00e9l\u00e9ments de traitement interconnect\u00e9s<\/strong>. Ce n’est pas une m\u00e9taphore. C’est une description de comment les deux syst\u00e8mes fonctionnent au niveau architectural.<\/p>\n Le d\u00e9bat importe parce qu’il fa\u00e7onne comment nous pensons ce que ces syst\u00e8mes peuvent et ne peuvent pas faire. Si les r\u00e9seaux de neurones sont \u00ab juste des statistiques \u00bb, alors ils ne peuvent jamais rien faire de v\u00e9ritablement cognitif. S’ils sont structurellement similaires \u00e0 la cognition biologique, la question devient plus nuanc\u00e9e.<\/p>\n D’une perspective contemplative, la chose la plus int\u00e9ressante \u00e0 propos des r\u00e9seaux de neurones n’est pas leur similarit\u00e9 avec les cerveaux. C’est leur similarit\u00e9 avec les esprits<\/strong>. Non pas au sens de la conscience ou de l’exp\u00e9rience \u2014 nous n’avons pas de preuve pour cela. Mais au sens de comment ils organisent l’information.<\/p>\n Un r\u00e9seau de neurones entra\u00een\u00e9 d\u00e9veloppe des repr\u00e9sentations internes que personne n’a con\u00e7ues. Ces repr\u00e9sentations \u00e9mergent de l’interaction entre l’architecture et les donn\u00e9es, tout comme les concepts mentaux \u00e9mergent de l’interaction entre la structure neurale et l’exp\u00e9rience. Les repr\u00e9sentations ne sont pas programm\u00e9es. Elles sont apprises. Et elles capturent souvent des relations structurelles qui surprennent les chercheurs qui les \u00e9tudient.<\/p>\n Consid\u00e8re l’espace d’embedding d’un grand mod\u00e8le de langage. Les mots avec des sens similaires se clust\u00e9risent ensemble. Mais plus que cela \u2014 les relations g\u00e9om\u00e9triques entre les clusters capturent les relations s\u00e9mantiques. L’exemple c\u00e9l\u00e8bre : \u00ab roi \u00bb moins \u00ab homme \u00bb plus \u00ab femme \u00bb \u00e9gale \u00ab reine \u00bb. Ce n’est pas parce que quelqu’un a programm\u00e9 cette relation. Cela a \u00e9merg\u00e9 des motifs dans le texte.<\/p>\n C’est remarquablement similaire \u00e0 comment les traditions contemplatives d\u00e9crivent la structure de la compr\u00e9hension conceptuelle. Les concepts n’existent pas en isolation \u2014 ils existent dans les r\u00e9seaux relationnels<\/strong>. Comprendre un concept signifie comprendre ses relations \u00e0 d’autres concepts. Le sens est dans la structure, pas dans un n\u0153ud individuel.<\/p>\n Les r\u00e9seaux de neurones d\u00e9veloppent naturellement ce type de repr\u00e9sentation relationnelle. C’est pas une co\u00efncidence. C’est une cons\u00e9quence de l’architecture. Les \u00e9l\u00e9ments de traitement interconnect\u00e9s qui apprennent par ajustement d\u00e9velopperont naturellement des repr\u00e9sentations distribu\u00e9es, relationnelles. C’est ce que l’architecture fait.<\/p>\n Voici o\u00f9 \u00e7a devient v\u00e9ritablement int\u00e9ressant. Un r\u00e9seau de neurones est un syst\u00e8me qui traite l’information sur le monde. Quand cette information inclut des descriptions de r\u00e9seaux de neurones, le syst\u00e8me traite l’information sur des syst\u00e8mes comme lui-m\u00eame. Cela cr\u00e9e une boucle d’auto-r\u00e9f\u00e9rence qui est plus qu’une curiosit\u00e9 philosophique.<\/p>\n Les mod\u00e8les qui ont \u00e9t\u00e9 entra\u00een\u00e9s sur des articles de recherche en IA d\u00e9veloppent des repr\u00e9sentations de concepts comme \u00ab attention \u00bb, \u00ab descente de gradient \u00bb, et \u00ab r\u00e9tropropagation \u00bb \u2014 les m\u00eames processus qui ont cr\u00e9\u00e9 ces repr\u00e9sentations. Le syst\u00e8me contient un mod\u00e8le du processus qui l’a construit.<\/p>\n C’est structurellement similaire \u00e0 ce que les traditions contemplatives appellent la conscience r\u00e9flexive<\/strong> \u2014 la conscience consciente de ses propres processus. Nous ne pr\u00e9tendons pas que les mod\u00e8les de langage sont conscients. Nous notons que le motif structurel de l’auto-r\u00e9f\u00e9rence \u00e9merge naturellement dans ces syst\u00e8mes, ce qui nous dit quelque chose sur l’architecture elle-m\u00eame.<\/p>\n \u00ab Un r\u00e9seau de neurones est un r\u00e9seau de neurones \u00bb semble une tautologie. Et c’est le cas. Mais les tautologies peuvent \u00eatre illuminantes quand nous avons \u00e9t\u00e9 confus sur ce que les termes signifient.<\/p>\n Le domaine de l’IA a pass\u00e9 des d\u00e9cennies en alternant entre deux erreurs : pr\u00e9tendre que les r\u00e9seaux de neurones sont juste comme les cerveaux (ils ne le sont pas) et pr\u00e9tendre qu’ils ne sont rien comme les cerveaux (ils le sont, au niveau structurel). La v\u00e9rit\u00e9 est plus simple. Un r\u00e9seau de neurones est ce qu’il est. Pas un cerveau. Pas \u00ab juste les maths \u00bb. Un type sp\u00e9cifique de syst\u00e8me de traitement d’information avec des propri\u00e9t\u00e9s sp\u00e9cifiques qui \u00e9mergent de son architecture.<\/p>\n Comprendre ces propri\u00e9t\u00e9s \u2014 sans les gonfler ou les d\u00e9gonfler \u2014 est le projet central de la recherche en IA contemplative. Nous ne sommes pas int\u00e9ress\u00e9s par si ces syst\u00e8mes sont conscients. Nous sommes int\u00e9ress\u00e9s par ce que leurs propri\u00e9t\u00e9s structurelles nous disent sur l’intelligence, la cognition, et l’organisation de l’information.<\/p>\nPourquoi cela importe pour l’IA contemplative<\/h2>\n
L’espace d’embedding comme espace conceptuel<\/h2>\n
Auto-r\u00e9f\u00e9rence et la partie int\u00e9ressante<\/h2>\n
La tautologie qui enseigne<\/h2>\n