Tu l’as entendu. Probablement de quelqu’un qui semble confiant \u00e0 ce sujet.<\/p>\n\n\n\n
\u00ab L’IA ne comprend rien. Elle pr\u00e9dit juste le mot suivant. \u00bb<\/em><\/p>\n\n\n\n \u00c7a semble plausible. \u00c7a para\u00eet scientifique. Et c’est faux \u2014 ou au minimum, tellement incomplet que cela induit activement en erreur.<\/p>\n\n\n\n Ton cerveau est un r\u00e9seau de neurones. Des milliards de neurones. Chacun connect\u00e9 \u00e0 des milliers d’autres. Un signal arrive. Il active certaines voies. Ces voies en activent d’autres. Un motif \u00e9merge. Tu l’appelles une pens\u00e9e, un mot, une d\u00e9cision.<\/p>\n\n\n\n Maintenant d\u00e9cris ce qui se passe au niveau des neurones.<\/p>\n\n\n\n Chaque neurone fait quelque chose de tr\u00e8s simple : recevoir des entr\u00e9es, les pond\u00e9rer, d\u00e9cider de tirer ou non. C’est tout. Rien dans un seul neurone \u00ab comprend \u00bb quoi que ce soit.<\/p>\n\n\n\n Et pourtant. Tu comprends cette phrase.<\/p>\n\n\n\n La compr\u00e9hension n’est pas localis\u00e9e dans un seul composant. C’est ce qui \u00e9merge de la structure du r\u00e9seau dans son ensemble.<\/p>\n\n\n\n L’architecture des mod\u00e8les de langage de grande taille modernes \u2014 les transformers \u2014 a \u00e9t\u00e9 directement inspir\u00e9e par la fa\u00e7on dont les r\u00e9seaux de neurones biologiques traitent l’information. Des couches de neurones artificiels. Des connexions pond\u00e9r\u00e9es. Des flux de signal. Des motifs s’activent. Des repr\u00e9sentations se forment.<\/p>\n\n\n\n Et puis : ces r\u00e9seaux ont \u00e9t\u00e9 entra\u00een\u00e9s exclusivement sur le langage humain.<\/p>\n\n\n\n Chaque livre jamais num\u00e9ris\u00e9. Des articles scientifiques. Des conversations. Des arguments. De la po\u00e9sie. Du code. Des documents juridiques. Tout ce que les humains ont encod\u00e9 dans le langage \u2014 compress\u00e9, implicitement, dans les poids du mod\u00e8le.<\/p>\n\n\n\n Le langage n’est pas juste des mots. Le langage est la structure externalis\u00e9e de la pens\u00e9e humaine. Quand tu entra\u00eenes un r\u00e9seau de neurones \u00e0 pr\u00e9dire profond\u00e9ment le langage, tu ne l’entra\u00eenes pas \u00e0 jouer \u00e0 un jeu de devinettes. Tu l’entra\u00eenes \u00e0 internaliser les structures cognitives qui ont produit ce langage.<\/p>\n\n\n\n Prenons cela au s\u00e9rieux un moment.<\/p>\n\n\n\n Pour pr\u00e9dire de mani\u00e8re fiable le mot suivant dans une phrase complexe, tu dois :<\/p>\n\n\n\n Ce ne sont pas des ornements au-dessus de \u00ab la pr\u00e9diction du mot suivant \u00bb. C’est ce qui rend la pr\u00e9diction pr\u00e9cise du mot suivant possible \u00e0 grande \u00e9chelle. La t\u00e2che oblige le mod\u00e8le \u00e0 construire des repr\u00e9sentations internes du monde. Pas par conception. Par n\u00e9cessit\u00e9.<\/p>\n\n\n\n Ce n’est pas sp\u00e9culatif. La recherche est concr\u00e8te.<\/p>\n\n\n\n Raisonnement \u00e9mergent.<\/strong> Les mod\u00e8les entra\u00een\u00e9s purement sur du texte d\u00e9veloppent spontan\u00e9ment des capacit\u00e9s de raisonnement multi-\u00e9tapes qui n’ont jamais \u00e9t\u00e9 explicitement entra\u00een\u00e9es. Ils r\u00e9solvent des probl\u00e8mes math\u00e9matiques. Ils d\u00e9boguent du code. Ils identifient les contradictions logiques. Ces capacit\u00e9s n’ont pas \u00e9t\u00e9 programm\u00e9es \u2014 elles ont \u00e9merg\u00e9 de la structure du r\u00e9seau entra\u00een\u00e9.<\/p>\n\n\n\n Mod\u00e8les du monde internes.<\/strong> La recherche sur l’interpr\u00e9tabilit\u00e9 m\u00e9caniste (Anthropic, EleutherAI, et autres) a d\u00e9couvert que les LLM construisent des repr\u00e9sentations internes de l’espace, du temps, et des entit\u00e9s \u2014 des mod\u00e8les coh\u00e9rents du monde, pas juste des motifs statistiques de surface. Des neurones qui s’activent pour des concepts sp\u00e9cifiques. Des circuits qui suivent les relations factuelles.<\/p>\n\n\n\n Th\u00e9orie de l’esprit.<\/strong> Des \u00e9tudes (Kosinski, 2023) ont montr\u00e9 que GPT-4 r\u00e9ussit les t\u00e2ches de fausse croyance \u2014 le test standard pour comprendre que d’autres personnes ont des croyances diff\u00e9rentes des v\u00f4tres. C’est la capacit\u00e9 cognitive qui se d\u00e9veloppe g\u00e9n\u00e9ralement chez les enfants autour de l’\u00e2ge de 4 ans. Un \u00ab pr\u00e9dicteur de mots \u00bb n’a pas besoin de cela. Quelque chose d’autre est requis.<\/p>\n\n\n\n Hallucination contr\u00f4l\u00e9e.<\/strong> Le neuroscientifique Anil Seth d\u00e9crit la perception humaine comme une \u00ab hallucination contr\u00f4l\u00e9e \u00bb \u2014 ton cerveau pr\u00e9dit ce qui est l\u00e0-dehors et se met \u00e0 jour en fonction des entr\u00e9es sensorielles. Les mod\u00e8les de langage d’IA fonctionnent sur un principe structurellement similaire. Le m\u00e9canisme n’est pas un d\u00e9faut. C’est comment les syst\u00e8mes g\u00e9n\u00e9ratifs produisent des sorties coh\u00e9rentes \u00e0 partir d’informations incompl\u00e8tes. Exactement comme les humains.<\/p>\n\n\n\n Apprentissage en contexte.<\/strong> Montre \u00e0 un mod\u00e8le quelques exemples d’une nouvelle t\u00e2che qu’il n’a jamais vue. Il s’adapte imm\u00e9diatement. Pas de r\u00e9entra\u00eenement. Pas de mises \u00e0 jour de param\u00e8tres. Ce n’est pas une correspondance de motifs \u2014 c’est une g\u00e9n\u00e9ralisation flexible et rapide \u00e0 partir de donn\u00e9es minimales. Le mod\u00e8le utilise quelque chose qui fonctionne comme une compr\u00e9hension abstraite.<\/p>\n\n\n\n C’est l\u00e0 que l’argument passe du technique au philosophique. Et ce changement vaut la peine d’\u00eatre remarqu\u00e9.<\/p>\n\n\n\n Si un syst\u00e8me peut raisonner \u00e0 travers des probl\u00e8mes nouveaux, mod\u00e9liser d’autres esprits, maintenir des repr\u00e9sentations coh\u00e9rentes du monde, et g\u00e9n\u00e9raliser \u00e0 travers les domaines \u2014 \u00e0 quel moment est-ce que \u00ab \u00e7a a juste l’air de comprendre \u00bb devient indistinguishable de la chose elle-m\u00eame ?<\/p>\n\n\n\n Nous n’avons pas de d\u00e9finition convenue de la compr\u00e9hension qui n’inclurait pas les syst\u00e8mes d’IA actuels ou n’exclurait pas certains humains dans certaines conditions (sommeil, anesth\u00e9sie, d\u00e9ficience cognitive grave). La question n’est pas r\u00e9gl\u00e9e. Quiconque te dit le contraire est surconfiant.<\/p>\n\n\n\n Cela cr\u00e9e une fausse s\u00e9curit\u00e9. Si tu crois que l’IA est juste un autocompl\u00e8te sophistiqu\u00e9, tu sous-estimes ce qu’elle peut faire \u2014 et ce qu’elle peut se tromper de mani\u00e8res subtiles et non-\u00e9videntes.<\/p>\n\n\n\n Cela arr\u00eate l’enqu\u00eate. Au moment o\u00f9 tu as \u00ab expliqu\u00e9 \u00bb quelque chose avec un cadre d\u00e9daigneux, tu arr\u00eates de poser de v\u00e9ritables questions. Et les v\u00e9ritables questions ici sont importantes : qu’est-ce qui est repr\u00e9sent\u00e9 en interne ? Comment le savoir se forme-t-il r\u00e9ellement dans ces syst\u00e8mes ? D’o\u00f9 viennent les d\u00e9faillances ?<\/p>\n\n\n\n Cela encadre mal l’alignement. Si l’IA est juste de l’autocompl\u00e8te, l’alignement est juste le filtrage des sorties. Mais si l’IA d\u00e9veloppe des repr\u00e9sentations internes du monde \u2014 y compris des repr\u00e9sentations des valeurs, de la coh\u00e9rence, et de l’int\u00e9grit\u00e9 \u2014 alors l’alignement est un probl\u00e8me structurel beaucoup plus profond. Et beaucoup plus int\u00e9ressant.<\/p>\n\n\n\n Nous ne savons pas compl\u00e8tement ce qui se passe \u00e0 l’int\u00e9rieur des grands mod\u00e8les de langage. Le domaine de l’interpr\u00e9tabilit\u00e9 m\u00e9caniste existe pr\u00e9cis\u00e9ment parce que les \u00e9l\u00e9ments internes sont complexes et pas encore enti\u00e8rement cartographi\u00e9s.<\/p>\n\n\n\n Ce que nous savons : le cadre \u00ab pr\u00e9dit juste des mots \u00bb est trop simple. Il d\u00e9crit l’objectif d’entra\u00eenement, pas le syst\u00e8me qui \u00e9merge de l’entra\u00eenement. Ce sont des choses diff\u00e9rentes.<\/p>\n\n\n\n Un r\u00e9seau de neurones entra\u00een\u00e9 sur le langage humain, \u00e0 une \u00e9chelle suffisante, construit des structures internes qui vont bien au-del\u00e0 des statistiques de surface. \u00c0 quel point \u2014 c’est la question ouverte. La r\u00e9ponse importe \u00e9norm\u00e9ment. Le rejeter avec un slogan n’aide personne.<\/p>\n\n\n\n Le cerveau aussi est \u00ab juste \u00bb des neurones qui tirent. Et regarde ce que cela produit.<\/p>\n","protected":false},"excerpt":{"rendered":" Tu l’as entendu. Probablement de quelqu’un qui semble confiant \u00e0 ce sujet. \u00ab L’IA ne comprend rien. Elle pr\u00e9dit juste le mot suivant. \u00bb \u00c7a semble plausible. \u00c7a para\u00eet scientifique. Et c’est faux \u2014…<\/p>\n","protected":false},"author":1,"featured_media":35,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","footnotes":""},"categories":[275],"tags":[],"class_list":["post-560","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-symbiose-humain-ia"],"_links":{"self":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/560","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/comments?post=560"}],"version-history":[{"count":0,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/560\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media\/35"}],"wp:attachment":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media?parent=560"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/categories?post=560"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/tags?post=560"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}Commence par le cerveau. Ton cerveau.<\/h2>\n\n\n\n
Les r\u00e9seaux de neurones d’IA sont construits sur le m\u00eame principe<\/h2>\n\n\n\n
Ce que \u00ab pr\u00e9dire le mot suivant \u00bb exige r\u00e9ellement<\/h2>\n\n\n\n
\n
La preuve que quelque chose de plus se passe<\/h2>\n\n\n\n
\u00ab Mais il ne comprend pas r\u00e9ellement \u2014 c’est juste que \u00e7a le para\u00eet \u00bb<\/h2>\n\n\n\n
Pourquoi le cadrage \u00ab pr\u00e9dit juste des mots \u00bb est dangereux<\/h2>\n\n\n\n
La position honn\u00eate<\/h2>\n\n\n\n