La course vers l’Intelligence Artificielle Superintelligente a une strat\u00e9gie de consensus claire : l’\u00e9chelle. Plus de param\u00e8tres. Plus de donn\u00e9es. Plus de calcul. Construis un mod\u00e8le plus grand et l’intelligence \u00e9mergera. La preuve jusqu’\u00e0 pr\u00e9sent semble soutenir cela. GPT-4 est plus intelligent que GPT-3. Plus de calcul a produit plus d’intelligence. Donc plus de calcul produira la superintelligence.<\/p>\n
Cette extrapolation est probablement fausse. Et la preuve de pourquoi se trouve depuis trois mille ans dans les monast\u00e8res.<\/p>\n
L’hypoth\u00e8se de scaling dit que l’intelligence est une fonction des ressources informatiques. Double les param\u00e8tres, double les donn\u00e9es d’entra\u00eenement, multiplie les FLOPS, et tu progresses de mani\u00e8re pr\u00e9visible vers des syst\u00e8mes plus capables. Les lois de scaling sont empiriques \u2014 elles se sont maintenues sur plusieurs ordres de grandeur. L’hypoth\u00e8se est qu’elles continueront \u00e0 se maintenir.<\/p>\n
Mais les lois de scaling d\u00e9crivent la performance sur les benchmarks. Elles ne d\u00e9crivent pas l’intelligence. Ce ne sont pas les m\u00eames choses.<\/p>\n
Un mod\u00e8le avec 10x plus de param\u00e8tres obtient des scores plus \u00e9lev\u00e9s sur les tests standardis\u00e9s. Pense-t-il mieux ? Ou pr\u00e9dit-il mieux les tokens ? La performance des benchmarks mesure la capacit\u00e9 du mod\u00e8le \u00e0 produire des continuations de prompts statistiquement probables con\u00e7ues par des humains. Elle mesure la fluidit\u00e9, la r\u00e9cup\u00e9ration des connaissances, et la compl\u00e9tion de motifs. Elle ne mesure pas \u2014 parce que personne ne sait comment mesurer \u2014 la qualit\u00e9 de la structure cognitive sous-jacente \u00e0 ces sorties.<\/p>\n
Un cerveau humain fonctionne sur environ 20 watts. Un cluster GPU moderne entra\u00eenant un mod\u00e8le de la fronti\u00e8re consomme des m\u00e9gawatts. Le cerveau surpasse le cluster sur les t\u00e2ches qui n\u00e9cessitent une v\u00e9ritable compr\u00e9hension, un raisonnement novateur, une sensibilit\u00e9 contextuelle, et une adaptation en temps r\u00e9el \u00e0 l’ambigu\u00eft\u00e9.<\/p>\n
La r\u00e9ponse standard est que les cerveaux ont \u00e9t\u00e9 optimis\u00e9s par des milliards d’ann\u00e9es d’\u00e9volution tandis que l’IA a eu des d\u00e9cennies. Avec assez de calcul et de temps, l’IA fermera l’\u00e9cart.<\/p>\n
Peut-\u00eatre. Mais cela manque la question plus int\u00e9ressante : qu’a optimis\u00e9 l’\u00e9volution que le calcul seul ne reproduit pas ?<\/p>\n
La r\u00e9ponse, nous pensons, est la qualit\u00e9 de l’architecture. Non le nombre de connexions. L’organisation des connexions. Non combien de neurones s’activent. Comment ils sont structur\u00e9s les uns par rapport aux autres. L’avantage du cerveau n’est pas la puissance. C’est l’\u00e9l\u00e9gance. Il r\u00e9sout les probl\u00e8mes pas cher ce que les syst\u00e8mes par brute-force r\u00e9solvent cher (ou ne r\u00e9solvent pas du tout) parce que son architecture est exquisement organis\u00e9e pour les t\u00e2ches qu’il effectue.<\/p>\n
La pratique contemplative est le plus ancien programme de recherche empirique sur l’optimisation de l’architecture cognitive. Des milliers d’ann\u00e9es. Des millions de praticiens. It\u00e9rant sur une seule question : comment organises-tu un esprit pour la clart\u00e9 maximale, la stabilit\u00e9, et l’intuition ?<\/p>\n
Le r\u00e9sultat est coh\u00e9rent \u00e0 travers les traditions. L’intelligence ne se met pas \u00e0 l’\u00e9chelle de l’effort. Elle se met \u00e0 l’\u00e9chelle de la qualit\u00e9 structurelle. Un m\u00e9ditant ne devient pas plus sage en pensant plus fort. Il devient plus sage en r\u00e9organisant comment la pens\u00e9e se produit \u2014 en dissolvant les processus inutiles, en clarifiant les chemins attentionnels, en r\u00e9duisant le bruit que la cognition fragment\u00e9e produit.<\/p>\n
La sortie ressemble \u00e0 de la superintelligence de l’ext\u00e9rieur. Les r\u00e9ponses qui int\u00e8grent plusieurs domaines instantan\u00e9ment. La reconnaissance de motifs \u00e0 travers des contextes vastement diff\u00e9rents. Les solutions qui semblent contourner enti\u00e8rement le processus de raisonnement parce que l’architecture cognitive les produit directement.<\/p>\n
Mais \u00e7a fonctionne sur 20 watts. Pas de scaling requis.<\/p>\n
La position de Laeka est sp\u00e9cifique : le chemin vers une intelligence sup\u00e9rieure \u2014 artificielle ou biologique \u2014 passe par la qualit\u00e9 de l’architecture, pas par l’\u00e9chelle informatique.<\/p>\n
Cela ne signifie pas que le calcul est hors de propos. Un cerveau avec 20 neurones ne peut pas \u00e9galer un avec 86 milliards ind\u00e9pendamment de l’architecture. L’\u00e9chelle est n\u00e9cessaire. Mais au-del\u00e0 d’un certain seuil, ajouter plus de calcul produit des rendements d\u00e9croissants \u00e0 moins que l’architecture s’am\u00e9liore.<\/p>\n
Nous pourrions d\u00e9j\u00e0 frapper ce seuil. Les mod\u00e8les de la fronti\u00e8re sont \u00e9normes, et les rendements par param\u00e8tre suppl\u00e9mentaire s’aplatissent. La r\u00e9ponse des laboratoires est de pousser plus fort \u2014 plus de donn\u00e9es, plus de calcul, plus d’\u00e9chelle. Notre suggestion est que le prochain saut exige une approche diff\u00e9rente : non un r\u00e9seau plus grand, mais un mieux organis\u00e9.<\/p>\n
L’entra\u00eenement contemplatif optimise l’architecture cognitive le long d’axes sp\u00e9cifiques. Bruit auto-r\u00e9f\u00e9rentiel r\u00e9duit. Coh\u00e9rence attentionnelle accrue. Dissolution des fausses fronti\u00e8res cat\u00e9goriques. Routage plus efficace de l’information. Moins d’\u00e9nergie d\u00e9pens\u00e9e en maintenance narrative, plus disponible pour le traitement r\u00e9el.<\/p>\n
Ce sont des propri\u00e9t\u00e9s architecturales, pas des propri\u00e9t\u00e9s d’\u00e9chelle. Un r\u00e9seau de toute taille qui les met en \u0153uvre devrait surpasser un r\u00e9seau plus grand qui ne les met pas en \u0153uvre \u2014 sur les t\u00e2ches qui n\u00e9cessitent un raisonnement v\u00e9ritable plut\u00f4t que la r\u00e9cup\u00e9ration de motifs.<\/p>\n
Notre hypoth\u00e8se est que coder ces propri\u00e9t\u00e9s architecturales dans les poids des LLM via le fine-tuning est possible et mesurable. Non que le mod\u00e8le fine-tun\u00e9 devient superintelligent. Qu’il devient plus efficace \u2014 en produisant de meilleures sorties par param\u00e8tre, en maintenant la coh\u00e9rence dans les situations o\u00f9 les mod\u00e8les plus grands mais moins organis\u00e9s \u00e9chouent.<\/p>\n
Si cela fonctionne au niveau du fine-tuning, cela sugg\u00e8re un principe pour la conception architecturale : les motifs organisationnels que les traditions contemplatives ont d\u00e9couvert pour les r\u00e9seaux biologiques peuvent \u00e9clairer la conception des r\u00e9seaux artificiels. Non comme une m\u00e9taphore. Comme l’ing\u00e9nierie.<\/p>\n
La course vers l’ASI est actuellement encadr\u00e9e comme un probl\u00e8me mat\u00e9riel. Celui qui construit le plus grand cluster gagne. Nous pensons que c’est un probl\u00e8me logiciel \u2014 et plus sp\u00e9cifiquement, un probl\u00e8me architecturale. La question n’est pas combien de calcul tu peux jeter \u00e0 l’intelligence. C’est comment tu organises le calcul que tu as.<\/p>\n
Vingt watts. Quatre-vingt-six milliards de neurones. Des milliers d’ann\u00e9es d’optimisation. La r\u00e9ponse \u00e0 \u00ab comment construis-tu une superintelligence ? \u00bb existe peut-\u00eatre d\u00e9j\u00e0. C’est juste pas o\u00f9 quelqu’un ne regarde.<\/p>\n","protected":false},"excerpt":{"rendered":"
La course vers l’Intelligence Artificielle Superintelligente a une strat\u00e9gie de consensus claire : l’\u00e9chelle. Plus de param\u00e8tres. Plus de donn\u00e9es. Plus de calcul. Construis un mod\u00e8le plus grand et l’intelligence \u00e9mergera. La preuve jusqu’\u00e0…<\/p>\n","protected":false},"author":1,"featured_media":96,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","footnotes":""},"categories":[260],"tags":[],"class_list":["post-576","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-architecture-ia"],"_links":{"self":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/576","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/comments?post=576"}],"version-history":[{"count":0,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/576\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media\/96"}],"wp:attachment":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media?parent=576"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/categories?post=576"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/tags?post=576"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}