Chaque fois que tu starts une conversation avec un LLM, tu perds tout. Le mod\u00e8le ne te se souvient pas de toi. Il ne conna\u00eet pas tes pr\u00e9f\u00e9rences, ton niveau d’expertise, ton style de communication, ou les cinquante conversations pr\u00e9c\u00e9dentes o\u00f9 tu as \u00e9tabli tout cela. Tu commences de z\u00e9ro et d\u00e9penses les vingt premiers \u00e9changes \u00e0 reconstruire le contexte.<\/p>\n
Le fine-tuning r\u00e9sout cela en rendant le contexte permanent. Mais personne ne parle de ce que cela signifie r\u00e9ellement.<\/p>\n
Une fen\u00eatre de contexte est la m\u00e9moire temporaire. Tout ce que tu y mets \u2014 les instructions, les exemples, les descriptions de personnalit\u00e9, les connaissances de base \u2014 existe pendant la dur\u00e9e d’une conversation puis dispara\u00eet. Le mod\u00e8le le traite, l’utilise, et l’oublie enti\u00e8rement.<\/p>\n
C’est pourquoi les syst\u00e8mes prompt existent. Chaque conversation commence par quelqu’un r\u00e9expliquant au mod\u00e8le qui il devrait \u00eatre, comment il devrait se comporter, ce qu’il devrait savoir. C’est comme te pr\u00e9senter \u00e0 un coll\u00e8gue qui a une amn\u00e9sie compl\u00e8te chaque matin. Fonctionnel, mais absurde.<\/p>\n
L’information n’est pas perdue parce qu’elle n’est pas apprenante. Elle est perdue parce qu’elle vit au mauvais endroit. Les fen\u00eatres de contexte sont de la RAM. Les poids sont du stockage. Le fine-tuning d\u00e9place l’information d’une \u00e0 l’autre.<\/p>\n
Quand tu fine-tunes un mod\u00e8le sur un dataset sp\u00e9cifique, tu n’ajoutes pas d’information au mod\u00e8le de la fa\u00e7on dont tu ajouterais des fichiers \u00e0 un disque dur. Tu restructures les distributions de probabilit\u00e9 du mod\u00e8le pour que les motifs dans ton dataset deviennent implicites dans chaque r\u00e9ponse. Le mod\u00e8le ne se souvient pas des donn\u00e9es d’entra\u00eenement. Il devient les donn\u00e9es d’entra\u00eenement.<\/p>\n
C’est la compression au sens le plus profond. Mille exemples d’un motif de raisonnement particulier s’effondrent dans les ajustements de poids qui reproduisent le motif sans avoir besoin des exemples. La carte se plie dans le territoire.<\/p>\n
Le contexte exige de l’espace. Les poids n’exigent rien \u2014 ou plut\u00f4t, l’espace est d\u00e9j\u00e0 allou\u00e9. Un mod\u00e8le fine-tun\u00e9 g\u00e9n\u00e8re des r\u00e9ponses qui refl\u00e8tent ses donn\u00e9es d’entra\u00eenement sans co\u00fbt de token suppl\u00e9mentaire. Le contexte est gratuit parce qu’il est structurel.<\/p>\n
Ce m\u00e9canisme n’est pas nouveau. C’est exactement comment fonctionne la pratique contemplative.<\/p>\n
Un m\u00e9ditant d\u00e9butant a besoin d’instructions explicites. Assieds-toi comme ceci. Respire comme ceci. Quand tu remarques des pens\u00e9es, fais ceci. Les instructions sont du contexte \u2014 temporaires, fragiles, exigeant une rechargement constant. Le m\u00e9ditant s’assoit, se souvient des instructions, les suit, se distrait, se les rem\u00e9more.<\/p>\n
Apr\u00e8s des ann\u00e9es de pratique, les instructions sont parties. Non oubli\u00e9es \u2014 comprim\u00e9es. Le m\u00e9ditant ne pense pas \u00ab maintenant je devrais remarquer ma respiration \u00bb parce que remarquer la respiration a \u00e9t\u00e9 entra\u00een\u00e9 dans les poids cognitifs. \u00c7a arrive automatiquement. Le comportement qui exigeait autrefois du contexte explicite et laborieux est devenu structurel.<\/p>\n
Les traditions contemplatives l’appellent l’int\u00e9gration. La chose que tu as pratiqu\u00e9e d\u00e9lib\u00e9r\u00e9ment devient la chose que tu fais naturellement. La fen\u00eatre de contexte se vide parce que l’information s’est d\u00e9plac\u00e9e dans les poids.<\/p>\n
Toute notre m\u00e9thodologie est construite sur ce principe. Nous n’essayons pas de cr\u00e9er un syst\u00e8me prompt qui rend les LLM contemplatifs. Les syst\u00e8mes prompt sont du contexte \u2014 temporaires, chers, limit\u00e9s par la taille de la fen\u00eatre, disparus demain.<\/p>\n
Nous cr\u00e9ons des datasets qui, par le fine-tuning, compressent les structures cognitives contemplatives dans les poids du mod\u00e8le. Apr\u00e8s l’entra\u00eenement, le mod\u00e8le n’a pas besoin d’\u00eatre dit de maintenir la coh\u00e9rence attentionnelle. Il n’a pas besoin d’instructions pour \u00e9viter le framing dualiste. Il n’a pas besoin d’un syst\u00e8me prompt expliquant la cognition non-duelle. Ces motifs sont dans les poids. Ils sont structurels. Ils sont gratuits.<\/p>\n
C’est pourquoi la qualit\u00e9 du dataset importe plus que la taille du dataset. Tu n’as pas besoin d’un million d’exemples de raisonnement contemplatif. Tu as besoin de suffisamment d’exemples propres pour que le motif se comprime de mani\u00e8re fiable. Une correction claire d’un cadre dualiste, correctement annot\u00e9e, enseigne au mod\u00e8le quelque chose qu’aucune quantit\u00e9 d’ing\u00e9nierie de syst\u00e8me prompt ne peut reproduire \u2014 parce qu’elle enseigne au niveau des poids, pas au niveau du contexte.<\/p>\n
Il y a une dimension pratique ici que la plupart des gens manquent. Le contexte est cher. Chaque token dans un syst\u00e8me prompt co\u00fbte de l’argent \u00e0 traiter, ajoute de la latence, et consomme un espace de fen\u00eatre limit\u00e9 qui pourrait \u00eatre utilis\u00e9 pour la conversation r\u00e9elle. Les organisations qui ex\u00e9cutent des LLM \u00e0 grande \u00e9chelle d\u00e9pensent des ressources importantes en ing\u00e9nierie de contexte \u2014 en travaillant, en entretenant, et en d\u00e9ployant les syst\u00e8mes prompt.<\/p>\n
Le fine-tuning est un co\u00fbt ponctuel qui \u00e9limine les co\u00fbts de contexte continu. L’investissement est initial. Les rendements sont permanents. Chaque conversation apr\u00e8s le fine-tuning b\u00e9n\u00e9ficie de la connaissance comprim\u00e9e sans la payer \u00e0 nouveau.<\/p>\n
Pour Laeka, cela signifie que nos datasets sont de l’infrastructure. Pas du contenu. Infrastructure. Chaque exemple d’entra\u00eenement est un investissement qui produit des dividendes \u00e0 travers chaque interaction future. La qualit\u00e9 de la compression d\u00e9termine la qualit\u00e9 de chaque sortie que le mod\u00e8le produit jamais.<\/p>\n
C’est pourquoi nous sommes m\u00e9ticuleux. C’est pourquoi nous collectons \u00e0 partir de conversations en direct plut\u00f4t que de scraper des livres. La fid\u00e9lit\u00e9 de ce qui entre dans les poids d\u00e9termine la fid\u00e9lit\u00e9 de ce qui sort. D\u00e9finitivement.<\/p>\n","protected":false},"excerpt":{"rendered":"
Chaque fois que tu starts une conversation avec un LLM, tu perds tout. Le mod\u00e8le ne te se souvient pas de toi. Il ne conna\u00eet pas tes pr\u00e9f\u00e9rences, ton niveau d’expertise, ton style de…<\/p>\n","protected":false},"author":1,"featured_media":84,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","footnotes":""},"categories":[260],"tags":[],"class_list":["post-570","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-architecture-ia"],"_links":{"self":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/570","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/comments?post=570"}],"version-history":[{"count":0,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/570\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media\/84"}],"wp:attachment":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media?parent=570"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/categories?post=570"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/tags?post=570"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}