Tu as entra\u00een\u00e9 un \u00e9norme mod\u00e8le de langage. Il est brillant \u2014 r\u00e9pondre \u00e0 des questions complexes, \u00e9crire un code \u00e9l\u00e9gant, raisonner \u00e0 travers des probl\u00e8mes multi-\u00e9tapes. Il y a juste un probl\u00e8me : cela n\u00e9cessite huit GPUs pour ex\u00e9cuter l’inf\u00e9rence et co\u00fbte une fortune par requ\u00eate. Tes utilisateurs l’adorent. Ton budget d’infrastructure ne l’adore pas.<\/p>\n
C’est la tension fondamentale qui pilote la distillation de mod\u00e8le, l’une des techniques les plus pratiquement importantes en IA moderne. L’id\u00e9e est trompeusement simple : prends un grand mod\u00e8le de \u00ab professeur \u00bb puissant et entra\u00eene un plus petit mod\u00e8le \u00ab \u00e9tudiant \u00bb pour imiter son comportement. L’\u00e9tudiant apprend non seulement \u00e0 partir des donn\u00e9es d’entra\u00eenement brutes, mais \u00e0 partir de la compr\u00e9hension raffin\u00e9e du professeur de ces donn\u00e9es. Le r\u00e9sultat ? Un mod\u00e8le qui poin\u00e7onne bien au-dessus de sa cat\u00e9gorie de poids.<\/p>\n
L’entra\u00eenement traditionnel enseigne \u00e0 un mod\u00e8le \u00e0 pr\u00e9dire des \u00e9tiquettes dures \u2014 la seule bonne r\u00e9ponse. La distillation renverse cela. Au lieu d’entra\u00eener l’\u00e9tudiant sur \u00ab la r\u00e9ponse est chat, \u00bb tu l’entra\u00eenes sur la distribution compl\u00e8te de probabilit\u00e9 du professeur : \u00ab 62% chat, 15% lynx, 8% tigre, 5% chien… \u00bb Cette distribution douce contient vastement plus d’informations qu’une \u00e9tiquette dure. La relation entre chat et lynx dit \u00e0 l’\u00e9tudiant quelque chose sur la structure du monde qu’une simple \u00e9tiquette \u00ab chat \u00bb ne pourrait jamais.<\/p>\n
Geoffrey Hinton a formalis\u00e9 cela en 2015 avec son article fondateur sur la distillation de connaissances. L’insight cl\u00e9 \u00e9tait le param\u00e8tre \u00ab temp\u00e9rature \u00bb \u2014 en adoucissant la distribution de probabilit\u00e9 du professeur, tu exposes la connaissance sombre cach\u00e9e dans les probabilit\u00e9s quasi-z\u00e9ro. Un mod\u00e8le de professeur qui assigne 0,001% de probabilit\u00e9 \u00e0 \u00ab avion \u00bb pour une image de chat te dit quelque chose d’important : les chats et les avions ne partagent presque rien visuellement. Ce signal se perd dans les \u00e9tiquettes dures mais survit dans les distributions douces.<\/p>\n
L’objectif d’entra\u00eenement devient une combinaison pond\u00e9r\u00e9e de deux pertes : la perte d’entropie crois\u00e9e standard par rapport aux v\u00e9ritables \u00e9tiquettes, et la divergence KL entre les distributions de probabilit\u00e9 douce de l’\u00e9tudiant et du professeur. L’\u00e9quilibre entre ces deux objectifs est un hyperparam\u00e8tre critique qui d\u00e9termine combien l’\u00e9tudiant fait confiance au professeur par rapport \u00e0 la v\u00e9rit\u00e9 terrestre.<\/p>\n
Le domaine a \u00e9volu\u00e9 dramatiquement depuis la formulation originale d’Hinton. Les m\u00e9thodes de distillation d’aujourd’hui vont bien au-del\u00e0 du appariement des distributions de sortie.<\/p>\n
La distillation bas\u00e9e sur les caract\u00e9ristiques fait correspondre les repr\u00e9sentations interm\u00e9diaires, pas seulement les sorties finales. L’\u00e9tudiant apprend \u00e0 r\u00e9pliquer les cartes de caract\u00e9ristiques internes du professeur \u00e0 diff\u00e9rentes couches. Cela force l’\u00e9tudiant \u00e0 d\u00e9velopper des repr\u00e9sentations internes similaires, ce qui conduit souvent \u00e0 une meilleure g\u00e9n\u00e9ralisation. FitNets a lanc\u00e9 cette approche, montrant que les r\u00e9seaux d’\u00e9tudiants minces et profonds pouvaient correspondre \u00e0 des r\u00e9seaux de professeurs plus larges en alignant les caract\u00e9ristiques interm\u00e9diaires.<\/p>\n
Le transfert d’attention va plus loin en distillant les motifs d’attention eux-m\u00eames. Plut\u00f4t que de faire correspondre les activations brutes, l’\u00e9tudiant apprend \u00e0 faire attention aux m\u00eames emplacements spatiaux ou s\u00e9quentiels que le professeur. Cela capture la notion apprise du professeur de \u00ab ce qui est important \u00bb dans une entr\u00e9e donn\u00e9e, ce qui s’av\u00e8re \u00eatre \u00e9tonnamment transf\u00e9rable.<\/p>\n
Pour les grands mod\u00e8les de langage, le jeu s’est d\u00e9plac\u00e9 vers la distillation comportementale. Au lieu de faire correspondre les repr\u00e9sentations internes \u2014 ce qui n’est pas pratique quand ton professeur a 70 milliards de param\u00e8tres et que ton \u00e9tudiant en a 7 milliards \u2014 tu g\u00e9n\u00e8res des ensembles de donn\u00e9es massifs de sorties de professeur et affines l’\u00e9tudiant sur eux. C’est essentiellement ce qui s’est pass\u00e9 avec la vague de mod\u00e8les open-source entra\u00een\u00e9s sur des donn\u00e9es synth\u00e9tiques de GPT-4 et Claude.<\/p>\n
La distillation est devenue l’\u00e9pine dorsale du mouvement de l’IA open-source. Presque tous les mod\u00e8les petits comp\u00e9titifs que tu as entendus doivent quelque chose \u00e0 la distillation de mod\u00e8les propri\u00e9taires plus grands.<\/p>\n
L’approche de DeepSeek est instructive. Leurs mod\u00e8les plus petits sont explicitement distill\u00e9s \u00e0 partir de leurs mod\u00e8les plus grands, utilisant des ensembles de donn\u00e9es soigneusement cur\u00e9s des traces de raisonnement du professeur. Ils ne capturent pas seulement ce que le professeur r\u00e9pond \u2014 ils capturent comment il pense. La distillation de cha\u00eene de pens\u00e9e pr\u00e9serve la structure de raisonnement qui rend le professeur efficace.<\/p>\n
Mistral a pris un angle diff\u00e9rent avec sa strat\u00e9gie de distillation. Plut\u00f4t que de distiller du plus grand mod\u00e8le possible, ils se concentrent sur la distillation de l’expertise sp\u00e9cifique \u00e0 la t\u00e2che. Un mod\u00e8le distill\u00e9 sp\u00e9cifiquement pour la g\u00e9n\u00e9ration de code \u00e0 partir d’un professeur sp\u00e9cialis\u00e9 en code surpasse un mod\u00e8le \u00e0 usage g\u00e9n\u00e9ral distill\u00e9 de la m\u00eame taille, m\u00eame sur les benchmarks g\u00e9n\u00e9raux. La sp\u00e9cialisation lors de la distillation s’av\u00e8re \u00eatre plus efficace que la compression \u00e0 usage g\u00e9n\u00e9ral.<\/p>\n
L’\u00e9cosyst\u00e8me Llama a engendr\u00e9 d’innombrables variantes distill\u00e9es. TinyLlama, par exemple, a utilis\u00e9 une distillation agressive pour cr\u00e9er des mod\u00e8les qui fonctionnent sur les appareils mobiles tout en conservant une capacit\u00e9 surprenante. L’innovation cl\u00e9 \u00e9tait la distillation multi-\u00e9tapes \u2014 d’abord distiller d’un grand mod\u00e8le \u00e0 un mod\u00e8le moyen, puis du moyen au petit. Chaque \u00e9tape perd moins d’informations que d’essayer de comprimer directement du grand au minuscule.<\/p>\n
La distillation n’est pas magique. La compression s’accompagne de compromis, et il est crucial de comprendre ce qui se perd pour d\u00e9ployer les mod\u00e8les distill\u00e9s de mani\u00e8re responsable.<\/p>\n
La connaissance factuelle est la premi\u00e8re victime. Un mod\u00e8le de 70 milliards de param\u00e8tres peut m\u00e9moriser vastement plus de faits qu’un mod\u00e8le de 7 milliards, ind\u00e9pendamment de la qualit\u00e9 de la distillation. Si ton cas d’usage n\u00e9cessite un rappel factuel large \u2014 pense \u00e0 r\u00e9pondre \u00e0 des questions sur des domaines divers \u2014 le mod\u00e8le distill\u00e9 aura des lacunes. RAG (r\u00e9cup\u00e9ration g\u00e9n\u00e9ration augment\u00e9e) peut combler de nombreuses lacunes, mais la limitation de capacit\u00e9 fondamentale demeure.<\/p>\n
Le raisonnement complexe multi-\u00e9tapes se d\u00e9grade plus gracieusement que tu pourrais le penser. Un mod\u00e8le de 7 milliards bien distill\u00e9 peut souvent \u00e9galer un mod\u00e8le de 70 milliards sur les t\u00e2ches de raisonnement jusqu’\u00e0 un certain seuil de complexit\u00e9, puis chute brusquement. Les motifs de raisonnement du professeur se transf\u00e8rent bien ; c’est la capacit\u00e9 \u00e0 maintenir la coh\u00e9rence sur de tr\u00e8s longues cha\u00eenes de raisonnement qui souffre.<\/p>\n
Ce qui survit remarquablement bien \u00e0 la distillation ? Le style, le ton, et la capacit\u00e9 conversationnelle. L’adh\u00e9rence au format. La suite d’instructions de base. Ces motifs comportementaux sont profond\u00e9ment cod\u00e9s dans la distribution de sortie du professeur et se transf\u00e8rent efficacement aux mod\u00e8les plus petits. C’est pourquoi les mod\u00e8les de chat distill\u00e9s \u00ab se sentent \u00bb souvent similaires \u00e0 leurs professeurs dans une conversation d\u00e9contract\u00e9e, m\u00eame quand ils \u00e9chouent sur des t\u00e2ches plus difficiles.<\/p>\n
La distillation fonctionne souvent de pair avec la quantification \u2014 r\u00e9duire la pr\u00e9cision num\u00e9rique des poids du mod\u00e8le. Un mod\u00e8le de 7 milliards distill\u00e9s en quantification 4-bits peut fonctionner sur du mat\u00e9riel grand public tout en approchant la qualit\u00e9 d’un mod\u00e8le de 70 milliards en pr\u00e9cision compl\u00e8te sur de nombreuses t\u00e2ches. La combinaison est multiplicative : la distillation r\u00e9duit le nombre de param\u00e8tres, la quantification r\u00e9duit la m\u00e9moire par param\u00e8tre, et ensemble elles r\u00e9alisent des ratios de compression qui seraient impossibles avec l’une ou l’autre technique seule.<\/p>\n
Le travail r\u00e9cent sur la distillation consciente de la quantification optimise conjointement les deux objectifs. Plut\u00f4t que de distiller d’abord et de quantifier ensuite, tu entra\u00eenes l’\u00e9tudiant en sachant qu’il sera quantifi\u00e9, lui permettant d’apprendre des repr\u00e9sentations robustes \u00e0 la perte de pr\u00e9cision. Cela \u00e9limine presque compl\u00e8tement l’\u00e9cart de qualit\u00e9 entre les mod\u00e8les distill\u00e9s quantifi\u00e9s et ceux en pr\u00e9cision compl\u00e8te pour les niveaux de quantification mod\u00e9r\u00e9s.<\/p>\n
Si tu distilles un mod\u00e8le aujourd’hui, voici ce sur quoi la recherche et la pratique convergent. Commence avec le meilleur professeur auquel tu peux acc\u00e9der \u2014 le plafond de qualit\u00e9 de ton \u00e9tudiant est d\u00e9termin\u00e9 par le professeur. Utilise une architecture d’\u00e9tudiant d’au moins 10-20% du nombre de param\u00e8tres du professeur ; en dessous de cela, les pertes de compression deviennent graves. G\u00e9n\u00e8re des donn\u00e9es d’entra\u00eenement diverses \u00e0 partir du professeur, y compris les traces de raisonnement, les cas limites, et les modes d’\u00e9chec. Et de mani\u00e8re critique, \u00e9value sur les t\u00e2ches auxquelles tes utilisateurs se soucient r\u00e9ellement, pas seulement les benchmarks. Un mod\u00e8le distill\u00e9 qui marque inf\u00e9rieur sur MMLU mais clou ton cas d’usage sp\u00e9cifique est le meilleur mod\u00e8le pour toi.<\/p>\n
L’angle de d\u00e9mocratisation est profond. La distillation est la fa\u00e7on dont les capacit\u00e9s de l’IA de pointe se propagent de labs bien financ\u00e9s aux d\u00e9veloppeurs individuels ex\u00e9cutant des mod\u00e8les sur des ordinateurs portables. Chaque fois qu’un lab de fronti\u00e8re publie une nouvelle capacit\u00e9, la communaut\u00e9 open-source se pr\u00e9cipite pour la distiller en formes plus petites et plus accessibles. Ce cycle \u2014 l’innovation \u00e0 l’\u00e9chelle, la compression pour l’accessibilit\u00e9 \u2014 est le moteur qui pilote l’adoption de l’IA bien au-del\u00e0 de ce qu’une seule entreprise pourrait r\u00e9aliser seule.<\/p>\n","protected":false},"excerpt":{"rendered":"
La r\u00e9volution de la compression Tu as entra\u00een\u00e9 un \u00e9norme mod\u00e8le de langage. Il est brillant \u2014 r\u00e9pondre \u00e0 des questions complexes, \u00e9crire un code \u00e9l\u00e9gant, raisonner \u00e0 travers des probl\u00e8mes multi-\u00e9tapes. Il y…<\/p>\n","protected":false},"author":1,"featured_media":293,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_kad_post_transparent":"","_kad_post_title":"","_kad_post_layout":"","_kad_post_sidebar_id":"","_kad_post_content_style":"","_kad_post_vertical_padding":"","_kad_post_feature":"","_kad_post_feature_position":"","_kad_post_header":false,"_kad_post_footer":false,"_kad_post_classname":"","footnotes":""},"categories":[260],"tags":[],"class_list":["post-552","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-architecture-ia"],"_links":{"self":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/552","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/comments?post=552"}],"version-history":[{"count":0,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/posts\/552\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media\/293"}],"wp:attachment":[{"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/media?parent=552"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/categories?post=552"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/laeka.org\/publications\/wp-json\/wp\/v2\/tags?post=552"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}