Et si tu pouvais combiner les forces de deux mod\u00e8les sans r\u00e9entra\u00eener ? Cr\u00e9er un mod\u00e8le qui \u00e9crit du code comme le Mod\u00e8le A mais raisonne comme le Mod\u00e8le B ? C’est le fusion de mod\u00e8les, et \u00e7a fonctionne.<\/p>\n
La fusion de mod\u00e8les prend les poids de deux ou plusieurs mod\u00e8les et les combine de mani\u00e8re intelligente. Le r\u00e9sultat est souvent surprenant : des capacit\u00e9s \u00e9mergentes que tu ne t’attendrais pas \u00e0 partir d’une simple moyenne.<\/p>\n
La fusion la plus simple est l’interpolation lin\u00e9aire. Si le Mod\u00e8le A a les poids W_A et le Mod\u00e8le B a les poids W_B, le mod\u00e8le fusionn\u00e9 a les poids W = (1-a)*W_A + a*W_B pour un certain poids a.<\/p>\n
Cela ne fonctionne presque jamais bien. La moyenne na\u00efve d\u00e9truit les distributions de poids d\u00e9licates que les deux mod\u00e8les ont apprises. Mais avec des techniques prudentes, cela fonctionne \u00e9tonnamment bien.<\/p>\n
SLERP (Spherical Linear Interpolation) traite les vecteurs de poids comme des points sur une sph\u00e8re. Au lieu de l’interpolation en ligne droite, elle se d\u00e9place le long d’une g\u00e9od\u00e9sique \u00e0 travers l’espace des poids.<\/p>\n
SLERP pr\u00e9serve mieux la magnitude des vecteurs de poids que l’interpolation lin\u00e9aire. Le r\u00e9sultat : des fusions qui maintiennent mieux la coh\u00e9rence du mod\u00e8le.<\/p>\n
TIES (Trim, Interleave, and Ensemble) est plus sophistiqu\u00e9. Il identifie les changements de poids les plus importants dans chaque mod\u00e8le, combine seulement ces changements, et utilise des techniques d’ensemble pour fusionner les r\u00e9sultats.<\/p>\n
TIES a publi\u00e9 des r\u00e9sultats montrant que fusionner un mod\u00e8le de code avec un mod\u00e8le de raisonnement produit de meilleures performances sur les t\u00e2ches n\u00e9cessitant les deux comp\u00e9tences que l’un ou l’autre mod\u00e8le seul.<\/p>\n
DARE (Domain Adaptation and Rapid Ensemble) \u00e9chantillonne al\u00e9atoirement les poids de chaque mod\u00e8le au lieu de les moyenner. Contre-intuitivement, cela fonctionne bien pour fusionner les mod\u00e8les fine-tun\u00e9s sur des datasets diff\u00e9rents.<\/p>\n
DARE est particuli\u00e8rement bon pour combiner plusieurs mod\u00e8les fine-tun\u00e9s (par ex. 5 adaptateurs LoRA diff\u00e9rents) en un seul mod\u00e8le coh\u00e9rent.<\/p>\n
L’insight cl\u00e9 est que les mod\u00e8les fine-tun\u00e9s partagent la m\u00eame architecture de base et sont entra\u00een\u00e9s \u00e0 partir de la m\u00eame initialisation. Leurs espaces de poids sont align\u00e9s de mani\u00e8re \u00e0 permettre une interpolation significative.<\/p>\n
Quand tu fusionne les mod\u00e8les qui ont diverg\u00e9 \u00e0 partir du m\u00eame point de d\u00e9part, tu ne combines pas des matrices de poids arbitraires. Tu es en train de fusionner des \u00e9carts soigneusement apprises \u00e0 partir d’une base commune.<\/p>\n
Combiner des adaptateurs sp\u00e9cialis\u00e9s :<\/strong> Entra\u00eene 5 adaptateurs LoRA sur des domaines diff\u00e9rents, fusionne-les en un seul mod\u00e8le multi-domaines. D\u00e9veloppement rapide de mod\u00e8les :<\/strong> Tu n’as pas le temps d’entra\u00eener ? Fusionne deux mod\u00e8les existants et it\u00e8re \u00e0 partir de l\u00e0.<\/p>\n mergekit est l’outil standard. Il g\u00e8re SLERP, TIES, DARE, et les strat\u00e9gies de fusion personnalis\u00e9es. L’utiliser est trivial :<\/p>\n D\u00e9finissez une config YAML sp\u00e9cifiant quels mod\u00e8les fusionner et quelle m\u00e9thode. Ex\u00e9cutez mergekit. Obtenez un mod\u00e8le fusionn\u00e9.<\/p>\n Le processus est rapide (minutes, pas heures) et ne n\u00e9cessite aucun entra\u00eenement.<\/p>\n La fusion fonctionne bien seulement quand les mod\u00e8les sont compatibles : m\u00eame architecture, niveaux de capacit\u00e9 similaires, entra\u00een\u00e9s \u00e0 partir de la m\u00eame initialisation.<\/p>\n Fusionner un mod\u00e8le 7B et un mod\u00e8le 70B ne fonctionnera pas. Fusionner les mod\u00e8les d’architectures diff\u00e9rentes ne fonctionnera pas. Mais au sein des familles compatibles, la fusion est puissante.<\/p>\n La fusion de mod\u00e8les d\u00e9mocratise la capacit\u00e9 \u00e0 cr\u00e9er des mod\u00e8les sp\u00e9cialis\u00e9s. Tu n’as pas besoin d’entra\u00eener \u00e0 partir de z\u00e9ro. Combine les mod\u00e8les existants, et tu obtiens souvent quelque chose de mieux que n’importe quel mod\u00e8le individuel.<\/p>\n C’est particuli\u00e8rement puissant \u00e0 l’\u00e8re des mod\u00e8les open source o\u00f9 des dizaines de variantes fine-tun\u00e9es existent pour chaque t\u00e2che.<\/p>\n
\n\u00c9quilibrer les compromis :<\/strong> Un mod\u00e8le est verbeux mais pr\u00e9cis. Un autre est concis mais parfois faux. Fusionne-les pour \u00e9quilibrer les deux.<\/p>\nOutils pour la fusion<\/h2>\n
La limitation<\/h2>\n
Ce que cela signifie<\/h2>\n