Le Phénomène de Fusion de Modèles : Combiner les Capacités sans Entraînement

La fusion de modèles est l’une des plus étranges percées en IA open-source. Prends deux modèles fine-tuned, moyenne leurs poids de la bonne façon, et obtiens un modèle qui combine les deux spécialités. Pas d’entraînement supplémentaire requis. Pas de temps GPU. Juste des mathématiques sur les tenseurs de poids.

Comment Fonctionne la Fusion de Poids

L’insight fondamental est que les modèles fine-tuned partagent une base commune. Quand tu fine-tunes Llama pour le code et separately fine-tunes Llama pour l’écriture créative, les deux modèles ont bougé du même point de départ dans des directions différentes. La fusion trouve un point dans l’espace des poids qui capture les deux mouvements.

L’approche la plus simple est l’interpolation linéaire (LERP). Prends 50% des poids du Modèle A et 50% des poids du Modèle B. Le résultat hérite souvent des capacités de tous les deux, bien qu’avec une certaine dégradation sur chacun. Tu peux ajuster le ratio — 70/30, 80/20 — pour biaiser vers les forces d’un modèle.

Mais l’interpolation linéaire est crude. Elle suppose que tous les paramètres sont également importants et que le chemin entre deux modèles dans l’espace des poids est droit. Aucune des deux assomptions ne tient bien en pratique.

SLERP, TIES, et DARE : Des Méthodes de Fusion Plus Intelligentes

SLERP (Spherical Linear Interpolation) traite les vecteurs de poids comme des points sur une hypersphère et interpole le long de la surface de la sphère plutôt que par l’intérieur. Cela préserve la magnitude des vecteurs de poids, ce qui importe parce que le comportement du réseau de neurones est sensible aux normes de poids. SLERP surperforme constamment la fusion linéaire.

TIES-Merging (Trim, Elect Sign, and Disjoint Merge) prend une approche plus principled. Elle identifie quels paramètres ont réellement changé pendant le fine-tuning, résout les conflits de signe entre les modèles, et merge seulement les paramètres qui importent. L’insight est que la plupart des changements de fine-tuning sont du bruit — seulement une petite fraction des weight deltas porte l’information significative.

DARE (Drop And REscale) abandonne aléatoirement une grande fraction des fine-tuning deltas et rescale les restants. Cela agit comme une forme de régularisation, réduisant l’interférence entre les modèles. Combiné avec TIES, DARE+TIES est devenu l’une des recettes de fusion les plus fiables.

Pourquoi Cela Fonctionne (Et Quand Ce N’est Pas le Cas)

La fusion de modèles fonctionne à cause de l’hypothèse de la connectivité en mode linéaire. Les modèles fine-tuned à partir de la même base se situent souvent dans le même « bassin » du paysage de perte. Se déplacer entre eux ne traverse pas les barrières de haute perte, donc les points intermédiaires restent fonctionnels.

Cela échoue de manière prévisible. Les modèles fine-tuned avec des distributions de données très différentes, des hyperparamètres très différents, ou pour des tâches très différentes tendent à produire des fusions pauvres. Plus deux modèles se sont éloignés de leur ancêtre commun, moins la fusion a de chances de succès.

La fusion échoue aussi quand les capacités entrent en conflit. Un modèle entraîné à toujours refuser les demandes nuisibles et un modèle entraîné à ne jamais refuser — fusionner ceux-ci produit de la confusion, pas du compromis. Le modèle fusionné oscille imprévisiblement entre les comportements.

L’Écosystème Mergekit

L’outil qui a démocratisé la fusion est mergekit, une librairie open-source qui implémente chaque algorithm de fusion majeur. Avec un simple fichier de configuration YAML, tu spécifies tes modèles source, la méthode de fusion, et les paramètres. Lance le script, obtiens un modèle fusionné. Le processus prend des minutes sur CPU — pas besoin de GPU.

Mergekit supporte les stratégies de fusion spécifiques à la couche. Tu peux fusionner les attention layers d’un modèle avec les MLP layers d’un autre. Tu peux utiliser des poids d’interpolation différents pour les différentes profondeurs de couche. Cette granularité laisse les praticiens expérimentés créer des fusions qui surpassent n’importe quelle stratégie uniforme.

La communauté Hugging Face a embracé la fusion avec enthousiasme. L’Open LLM Leaderboard features fréquemment des modèles fusionnés en haut des classements. Certains des modèles les plus populaires sur le Hub — téléchargés des millions de fois — sont des fusions que personne n’a entraînées de zéro.

Recettes Pratiques de Fusion

La recette la plus fiable pour fusionner deux modèles : utilise DARE+TIES avec une densité de 0.5 et un poids de 0.5 pour chaque modèle. Cela abandonne la moitié des fine-tuning deltas de chaque modèle, résout les conflits de signe, et produit une fusion propre. Commence ici, puis ajuste basé sur les résultats d’évaluation.

Pour fusionner un modèle spécialiste avec un généraliste, biaiser les poids vers le spécialiste (0.6-0.7) tout en gardant le généraliste comme stabilisateur (0.3-0.4). Le généraliste prévient le spécialiste de perdre les capacités générales.

Pour fusionner trois ou plus de modèles, fusionne par paires. Fusionne A et B en premier, puis fusionne le résultat avec C. L’ordre importe — expérimente avec différentes séquences. Fusionner tous à la fois avec les poids égaux produit généralement pire résultats que la fusion pairwise séquentielle.

Les Limites et l’Avenir

La fusion de modèles est puissante mais pas magique. Elle ne peut pas créer des capacités qui n’existent pas dans les modèles source. Elle ne peut pas combiner de manière fiable les comportements conflictuels. Et le plafond de qualité est inférieur à l’entraînement d’un modèle unique sur les données combinées — si tu as le compute pour cela.

Mais pour la communauté open-source, la fusion remplit un gap critique. Tout le monde ne peut pas se permettre d’entraîner les modèles. Tout le monde n’a pas de datasets uniques. La fusion permet aux individus et aux petites équipes de créer des modèles qui servent leurs besoins spécifiques en combinant les fine-tunes publiquement disponibles. C’est la démocratisation par l’arithmétique de l’espace des poids.

La frontière bouge vers la fusion apprises — utiliser une petite quantité de données pour optimiser les coefficients de fusion plutôt que de les fixer manuellement. Cela promet de fermer l’écart entre la fusion et l’entraînement réel, rendant la technique encore plus puissante.

Explore plus de techniques IA open-source et les stratégies de développement de modèles chez Laeka Research.