Le fine-tuning d’un mod\u00e8le avec un milliard de param\u00e8tres n\u00e9cessite g\u00e9n\u00e9ralement de modifier des milliards de poids. C’est prohibitivement cher. LoRA (Low-Rank Adaptation) contourne cela en mettant \u00e0 jour seulement une minuscule fraction du mod\u00e8le tout en obtenant des r\u00e9sultats comparables.<\/p>\n
L’insight est \u00e9l\u00e9gant : les mises \u00e0 jour de poids durant le fine-tuning ont un rang faible. Tu n’as pas besoin de mettre \u00e0 jour la matrice de poids compl\u00e8te. Tu dois seulement mettre \u00e0 jour une approximation de rang faible de la mise \u00e0 jour.<\/p>\n
Au lieu de fine-tuner la matrice de poids compl\u00e8te W, LoRA d\u00e9compose la mise \u00e0 jour comme un produit de deux matrices plus petites : \u0394W = B \u00d7 A.<\/p>\n
Pour une matrice de poids de forme (d_out \u00d7 d_in), LoRA introduit :<\/p>\n
A :<\/strong> forme (r \u00d7 d_in), o\u00f9 r est le rang (g\u00e9n\u00e9ralement 8-64) Pendant la passe forward : output = W \u00d7 input + (B \u00d7 A) \u00d7 input<\/p>\n Tu entra\u00eenes seulement A et B, g\u00e8le le W original. Le rang r est g\u00e9n\u00e9ralement beaucoup plus petit que d_in et d_out, donc le d\u00e9compte des param\u00e8tres explose vers le bas.<\/p>\n Pour un mod\u00e8le 70B avec dimensions cach\u00e9es 4k :<\/p>\n Fine-tuning complet :<\/strong> 70B param\u00e8tres entra\u00eenables Tu entra\u00eenes 0,2% du mod\u00e8le avec LoRA rang-8. Les \u00e9conomies en m\u00e9moire et calcul sont massives.<\/p>\n Le rang de LoRA est le bouton de r\u00e9glage. Rang plus \u00e9lev\u00e9 = plus d’expressivit\u00e9 mais plus de param\u00e8tres.<\/p>\n Rang 8 :<\/strong> Tr\u00e8s bon march\u00e9, entra\u00eenement rapide. Fonctionne pour l’adaptation mineure de domaine. Fine-tuning d’instructions ou de styles sp\u00e9cifiques.<\/p>\n Rang 16-32 :<\/strong> Point doux pour la plupart des applications. Assez d’expressivit\u00e9 pour une adaptation significative sans co\u00fbt excessif.<\/p>\n Rang 64+ :<\/strong> Approche le co\u00fbt du fine-tuning complet. Utilise quand le rang mineur n’est pas assez expressif.<\/p>\n En pratique, le rang 16 fonctionne pour 80% des cas d’usage. Le rang 32 fonctionne pour 95%. Les rendements d\u00e9croissants commencent rapidement.<\/p>\n L’hypoth\u00e8se sous-jacente \u00e0 LoRA est empiriquement valid\u00e9e : les mises \u00e0 jour du fine-tuning ont un rang intrins\u00e8que faible. Le mod\u00e8le n’a pas besoin de changer beaucoup pour s’adapter \u00e0 de nouveaux domaines ou t\u00e2ches.<\/p>\n Cela a du sens. Le mod\u00e8le pr\u00e9-entra\u00een\u00e9 code d\u00e9j\u00e0 d’\u00e9normes quantit\u00e9s de connaissances. S’adapter \u00e0 un nouveau domaine ne n\u00e9cessite pas un rewiring en gros, juste des ajustements cibl\u00e9s.<\/p>\n LoRA capture ces ajustements efficacement.<\/p>\n Utiliser LoRA dans le code est trivial avec la biblioth\u00e8que peft :<\/p>\n from peft import LoraConfig, get_peft_model<\/p>\n config = LoraConfig( model = get_peft_model(model, config)<\/p>\n Entra\u00eene le mod\u00e8le normalement. Seules les matrices A et B obtiennent les mises \u00e0 jour. \u00c0 l’inf\u00e9rence, fusionne les poids ou garde-les s\u00e9par\u00e9s pour changer facilement entre les adaptateurs.<\/p>\n Un mod\u00e8le 70B avec LoRA peut fine-tuner sur un GPU grand public. Le stockage est minimal (LoRA rang-8 pour 70B est ~140 Mo). Tu peux charger plusieurs adaptateurs et basculer entre eux \u00e0 l’ex\u00e9cution.<\/p>\n Cela d\u00e9verrouille un nouveau mod\u00e8le de d\u00e9veloppement : mod\u00e8les de base + de nombreux adaptateurs sp\u00e9cialis\u00e9s. Pas besoin d’entra\u00eener 10 mod\u00e8les pleins diff\u00e9rents. Entra\u00eene 10 adaptateurs LoRA \u00e0 la place, au co\u00fbt 1%.<\/p>\n
\nB :<\/strong> forme (d_out \u00d7 r)<\/p>\nLes chiffres<\/h2>\n
\nLoRA (rang 8) :<\/strong> 70B \u00d7 (8 \/ 4000) \u2248 140M param\u00e8tres entra\u00eenables
\nLoRA (rang 64) :<\/strong> 70B \u00d7 (64 \/ 4000) \u2248 1B param\u00e8tres entra\u00eenables<\/p>\nRang : le principal compromis<\/h2>\n
Pourquoi cela fonctionne<\/h2>\n
Impl\u00e9mentation pratique<\/h2>\n
\n r=16,
\n lora_alpha=32,
\n target_modules=[“q_proj”, “v_proj”],
\n lora_dropout=0.05,
\n bias=”none”
\n)<\/p>\nL’avantage pratique<\/h2>\n