LoRA expliqué : le fine-tuning de modèles avec des milliards de paramètres sur ton ordinateur portable
Le fine-tuning d’un modèle avec un milliard de paramètres nécessite généralement de modifier des milliards de poids. C’est prohibitivement cher. LoRA (Low-Rank Adaptation) contourne cela en mettant à jour seulement une minuscule fraction du…