Ex\u00e9cuter un mod\u00e8le de 30 milliards de param\u00e8tres sur un PC gamer \u00e9tait autrefois un r\u00eave impossible. Maintenant c’est routinier. Les techniques qui l’ont rendu possible \u2014 quantification, optimisation de la m\u00e9moire et inf\u00e9rence efficace \u2014 transforment ce qui est accessible aux chercheurs individuels et aux petites \u00e9quipes.<\/p>\n
Ce n’est pas th\u00e9orique. Tu peux faire cela aujourd’hui avec le mat\u00e9riel que tu poss\u00e8des peut-\u00eatre d\u00e9j\u00e0.<\/p>\n
Un mod\u00e8le 30B en pr\u00e9cision compl\u00e8te n\u00e9cessite environ 120 Go de VRAM. Aucun GPU de consommateur n’a cela. La quantification r\u00e9sout ce probl\u00e8me en r\u00e9duisant la pr\u00e9cision num\u00e9rique des poids et des activations.<\/p>\n
Les formats de quantification cl\u00e9s pour le mat\u00e9riel de consommation sont GPTQ, GGUF et AWQ. Chacun fait des compromis diff\u00e9rents entre qualit\u00e9 et vitesse.<\/p>\n
GPTQ<\/strong> utilise la quantification 4-bit avec une approche d’\u00e9chelle par canal astucieuse. C’est rapide et produit des r\u00e9sultats de haute qualit\u00e9. L’inconv\u00e9nient : n\u00e9cessite une surcharge de calcul significative lors de la configuration de l’inf\u00e9rence.<\/p>\n GGUF<\/strong> est un format de quantification universel optimis\u00e9 pour l’inf\u00e9rence. Il fonctionne sur diff\u00e9rents mat\u00e9riels et est particuli\u00e8rement efficace pour l’inf\u00e9rence bas\u00e9e sur CPU avec acc\u00e9l\u00e9ration GPU.<\/p>\n AWQ<\/strong> (Activation-aware Weight Quantization) est plus r\u00e9cent et produit souvent de meilleurs r\u00e9sultats que GPTQ \u00e0 la m\u00eame largeur de bit en se concentrant sur la pr\u00e9servation des informations d’activation.<\/p>\n Un mod\u00e8le 30B quantifi\u00e9 en 4-bit n\u00e9cessite g\u00e9n\u00e9ralement 15-20 Go de VRAM selon la longueur du contexte et l’approche de quantification. Une RTX 4090 ou RTX 3090 peut g\u00e9rer cela confortablement. Une RTX 4070 Super moderne peut l’ex\u00e9cuter avec des longueurs de contexte mod\u00e9r\u00e9es.<\/p>\n Pour les constructions \u00e0 petit budget, plusieurs GPU plus petits peuvent \u00eatre combin\u00e9s. M\u00eame 16 Go de VRAM de qualit\u00e9 de consommateur avec une gestion intelligente de la m\u00e9moire (utilisation de la RAM syst\u00e8me pour le d\u00e9chargement) peuvent fonctionner.<\/p>\n L’inf\u00e9rence CPU est viable avec la quantification GGUF, bien qu’elle soit plus lente. Un CPU moderne avec 16 c\u0153urs et 64 Go de RAM peut ex\u00e9cuter un mod\u00e8le 30B au format GGUF 4-bit, g\u00e9n\u00e9rant des jetons \u00e0 des vitesses utilisables pour les t\u00e2ches non-interactives.<\/p>\n Le d\u00e9fi n’est pas seulement la capacit\u00e9 VRAM. C’est la gestion du cache KV \u2014 les paires cl\u00e9-valeur accumul\u00e9es lors de la g\u00e9n\u00e9ration qui s’agrandissent avec la longueur de la s\u00e9quence.<\/p>\n Des techniques comme l’attention pagin\u00e9e (utilis\u00e9e par vLLM) r\u00e9duisent la surcharge du cache KV de 60-80 %. La mise en lot de plusieurs requ\u00eates ensemble am\u00e9liore le d\u00e9bit. La mise en cache de contexte stocke les embeddings de jetons calcul\u00e9s pour \u00e9viter le recalcul.<\/p>\n Ces optimisations ne sont plus des exercices th\u00e9oriques. Elles sont int\u00e9gr\u00e9es dans les cadres d’inf\u00e9rence.<\/p>\n llama.cpp<\/strong> est l’outil incontournable pour l’inf\u00e9rence locale CPU+GPU avec des mod\u00e8les GGUF. C’est simple, efficace et n\u00e9cessite presque aucune configuration. T\u00e9l\u00e9charge un mod\u00e8le quantifi\u00e9, ex\u00e9cute le binaire, c’est fait.<\/p>\n vLLM<\/strong> est le standard pour les sc\u00e9narios de d\u00e9bit plus \u00e9lev\u00e9. Il g\u00e8re la mise en lot, l’attention pagin\u00e9e et les configurations multi-GPU. Plus puissant mais n\u00e9cessite plus de configuration.<\/p>\n ollama<\/strong> se situe entre eux \u2014 convivial comme llama.cpp mais avec un meilleur support de la mise en lot et une meilleure interface. Il cro\u00eet le plus rapidement en termes d’adoption.<\/p>\n Pour le fine-tuning sur le mat\u00e9riel de consommation, combine llama.cpp ou vLLM avec un entra\u00eenement conscient de la quantification en utilisant des outils comme Unsloth avec QLoRA.<\/p>\n Il y a trois ans, ex\u00e9cuter un mod\u00e8le 30B n\u00e9cessitait un investissement mat\u00e9riel s\u00e9rieux. Aujourd’hui, cela n\u00e9cessite un mat\u00e9riel modeste et un logiciel gratuit. La barri\u00e8re n’est plus le co\u00fbt. C’est la connaissance.<\/p>\n L’apprentissage de la quantification, de l’optimisation de la m\u00e9moire et des strat\u00e9gies de mise en lot prend du temps. Mais le gain est massif : les mod\u00e8les qui \u00e9taient enferm\u00e9s derri\u00e8re les murs des API s’ex\u00e9cutent maintenant sur ton ordinateur portable.<\/p>\nConfiguration mat\u00e9rielle pour les mod\u00e8les 30B<\/h2>\n
Gestion de la m\u00e9moire en pratique<\/h2>\n
Configuration pratique : la bo\u00eete \u00e0 outils<\/h2>\n
Le seuil de faisabilit\u00e9<\/h2>\n