La quantization rend les grands mod\u00e8les assez petits pour fonctionner sur du mat\u00e9riel r\u00e9el. Le principe est simple : r\u00e9duire la pr\u00e9cision des poids du mod\u00e8le de floats 16-bit \u00e0 des entiers 4-bit ou 8-bit. La pratique est tout sauf simple. Trois formats dominent en 2026 \u2014 GGUF, GPTQ, et AWQ \u2014 chacun avec des tradeoffs distincts.<\/p>\n
GGUF est le format de fichier cr\u00e9\u00e9 par le projet llama.cpp. Il stocke les poids quantifi\u00e9s, le tokenizer, et les m\u00e9tadonn\u00e9es dans un fichier portable unique. T\u00e9l\u00e9charge un GGUF, ex\u00e9cute-le n’importe o\u00f9 \u2014 CPU, GPU, Apple Silicon, m\u00eame sur les appareils mobiles.<\/p>\n
GGUF supporte un array vertigineux de niveaux de quantization. La convention de nommage te dit la pr\u00e9cision : Q2_K est agressif 2-bit, Q4_K_M est un 4-bit \u00e9quilibr\u00e9, Q8_0 est 8-bit haute-qualit\u00e9. Les variantes \u00ab K \u00bb utilisent des m\u00e9thodes k-quant qui appliquent une pr\u00e9cision diff\u00e9rente \u00e0 diff\u00e9rentes parties du mod\u00e8le, pr\u00e9servant la qualit\u00e9 l\u00e0 o\u00f9 elle importe le plus.<\/p>\n
Le sweet spot pour la plupart des utilisateurs est Q4_K_M<\/strong>. Cela te donne environ 4.8 bits par poids en moyenne, coupant la taille du mod\u00e8le d’environ 70% compar\u00e9 \u00e0 FP16 tout en pr\u00e9servant 95%+ de la qualit\u00e9 originale. Un mod\u00e8le 7B baisse de ~14GB \u00e0 ~4.5GB. Un mod\u00e8le 70B tient dans ~40GB au lieu de ~140GB.<\/p>\n La force de GGUF est le support d’\u00e9cosyst\u00e8me. llama.cpp, Ollama, LM Studio, GPT4All \u2014 chaque outil d’inf\u00e9rence local majeur lit GGUF nativement. Si tu fais fonctionner les mod\u00e8les sur du mat\u00e9riel consumer, GGUF est le choix par d\u00e9faut.<\/p>\n La faiblesse est la performance d’inf\u00e9rence GPU. GGUF a \u00e9t\u00e9 con\u00e7u pour les charges de travail CPU-first. Tandis que l’offloading GPU fonctionne bien, les formats de quantization purpose-built GPU comme GPTQ et AWQ peuvent \u00eatre plus rapides sur le mat\u00e9riel NVIDIA haut de gamme.<\/p>\n GPTQ (GPT Quantization) a \u00e9t\u00e9 la premi\u00e8re m\u00e9thode de post-training quantization qui a rendu les mod\u00e8les 4-bit pratiques. Elle utilise un algorithm sophistiqu\u00e9 de quantization one-shot qui consid\u00e8re les corr\u00e9lations entre les poids pour minimiser l’erreur introduite par la r\u00e9duction de pr\u00e9cision.<\/p>\n Le processus de quantization requiert un dataset d’\u00e9talonnage \u2014 un petit \u00e9chantillon de texte repr\u00e9sentatif que l’algorithm utilise pour d\u00e9terminer quels poids sont les plus importants. Cette \u00e9tape d’\u00e9talonnage prend 15-30 minutes sur un GPU et produit un mod\u00e8le optimis\u00e9 pour la distribution sp\u00e9cifique de ses donn\u00e9es d’entra\u00eenement.<\/p>\n Les mod\u00e8les GPTQ s’ex\u00e9cutent nativement dans vLLM et TGI<\/strong>, les rendant le go-to choix pour l’inf\u00e9rence GPU c\u00f4t\u00e9 serveur. Le format est \u00e9troitement int\u00e9gr\u00e9 aux kernels CUDA qui exploitent le mat\u00e9riel GPU pour la dequantization rapide pendant l’inf\u00e9rence. Le d\u00e9bit sur les GPUs NVIDIA est typiquement 10-30% plus \u00e9lev\u00e9 que de fonctionne des mod\u00e8les GGUF \u00e9quivalents.<\/p>\n Le downside est la rigidit\u00e9. Les mod\u00e8les GPTQ sont GPU-seulement. Pas de fallback CPU, pas de support Apple Silicon, pas d’inf\u00e9rence multi-appareil. Et le processus de quantization lui-m\u00eame requiert un GPU avec assez de m\u00e9moire pour tenir le mod\u00e8le pleine-pr\u00e9cision, ce qui signifie que tu as besoin d’acc\u00e8s \u00e0 du mat\u00e9riel s\u00e9rieux m\u00eame bien que la sortie fonctionne sur moins.<\/p>\n AWQ (Activation-Aware Weight Quantization) a am\u00e9lior\u00e9 sur GPTQ avec un insight cl\u00e9 : pas tous les poids ne sont \u00e9galement importants, et l’importance est d\u00e9termin\u00e9e par les magnitudes d’activation<\/strong> plut\u00f4t que par les poids eux-m\u00eames. Les poids connect\u00e9s aux canaux avec de grandes activations devraient \u00eatre quantifi\u00e9s plus soigneusement.<\/p>\n En pratique, AWQ pr\u00e9serve un petit pourcentage (~1%) des poids les plus importants \u00e0 une pr\u00e9cision plus \u00e9lev\u00e9e tandis que quantifie agressivement le reste. Cette approche asym\u00e9trique produit une meilleure qualit\u00e9 \u00e0 la m\u00eame largeur de bit moyenne compar\u00e9 \u00e0 GPTQ.<\/p>\n AWQ quantifie aussi plus vite \u2014 environ 3-5x plus rapide que GPTQ pour le m\u00eame mod\u00e8le. Le processus d’\u00e9talonnage est plus simple et moins sensible au choix des donn\u00e9es d’\u00e9talonnage. Pour les \u00e9quipes qui ont besoin de quantifier beaucoup de mod\u00e8les fr\u00e9quemment, cet avantage de vitesse importe.<\/p>\n Le support dans vLLM et autres moteurs d’inf\u00e9rence est maintenant \u00e0 \u00e9galit\u00e9 avec GPTQ. AWQ est effectivement devenu le format de quantization GPU recommand\u00e9 pour les nouveaux d\u00e9ploiements. \u00c0 moins que tu n’aies une raison sp\u00e9cifique d’utiliser GPTQ (infrastructure legacy, optimisations kernel sp\u00e9cifiques), AWQ est le meilleur d\u00e9faut.<\/p>\n \u00c0 la pr\u00e9cision 4-bit, les diff\u00e9rences de qualit\u00e9 entre les formats sont plus petites que la plupart des gens s’y attendraient. Sur les benchmarks standards, un mod\u00e8le GPTQ, AWQ, ou GGUF Q4_K_M bien-\u00e9talonn\u00e9 scores typiquement dans 1-3% de l’originale pleine-pr\u00e9cision.<\/p>\n Les diff\u00e9rences \u00e9mergent aux bords. Pour les t\u00e2ches n\u00e9cessitant un raisonnement num\u00e9rique pr\u00e9cis, les mod\u00e8les 4-bit montrent plus de d\u00e9gradation. Pour l’\u00e9criture cr\u00e9ative et la conversation g\u00e9n\u00e9rale, la diff\u00e9rence est presque imperceptible. Pour la g\u00e9n\u00e9ration de code, 4-bit fonctionne \u00e9tonnamment bien \u2014 la nature structur\u00e9e du code le rend r\u00e9silient au bruit de quantization.<\/p>\n La vraie falaise de qualit\u00e9 est \u00e0 2-bit. Q2_K et les quantizations agressives similaires perdent 10-20% sur les benchmarks et produisent des sorties notablement pires en pratique. Il y a une recherche active pour rendre 2-bit mieux fonctionne (QuIP#, AQLM), mais pour l’utilisation en production en 2026, 4-bit reste le sol pratique.<\/p>\n GGUF Q4_K_M<\/strong> si tu fonctionne sur du mat\u00e9riel consumer (laptops, desktops, Mac), as besoin d’inf\u00e9rence CPU, ou veux la portabilit\u00e9 maximale. Aussi le bon choix pour le d\u00e9ploiement edge et mobile.<\/p>\n AWQ<\/strong> si tu fonctionne sur les GPUs NVIDIA dans un environnement serveur, utilises vLLM ou TGI, et veux le meilleur ratio qualit\u00e9-\u00e0-taille avec le turnaround de quantization rapide.<\/p>\n GPTQ<\/strong> si tu es sur l’infrastructure existante construite autour de GPTQ, as besoin des optimisations kernel CUDA sp\u00e9cifiques, ou as du tooling qui d\u00e9pend du format GPTQ.<\/p>\n La tendance est la convergence. Les moteurs d’inf\u00e9rence supportent de plus en plus les trois formats. Le format importe moins que la qualit\u00e9 de quantization \u2014 et la qualit\u00e9 d\u00e9pend plus des donn\u00e9es d’\u00e9talonnage et de la m\u00e9thode que du format de conteneur lui-m\u00eame.<\/p>\nGPTQ : Le Pioneer GPU-Optimis\u00e9<\/h2>\n
AWQ : Le Nouveau Standard<\/h2>\n
Comparaison de Qualit\u00e9 \u00e0 4-bit<\/h2>\n
Choisir Ton Format<\/h2>\n