Il y a deux ans, faire tourner un mod\u00e8le de langage de qualit\u00e9 co\u00fbtait 15 $ par million de tokens. Aujourd’hui, tu peux obtenir une sortie comparable pour 0,15 $. C’est une r\u00e9duction de 100x. Ce n’est pas une am\u00e9lioration incr\u00e9mentale \u2014 c’est une transition de phase qui r\u00e9\u00e9crit l’\u00e9conomie de chaque application d’IA.<\/p>\n
Trois forces ont converg\u00e9 simultan\u00e9ment. D’abord, les mod\u00e8les open-source ont combl\u00e9 l’\u00e9cart de qualit\u00e9<\/strong>. Llama 3, Qwen 2.5 et Mistral ont prouv\u00e9 que les poids open peuvent \u00e9galer les API propri\u00e9taires pour la plupart des charges de travail en production. Quand tu peux auto-h\u00e9berger, le co\u00fbt plancher tombe au calcul brut.<\/p>\n Deuxi\u00e8mement, les moteurs d’inf\u00e9rence sont devenus dramatiquement plus rapides<\/strong>. vLLM, TGI et llama.cpp n’ont pas juste optimis\u00e9 \u2014 ils ont rearchitectur\u00e9 comment les tokens se d\u00e9placent dans les GPUs. PagedAttention seul a doubl\u00e9 le d\u00e9bit en traitant la m\u00e9moire KV cache comme des pages de m\u00e9moire virtuelle. Le continuous batching a \u00e9limin\u00e9 les cycles gaspill\u00e9s du naive request handling.<\/p>\n Troisi\u00e8mement, la quantisation a cess\u00e9 d’\u00eatre un compromis<\/strong>. Faire tourner les mod\u00e8les en pr\u00e9cision 4-bit signifiait autrefois une perte de qualit\u00e9 visible. Les nouvelles m\u00e9thodes de quantisation comme AWQ et GPTQ avec calibrage soigneux pr\u00e9servent 95%+ de la qualit\u00e9 en pr\u00e9cision compl\u00e8te avec un quart de l’empreinte m\u00e9moire. Une m\u00e9moire plus petite signifie plus de requ\u00eates concurrentes par GPU.<\/p>\n \u00c0 15 $\/M tokens, un chatbot de service client traitant 10 000 conversations par jour co\u00fbte \u00e0 peu pr\u00e8s 4 500 $\/mois en inf\u00e9rence seule. \u00c0 0,15 $\/M tokens, cette m\u00eame charge co\u00fbte 45 $. C’est la diff\u00e9rence entre \u00ab l’IA est notre plus grosse d\u00e9pense \u00bb et \u00ab l’IA est une erreur d’arrondi \u00bb.<\/p>\n Ce changement de co\u00fbt rend les applications pr\u00e9c\u00e9demment impossibles viables. Analyse de documents en temps r\u00e9el, r\u00e9vision de code continue, assistance \u00e0 l’\u00e9criture always-on \u2014 ces activit\u00e9s \u00e9taient prohibitives aux anciens prix. Maintenant elles sont pratiquement gratuites.<\/p>\n Les implications en cascade. Quand l’inf\u00e9rence est bon march\u00e9, tu peux te permettre d’\u00eatre gaspilleur. Lance le m\u00eame prompt \u00e0 travers trois mod\u00e8les et choisis la meilleure r\u00e9ponse. G\u00e9n\u00e8re dix brouillons au lieu d’un. Utilise un grand mod\u00e8le pour v\u00e9rifier la sortie d’un petit mod\u00e8le. Les approches ensemble qui semblaient absurdement ch\u00e8res sont maintenant la pratique standard.<\/p>\n Avec les co\u00fbts d’inf\u00e9rence qui s’effondrent, les parties ch\u00e8res de l’IA ont chang\u00e9. Le temps d’ing\u00e9nierie<\/strong> est maintenant le co\u00fbt dominant. Construire des pipelines fiables, g\u00e9rer les cas limites, impl\u00e9menter les guardrails, monitorer les syst\u00e8mes en production \u2014 c’est l\u00e0 que l’argent va.<\/p>\n La pr\u00e9paration des donn\u00e9es<\/strong> est la deuxi\u00e8me plus grosse d\u00e9pense. Curer les donn\u00e9es d’entra\u00eenement pour le fine-tuning, construire des ensembles d’\u00e9valuation, cr\u00e9er des cas de test \u2014 le travail humain n’a pas devenu 100x moins cher. Si c’est quoi que ce soit, la demande pour l’annotation de donn\u00e9es de qualit\u00e9 a augment\u00e9 les prix.<\/p>\n L’optimisation de la latence<\/strong> est la nouvelle fronti\u00e8re des d\u00e9penses. Faire baisser le co\u00fbt de l’inf\u00e9rence est r\u00e9solu. Faire que l’inf\u00e9rence soit assez rapide pour les applications en temps r\u00e9el \u2014 \u00e7a demande toujours du s\u00e9rieux engineering. La diff\u00e9rence entre une r\u00e9ponse de 200ms et 50ms peut faire ou d\u00e9faire une exp\u00e9rience utilisateur.<\/p>\n La r\u00e9volution de l’inf\u00e9rence bon march\u00e9 a cr\u00e9\u00e9 un march\u00e9 comp\u00e9titif d’h\u00e9bergement. Together.ai, Fireworks.ai, Groq et d’autres font la course vers le bas sur le prix tout en rivalisent sur la vitesse et l’exp\u00e9rience d\u00e9veloppeur. L’inf\u00e9rence serverless signifie que tu paies par token avec z\u00e9ro co\u00fbt inactif.<\/p>\n L’auto-h\u00e9bergement a du sens \u00e0 l’\u00e9chelle. Si tu traites plus de 100M tokens par jour, louer des GPUs et faire tourner ton propre stack d’inf\u00e9rence se paie en quelques semaines. Le point de break-even continue de baisser avec les prix de location de GPUs et l’am\u00e9lioration des moteurs d’inf\u00e9rence.<\/p>\n L’approche hybride gagne : utilise le serverless pour les charges bursty et la demande variable, auto-h\u00e9berge pour le trafic baseline steady-state. \u00c7a te donne l’efficacit\u00e9 des co\u00fbts sans sur-provisionnement.<\/p>\n La cons\u00e9quence la plus int\u00e9ressante n’est pas faire les choses existantes moins ch\u00e8res \u2014 c’est faire les choses qui n’\u00e9taient pas possibles avant. Les workflows agentic<\/strong> qui demandent des douzaines d’appels LLM par t\u00e2che n’ont du sens \u00e9conomique que quand chaque appel co\u00fbte une fraction de centime. Le raisonnement multi-\u00e9tapes, l’utilisation d’outils, les boucles d’auto-correction \u2014 celles-ci multiplient la consommation de tokens par 10-50x. Aux anciens prix, c’\u00e9tait financi\u00e8rement impossible. Maintenant c’est routinier.<\/p>\n Le traitement d’IA always-on<\/strong> devient r\u00e9alisable. Analyser continuellement les e-mails entrants, monitorer les commits de code, scanner les documents \u00e0 leur arriv\u00e9e \u2014 l’IA de fond qui tourne perp\u00e9tuellement \u00e9tait une fantaisie \u00e0 15 $\/M. \u00c0 0,15 $\/M, c’est un choix d’infrastructure simple.<\/p>\n La r\u00e9volution du co\u00fbt d’inf\u00e9rence n’est pas juste une question d’\u00e9conomiser de l’argent. C’est une question d’\u00e9tendre ce qui est constructible. Chaque r\u00e9duction 10x du co\u00fbt lib\u00e8re un nouveau palier d’applications qui \u00e9taient pr\u00e9c\u00e9demment \u00e9conomiquement impossibles. On a eu deux r\u00e9ductions 10x en deux ans. La prochaine est d\u00e9j\u00e0 en vue.<\/p>\nLes math\u00e9matiques qui changent les mod\u00e8les commerciaux<\/h2>\n
O\u00f9 les co\u00fbts vivent r\u00e9ellement maintenant<\/h2>\n
Le paysage de l’h\u00e9bergement<\/h2>\n
Ce que l’inf\u00e9rence bon march\u00e9 permet<\/h2>\n