Les fen\u00eatres de contexte ne cessent de s’agrandir. GPT-4 Turbo s’est ouvert avec 128K. Gemini 1.5 Pro a r\u00e9clam\u00e9 1M de tokens. Certains mod\u00e8les annoncent un contexte \u00ab infini \u00bb \u00e0 travers diverses astuces. Mais plus grand n’est pas toujours mieux, et les chiffres sur la bo\u00eete ne racontent pas toute l’histoire.<\/p>\n
La fen\u00eatre de contexte est le nombre maximum de tokens qu’un mod\u00e8le peut traiter dans une seule passe avant. Chaque token du prompt d’entr\u00e9e et de la sortie g\u00e9n\u00e9r\u00e9e doit entrer dans cette fen\u00eatre. Une fen\u00eatre de contexte de 128K signifie environ 100 000 mots \u2014 un roman complet, un semestre de notes de cours, ou une base de code enti\u00e8re.<\/p>\n
Mais il y a une distinction cruciale entre la longueur de contexte support\u00e9e<\/strong> et la longueur de contexte effective<\/strong>. Un mod\u00e8le pourrait accepter 128K tokens, mais sa capacit\u00e9 \u00e0 r\u00e9ellement utiliser l’information se d\u00e9grade bien avant d’atteindre cette limite. Le test \u00ab aiguille dans une botte de foin \u00bb \u2014 cacher un fait sp\u00e9cifique quelque part dans un long contexte et tester la r\u00e9cup\u00e9ration \u2014 r\u00e9v\u00e8le que de nombreux mod\u00e8les commencent \u00e0 perdre la pr\u00e9cision bien avant leur maximum annonc\u00e9.<\/p>\n Un contexte plus long co\u00fbte plus cher. L’attention quadratique signifie que doubler le contexte quadruple le calcul. M\u00eame avec Flash Attention et des impl\u00e9mentations efficaces, un appel d’inf\u00e9rence de contexte 128K est dramatiquement plus co\u00fbteux qu’un appel 4K.<\/p>\n La m\u00e9moire cache KV s’\u00e9chelle \u00e9galement lin\u00e9airement avec la longueur du contexte. Chaque token dans le contexte n\u00e9cessite de stocker les \u00e9tats cl\u00e9 et valeur \u00e0 travers tous les t\u00eates d’attention et les couches. Pour un mod\u00e8le de 7B, un cache KV de contexte 128K peut consommer 16-32GB de m\u00e9moire \u2014 potentiellement plus que les poids du mod\u00e8le eux-m\u00eames.<\/p>\n Cela signifie qu’en pratique, la plupart des applications de production utilisent une fraction du contexte disponible. Un chatbot avec 128K de support de contexte fonctionne g\u00e9n\u00e9ralement avec 4-16K tokens de contexte r\u00e9el. La grande fen\u00eatre est l\u00e0 pour les cas rares qui la n\u00e9cessitent, pas pour chaque requ\u00eate.<\/p>\n Analyse de documents :<\/strong> Le traitement de contrats juridiques, articles de recherche, rapports financiers, ou documentation technique en contexte complet b\u00e9n\u00e9ficie r\u00e9ellement de fen\u00eatres 32K+. La qualit\u00e9 de r\u00e9sum\u00e9 s’am\u00e9liore quand le mod\u00e8le voit le document entier plut\u00f4t que des segments morcel\u00e9s.<\/p>\n Compr\u00e9hension de base de code :<\/strong> L’analyse de code au niveau du d\u00e9p\u00f4t n\u00e9cessite de voir plusieurs fichiers simultan\u00e9ment. Une fen\u00eatre 128K peut tenir une portion significative d’une base de code de taille moyenne, permettant le raisonnement inter-fichiers qui est impossible avec des contextes plus courts.<\/p>\n Raisonnement multi-documents :<\/strong> Comparer plusieurs documents, synth\u00e9tiser l’information entre sources, ou r\u00e9pondre \u00e0 des questions qui n\u00e9cessitent de combiner les faits de diff\u00e9rents textes. C’est l\u00e0 o\u00f9 le long contexte fournit l’avantage le plus clair par rapport aux approches bas\u00e9es sur RAG.<\/p>\n Conversations \u00e9tendues :<\/strong> Dialogues multi-tours qui font r\u00e9f\u00e9rence aux parties ant\u00e9rieures de la conversation. Sans un contexte suffisant, le mod\u00e8le \u00ab oublie \u00bb ce qui a \u00e9t\u00e9 discut\u00e9 plus t\u00f4t, conduisant \u00e0 la r\u00e9p\u00e9tition et l’incoh\u00e9rence.<\/p>\n La r\u00e9cup\u00e9ration g\u00e9n\u00e9ration augment\u00e9e (RAG) reste sup\u00e9rieure au long contexte brut-force dans plusieurs sc\u00e9narios. Quand l’information totale d\u00e9passe toute fen\u00eatre de contexte \u2014 une base de connaissances d’un million de documents, des ann\u00e9es d’historique de chat, la documentation enti\u00e8re d’une entreprise \u2014 RAG est la seule option.<\/p>\n RAG est aussi moins cher. R\u00e9cup\u00e9rer les 5 chunks les plus pertinents et les mettre dans un contexte 4K co\u00fbte une fraction du traitement de 128K tokens. Pour les applications o\u00f9 l’information pertinente est clairsem\u00e9e dans un grand corpus, RAG livre de meilleurs r\u00e9sultats \u00e0 un co\u00fbt inf\u00e9rieur.<\/p>\n L’approche intelligente combine les deux : utilise RAG pour r\u00e9cup\u00e9rer l’information pertinente, puis la traite dans un contexte mod\u00e9r\u00e9ment long (8-32K) pour la synth\u00e8se. Cela capture la plupart des b\u00e9n\u00e9fices du long contexte sans le co\u00fbt complet.<\/p>\n Plusieurs approches pr\u00e9tendent prolonger le contexte au-del\u00e0 des limites fixes. La fen\u00eatre glissante avec tokens d’\u00e9vier<\/strong> maintient l’attention au d\u00e9but et \u00e0 la fin d’une conversation tout en utilisant une fen\u00eatre de taille fixe pour le milieu. Les architectures augment\u00e9es par la m\u00e9moire<\/strong> compressent le contexte ant\u00e9rieur dans des repr\u00e9sentations r\u00e9capitulatives apprises. La summarisation r\u00e9cursive<\/strong> condense p\u00e9riodiquement la conversation en une forme plus courte.<\/p>\n Aucun de ceux-ci n’est v\u00e9ritablement infini. Ils impliquent tous une perte d’information \u2014 la question est si l’information perdue compte pour ton cas d’usage. Pour la conversation d\u00e9contract\u00e9e, la perte d’information est g\u00e9n\u00e9ralement acceptable. Pour les t\u00e2ches n\u00e9cessitant un rappel pr\u00e9cis de d\u00e9tails ant\u00e9rieurs sp\u00e9cifiques, ces approches se d\u00e9gradent.<\/p>\n La vraie comp\u00e9tition n’est pas la taille brute du contexte mais l’utilisation effective du long contexte<\/strong>. Un mod\u00e8le qui utilise fiablement tous les 32K tokens bat un mod\u00e8le qui accepte 1M mais n’utilise fiablement que 8K. Les benchmarks comme RULER, LongBench, et le test de l’aiguille dans une botte de foin mesurent cette utilisation, et les r\u00e9sultats sont souvent surprenants.<\/p>\n Certains mod\u00e8les 128K affichent une d\u00e9gradation de performance commen\u00e7ant \u00e0 16K. D’autres maintiennent la qualit\u00e9 jusqu’\u00e0 64K avant de d\u00e9cliner. La m\u00e9thodologie d’entra\u00eenement compte plus que le nombre annonc\u00e9 : les mod\u00e8les entra\u00een\u00e9s avec des donn\u00e9es de contexte long d\u00e8s le d\u00e9part surpassent les mod\u00e8les qui ont eu leur contexte prolong\u00e9 apr\u00e8s entra\u00eenement \u00e0 travers des techniques comme YaRN ou rope scaling.<\/p>\n Pour des objectifs pratiques, \u00e9value les mod\u00e8les sur ton cas d’usage r\u00e9el \u00e0 tes longueurs de contexte r\u00e9elles. Les chiffres marketing sont des estimations de plafond, pas des garanties de qualit\u00e9 \u00e0 ces longueurs.<\/p>\nLa r\u00e9alit\u00e9 du co\u00fbt<\/h2>\n
Quand le long contexte compte vraiment<\/h2>\n
Quand RAG bat le long contexte<\/h2>\n
Les r\u00e9clamations de contexte \u00ab infini \u00bb<\/h2>\n
La fronti\u00e8re du contexte effectif<\/h2>\n