La course aux armements de la fenêtre de contexte : 128K, 1M, ∞ — Cela compte-t-il ?

Les fenêtres de contexte ne cessent de s’agrandir. GPT-4 Turbo s’est ouvert avec 128K. Gemini 1.5 Pro a réclamé 1M de tokens. Certains modèles annoncent un contexte « infini » à travers diverses astuces. Mais plus grand n’est pas toujours mieux, et les chiffres sur la boîte ne racontent pas toute l’histoire.

Ce que la fenêtre de contexte signifie réellement

La fenêtre de contexte est le nombre maximum de tokens qu’un modèle peut traiter dans une seule passe avant. Chaque token du prompt d’entrée et de la sortie générée doit entrer dans cette fenêtre. Une fenêtre de contexte de 128K signifie environ 100 000 mots — un roman complet, un semestre de notes de cours, ou une base de code entière.

Mais il y a une distinction cruciale entre la longueur de contexte supportée et la longueur de contexte effective. Un modèle pourrait accepter 128K tokens, mais sa capacité à réellement utiliser l’information se dégrade bien avant d’atteindre cette limite. Le test « aiguille dans une botte de foin » — cacher un fait spécifique quelque part dans un long contexte et tester la récupération — révèle que de nombreux modèles commencent à perdre la précision bien avant leur maximum annoncé.

La réalité du coût

Un contexte plus long coûte plus cher. L’attention quadratique signifie que doubler le contexte quadruple le calcul. Même avec Flash Attention et des implémentations efficaces, un appel d’inférence de contexte 128K est dramatiquement plus coûteux qu’un appel 4K.

La mémoire cache KV s’échelle également linéairement avec la longueur du contexte. Chaque token dans le contexte nécessite de stocker les états clé et valeur à travers tous les têtes d’attention et les couches. Pour un modèle de 7B, un cache KV de contexte 128K peut consommer 16-32GB de mémoire — potentiellement plus que les poids du modèle eux-mêmes.

Cela signifie qu’en pratique, la plupart des applications de production utilisent une fraction du contexte disponible. Un chatbot avec 128K de support de contexte fonctionne généralement avec 4-16K tokens de contexte réel. La grande fenêtre est là pour les cas rares qui la nécessitent, pas pour chaque requête.

Quand le long contexte compte vraiment

Analyse de documents : Le traitement de contrats juridiques, articles de recherche, rapports financiers, ou documentation technique en contexte complet bénéficie réellement de fenêtres 32K+. La qualité de résumé s’améliore quand le modèle voit le document entier plutôt que des segments morcelés.

Compréhension de base de code : L’analyse de code au niveau du dépôt nécessite de voir plusieurs fichiers simultanément. Une fenêtre 128K peut tenir une portion significative d’une base de code de taille moyenne, permettant le raisonnement inter-fichiers qui est impossible avec des contextes plus courts.

Raisonnement multi-documents : Comparer plusieurs documents, synthétiser l’information entre sources, ou répondre à des questions qui nécessitent de combiner les faits de différents textes. C’est là où le long contexte fournit l’avantage le plus clair par rapport aux approches basées sur RAG.

Conversations étendues : Dialogues multi-tours qui font référence aux parties antérieures de la conversation. Sans un contexte suffisant, le modèle « oublie » ce qui a été discuté plus tôt, conduisant à la répétition et l’incohérence.

Quand RAG bat le long contexte

La récupération génération augmentée (RAG) reste supérieure au long contexte brut-force dans plusieurs scénarios. Quand l’information totale dépasse toute fenêtre de contexte — une base de connaissances d’un million de documents, des années d’historique de chat, la documentation entière d’une entreprise — RAG est la seule option.

RAG est aussi moins cher. Récupérer les 5 chunks les plus pertinents et les mettre dans un contexte 4K coûte une fraction du traitement de 128K tokens. Pour les applications où l’information pertinente est clairsemée dans un grand corpus, RAG livre de meilleurs résultats à un coût inférieur.

L’approche intelligente combine les deux : utilise RAG pour récupérer l’information pertinente, puis la traite dans un contexte modérément long (8-32K) pour la synthèse. Cela capture la plupart des bénéfices du long contexte sans le coût complet.

Les réclamations de contexte « infini »

Plusieurs approches prétendent prolonger le contexte au-delà des limites fixes. La fenêtre glissante avec tokens d’évier maintient l’attention au début et à la fin d’une conversation tout en utilisant une fenêtre de taille fixe pour le milieu. Les architectures augmentées par la mémoire compressent le contexte antérieur dans des représentations récapitulatives apprises. La summarisation récursive condense périodiquement la conversation en une forme plus courte.

Aucun de ceux-ci n’est véritablement infini. Ils impliquent tous une perte d’information — la question est si l’information perdue compte pour ton cas d’usage. Pour la conversation décontractée, la perte d’information est généralement acceptable. Pour les tâches nécessitant un rappel précis de détails antérieurs spécifiques, ces approches se dégradent.

La frontière du contexte effectif

La vraie compétition n’est pas la taille brute du contexte mais l’utilisation effective du long contexte. Un modèle qui utilise fiablement tous les 32K tokens bat un modèle qui accepte 1M mais n’utilise fiablement que 8K. Les benchmarks comme RULER, LongBench, et le test de l’aiguille dans une botte de foin mesurent cette utilisation, et les résultats sont souvent surprenants.

Certains modèles 128K affichent une dégradation de performance commençant à 16K. D’autres maintiennent la qualité jusqu’à 64K avant de décliner. La méthodologie d’entraînement compte plus que le nombre annoncé : les modèles entraînés avec des données de contexte long dès le départ surpassent les modèles qui ont eu leur contexte prolongé après entraînement à travers des techniques comme YaRN ou rope scaling.

Pour des objectifs pratiques, évalue les modèles sur ton cas d’usage réel à tes longueurs de contexte réelles. Les chiffres marketing sont des estimations de plafond, pas des garanties de qualité à ces longueurs.

Pour les benchmarks et l’analyse de la performance de modèle de long contexte, visite Laeka Research.