L’attention standard est quadratique. Chaque token fait attention \u00e0 tous les autres tokens, ce qui rend le co\u00fbt computationnel cro\u00eetre avec le carr\u00e9 de la longueur de la s\u00e9quence. \u00c0 128K tokens, c’est 16 milliards de calculs d’attention par couche. La qu\u00eate pour briser cette barri\u00e8re quadratique a produit certaines des innovations architecturales les plus importantes des derni\u00e8res ann\u00e9es.<\/p>\n
En attention multi-t\u00eate standard, chaque token calcule un score de similitude avec chaque autre token dans la s\u00e9quence. Pour une s\u00e9quence de longueur N, cela produit une matrice d’attention N\u00d7N. Les co\u00fbts de m\u00e9moire et de calcul s’\u00e9chellent comme O(N\u00b2), ce qui devient prohibitif pour les longues s\u00e9quences.<\/p>\n
\u00c0 2K tokens, l’attention quadratique est g\u00e9rable. \u00c0 8K, c’est cher. \u00c0 128K, c’est le co\u00fbt dominant de toute la passe avant. Et pourtant les applications exigent de plus en plus de long contextes : analyse de documents, compr\u00e9hension de code au niveau du d\u00e9p\u00f4t, raisonnement multi-documents. L’architecture doit s’adapter.<\/p>\n
Le motif d’attention clairsem\u00e9e le plus simple est la fen\u00eatre glissante<\/strong>. Chaque token ne fait attention qu’\u00e0 ses W voisins les plus proches, o\u00f9 W est la taille de la fen\u00eatre. Cela r\u00e9duit la complexit\u00e9 de O(N\u00b2) \u00e0 O(N\u00d7W) \u2014 lin\u00e9aire dans la longueur de la s\u00e9quence pour une fen\u00eatre fixe.<\/p>\n Mistral a \u00e9t\u00e9 pionnier dans cette approche dans les mod\u00e8les de production. Mistral 7B utilise une fen\u00eatre glissante de 4096 tokens dans ses couches d’attention. L’information se propage \u00e0 travers la s\u00e9quence compl\u00e8te \u00e0 travers plusieurs couches \u2014 apr\u00e8s L couches, le champ r\u00e9ceptif efficace est de L\u00d7W tokens. Avec 32 couches et une fen\u00eatre 4096, c’est th\u00e9oriquement 128K tokens de flux d’information.<\/p>\n Le compromis est que les d\u00e9pendances longue port\u00e9e deviennent indirectes. Le token A \u00e0 la position 0 ne peut influencer le token B \u00e0 la position 100K que par une cha\u00eene de calculs d’attention interm\u00e9diaires \u00e0 travers les couches. L’attention directe entre les tokens distants est impossible. Pour de nombreuses t\u00e2ches c’est bien ; pour les t\u00e2ches n\u00e9cessitant un rappel pr\u00e9cis longue port\u00e9e, cela peut d\u00e9grader la qualit\u00e9.<\/p>\n GQA n’est pas l’attention clairsem\u00e9e au sens traditionnel, mais c’est l’am\u00e9lioration d’efficacit\u00e9 la plus impactante dans les transformers modernes. Au lieu que chaque t\u00eate d’attention ait ses propres projections cl\u00e9 et valeur, GQA partage les t\u00eates cl\u00e9-valeur \u00e0 travers des groupes de t\u00eates de requ\u00eate.<\/p>\n L’attention multi-t\u00eate standard avec 32 t\u00eates a 32 requ\u00eate, 32 cl\u00e9, et 32 projections de valeur. GQA avec 8 groupes KV a 32 requ\u00eate mais seulement 8 cl\u00e9 et 8 projections de valeur. Les \u00e9conomies de m\u00e9moire pour le cache KV sont proportionnelles \u2014 environ 4x r\u00e9duction dans cet exemple.<\/p>\n Cela compte \u00e9norm\u00e9ment pour l’inf\u00e9rence. Le cache KV stocke les \u00e9tats cl\u00e9 et valeur pour tous les tokens pr\u00e9c\u00e9dents et est souvent le goulot d’\u00e9tranglement m\u00e9moire. Le r\u00e9duire par 4x signifie servir 4x plus de requ\u00eates concurrentes sur le m\u00eame mat\u00e9riel, ou g\u00e9rer 4x les plus longues s\u00e9quences. Llama 3, Qwen 2.5, et la plupart des mod\u00e8les r\u00e9cents utilisent GQA par d\u00e9faut.<\/p>\n MQA prend GQA \u00e0 l’extr\u00eame : toutes les t\u00eates de requ\u00eate partagent une seule t\u00eate cl\u00e9 et une seule t\u00eate valeur. Le cache KV se r\u00e9tr\u00e9cit par le nombre complet de t\u00eates \u2014 32x pour un mod\u00e8le 32-t\u00eate. C’est maximalement efficace mais peut r\u00e9duire la qualit\u00e9 du mod\u00e8le, particuli\u00e8rement pour les t\u00e2ches n\u00e9cessitant des motifs d’attention divers.<\/p>\n En pratique, GQA avec 4-8 groupes a \u00e9merg\u00e9 comme le point sucr\u00e9, offrant la plupart des avantages d’efficacit\u00e9 de MQA avec une perte de qualit\u00e9 minimale. Le pur MQA est utilis\u00e9 dans certains mod\u00e8les optimis\u00e9s pour la vitesse o\u00f9 la latence compte plus que la qualit\u00e9.<\/p>\n L’approche plus radicale remplace compl\u00e8tement l’attention quadratique. L’attention lin\u00e9aire<\/strong> reformule le calcul d’attention pour \u00e9viter la matrice N\u00d7N, r\u00e9alisant O(N) complexit\u00e9. Les variantes comme RetNet et RWKV utilisent diff\u00e9rentes strat\u00e9gies de lin\u00e9arisation, \u00e9changeant l’expressivit\u00e9 compl\u00e8te de l’attention softmax pour l’efficacit\u00e9 computationnelle.<\/p>\n Les State Space Models (SSMs)<\/strong> comme Mamba prennent un chemin diff\u00e9rent. Au lieu de l’attention sur la s\u00e9quence compl\u00e8te, ils maintiennent un \u00e9tat cach\u00e9 de taille fixe qui est mis \u00e0 jour \u00e0 mesure que chaque nouveau token arrive. C’est inh\u00e9remment O(N) et n\u00e9cessite une m\u00e9moire constante ind\u00e9pendamment de la longueur de la s\u00e9quence.<\/p>\n Mamba et ses successeurs (Mamba-2, Jamba) ont montr\u00e9 que les SSMs peuvent correspondre \u00e0 la qualit\u00e9 du transformer sur de nombreux benchmarks tout en \u00e9tant nettement plus rapides pour les longues s\u00e9quences. Cependant, ils peinent sur les t\u00e2ches n\u00e9cessitant la r\u00e9cup\u00e9ration pr\u00e9cise d’informations de positions sp\u00e9cifiques dans le contexte \u2014 le probl\u00e8me \u00ab aiguille dans une botte de foin \u00bb que l’attention traite bien.<\/p>\n Le consensus \u00e9mergent est que les architectures hybrides<\/strong> combinant l’attention et les couches lin\u00e9aires offrent le meilleur compromis. Jamba (AI21) alterne entre les couches de transformer avec l’attention compl\u00e8te et les couches Mamba avec la complexit\u00e9 lin\u00e9aire. Les couches d’attention g\u00e8rent la r\u00e9cup\u00e9ration pr\u00e9cise ; les couches Mamba g\u00e8rent la mod\u00e9lisation longue port\u00e9e efficace.<\/p>\n Cette approche hybride s’\u00e9chelle mieux que les transformers purs pour les longues s\u00e9quences tout en maintenant les capacit\u00e9s de r\u00e9cup\u00e9ration que les SSMs purs manquent. Le ratio de couches d’attention aux couches lin\u00e9aires est un param\u00e8tre modifiable \u2014 plus de couches d’attention pour les t\u00e2ches r\u00e9cup\u00e9ration-lourdes, plus de couches SSM pour l’efficacit\u00e9.<\/p>\n Parfois, la meilleure am\u00e9lioration architecturale n’est pas architecturale du tout. Flash Attention<\/strong> ne change pas ce que le mod\u00e8le calcule \u2014 cela change comment c’est calcul\u00e9. En carrelant le calcul d’attention et en gardant les donn\u00e9es dans la rapide SRAM plut\u00f4t que la lente HBM, Flash Attention r\u00e9alise des acc\u00e9l\u00e9rations de 2-4x avec z\u00e9ro changement de qualit\u00e9.<\/p>\n Flash Attention a rendu les longs contextes pratiques avant que l’attention clairsem\u00e9e ne le fasse. Un contexte 32K qui \u00e9tait prohibitif en m\u00e9moire avec l’attention na\u00efve fonctionne confortablement avec Flash Attention sur le m\u00eame mat\u00e9riel. Combin\u00e9 avec GQA et les fen\u00eatres glissantes, cela permet les longueurs de contexte 128K+ que les mod\u00e8les modernes supportent.<\/p>\n La le\u00e7on : avant de redessiner l’architecture, optimise l’impl\u00e9mentation. L’\u00e9cart entre l’efficacit\u00e9 th\u00e9orique et pratique dans le calcul d’attention \u00e9tait \u00e9norme, et la fermeture de cet \u00e9cart \u00e0 travers une meilleure ing\u00e9nierie a livr\u00e9 plus d’impact r\u00e9el que de nombreuses innovations architecturales.<\/p>\nGrouped Query Attention (GQA)<\/h2>\n
Multi-Query Attention (MQA)<\/h2>\n
Linear Attention et State Space Models<\/h2>\n
Architectures hybrides<\/h2>\n
Flash Attention : la r\u00e9volution de l’impl\u00e9mentation<\/h2>\n