En 2022, l’article Chinchilla de DeepMind a remodel\u00e9 l’industrie de l’IA. L’affirmation : pour l’entra\u00eenement optimal en calcul, \u00e9chelle les param\u00e8tres et les tokens de donn\u00e9es de mani\u00e8re \u00e9gale. Un mod\u00e8le de 70B a besoin d’environ 1.4T tokens. L’industrie s’est r\u00e9organis\u00e9e autour de cette loi. Puis Llama a prouv\u00e9 que c’\u00e9tait faux.<\/p>\n
Les lois de mise \u00e0 l’\u00e9chelle de Chinchilla ont \u00e9tabli un ratio : pour un budget de calcul donn\u00e9, l’allocation optimale entre les param\u00e8tres du mod\u00e8le et les tokens d’entra\u00eenement suit un ratio d’environ 1:20. Un mod\u00e8le de 10B devrait voir ~200B tokens. Un mod\u00e8le de 70B devrait voir ~1.4T tokens. D\u00e9penser le calcul en plus de param\u00e8tres sans proportionnellement plus de donn\u00e9es, ou vice versa, gaspille les ressources.<\/p>\n
C’\u00e9tait une correction \u00e0 l’approche de GPT-3, qui \u00e9tait massivement sur-param\u00e9tr\u00e9e par rapport \u00e0 ses donn\u00e9es d’entra\u00eenement. Chinchilla 70B, entra\u00een\u00e9 sur la \u00ab bonne \u00bb quantit\u00e9 de donn\u00e9es, correspondait \u00e0 la performance de GPT-3 175B avec moins de la moiti\u00e9 des param\u00e8tres. L’implication \u00e9tait claire : l’industrie avait construit des mod\u00e8les qui \u00e9taient trop gros et les entra\u00een\u00e9 sur trop peu de donn\u00e9es.<\/p>\n
Les labs ont pris note. Les runs d’entra\u00eenement ont \u00e9t\u00e9 redessin\u00e9s autour du ratio Chinchilla. L’encadrement du \u00ab calcul optimal \u00bb est devenu l’\u00e9vangile.<\/p>\n
Chinchilla optimise pour le calcul d’entra\u00eenement<\/strong>, pas le co\u00fbt total du cycle de vie<\/strong>. C’est une distinction critique. Entra\u00eener un mod\u00e8le se produit une fois. Ex\u00e9cuter l’inf\u00e9rence se produit des millions de fois. Un mod\u00e8le plus petit entra\u00een\u00e9 sur plus de donn\u00e9es co\u00fbte plus cher \u00e0 entra\u00eener mais co\u00fbte dramatiquement moins \u00e0 d\u00e9ployer.<\/p>\n Llama a d\u00e9montr\u00e9 cela magnifiquement. Llama 1 7B a \u00e9t\u00e9 entra\u00een\u00e9 sur 1T tokens \u2014 environ 7x la quantit\u00e9 optimale de Chinchilla. Llama 2 7B a vu 2T tokens. Llama 3.1 8B a consomm\u00e9 15T tokens. Chaque version a \u00e9t\u00e9 \u00ab sur-entra\u00een\u00e9e \u00bb selon les standards Chinchilla, mais chaque a \u00e9t\u00e9 mieux que la pr\u00e9c\u00e9dente.<\/p>\n La raison : quand tu te soucies du co\u00fbt d’inf\u00e9rence, tu veux le plus petit mod\u00e8le qui atteint ta cible de qualit\u00e9. Sur-entra\u00eener un petit mod\u00e8le au-del\u00e0 du ratio Chinchilla produit un mod\u00e8le qui est moins cher \u00e0 ex\u00e9cuter mais presque aussi bon qu’un mod\u00e8le plus grand et optimal de Chinchilla. Le calcul d’entra\u00eenement suppl\u00e9mentaire est un co\u00fbt unique qui rapporte des dividendes chaque fois que le mod\u00e8le sert une requ\u00eate.<\/p>\n Les chercheurs d’institutions incluant Meta, Hugging Face, et plusieurs universit\u00e9s ont d\u00e9velopp\u00e9 des lois d’\u00e9chelle r\u00e9vis\u00e9es qui tiennent compte du co\u00fbt d’inf\u00e9rence. Le cadre est appel\u00e9 mise \u00e0 l’\u00e9chelle optimale pour l’inf\u00e9rence<\/strong> ou parfois \u00ab mise \u00e0 l’\u00e9chelle consciente du d\u00e9ploiement \u00bb.<\/p>\n L’insight : \u00e9tant donn\u00e9 un budget d’inf\u00e9rence fixe (co\u00fbt par token en production), la strat\u00e9gie d’entra\u00eenement optimale est d’entra\u00eener un mod\u00e8le plus petit sur significativement plus de donn\u00e9es que Chinchilla recommande. Combien de plus d\u00e9pend de ton volume d’inf\u00e9rence attendu.<\/p>\n Pour un mod\u00e8le qui servira des milliards de requ\u00eates, le ratio optimal entra\u00eenement-\u00e0-param\u00e8tre pourrait \u00eatre 100:1 ou m\u00eame 200:1 \u2014 10x la recommandation Chinchilla. Le co\u00fbt d’entra\u00eenement suppl\u00e9mentaire est amorti sur tant d’appels d’inf\u00e9rence qu’il devient n\u00e9gligeable.<\/p>\n Cela explique la tendance de l’industrie vers les mod\u00e8les plus petits, massivement entra\u00een\u00e9s. Ce n’est pas que les labs ont oubli\u00e9 Chinchilla. Ils optimisent pour un objectif diff\u00e9rent : le co\u00fbt total minimum de propri\u00e9t\u00e9<\/strong> plut\u00f4t que le co\u00fbt d’entra\u00eenement minimum.<\/p>\n L’autre facteur que Chinchilla n’a pas tenu compte est la variation de qualit\u00e9 des donn\u00e9es<\/strong>. Les lois d’\u00e9chelle originales supposaient une qualit\u00e9 de donn\u00e9es \u00e0 peu pr\u00e8s uniforme. En pratique, le premier trillion de tokens de haute qualit\u00e9 enseigne plus par token que le deuxi\u00e8me trillion, qui enseigne plus que le troisi\u00e8me.<\/p>\n Cela signifie que les courbes de mise \u00e0 l’\u00e9chelle ne sont pas des lois de puissance lisses \u2014 elles ont des points d’inflexion o\u00f9 l’ajout de plus de donn\u00e9es de qualit\u00e9 d\u00e9clinante rend les rendements d\u00e9croissants plus rapides que la th\u00e9orie le pr\u00e9dit. Les mod\u00e8les Phi ont prouv\u00e9 qu’un petit mod\u00e8le sur des donn\u00e9es de haute qualit\u00e9 peut correspondre \u00e0 un mod\u00e8le plus grand sur des donn\u00e9es de plus faible qualit\u00e9, cassant compl\u00e8tement la relation Chinchilla.<\/p>\n La recherche moderne de mise \u00e0 l’\u00e9chelle traite la qualit\u00e9 des donn\u00e9es comme une variable dans les \u00e9quations de mise \u00e0 l’\u00e9chelle plut\u00f4t qu’une constante. Les pr\u00e9dictions r\u00e9sultantes sont plus complexes mais plus pr\u00e9cises : la taille de mod\u00e8le optimale et la quantit\u00e9 de donn\u00e9es d\u00e9pendent de la distribution de qualit\u00e9 des donn\u00e9es d’entra\u00eenement disponibles, pas seulement du budget de calcul total.<\/p>\n Pour les organisations qui entra\u00eenent des mod\u00e8les, les implications pratiques sont claires. Ne suis pas aveugl\u00e9ment les ratios Chinchilla.<\/strong> Au lieu de cela, consid\u00e8re ton sc\u00e9nario de d\u00e9ploiement :<\/p>\n Si tu entra\u00eenes un mod\u00e8le pour un cas d’utilisation de production sp\u00e9cifique et de haut volume, entra\u00eene un mod\u00e8le plus petit sur beaucoup plus de donn\u00e9es que Chinchilla sugg\u00e8re. Les \u00e9conomies d’inf\u00e9rence d\u00e9passeront bien le co\u00fbt d’entra\u00eenement suppl\u00e9mentaire.<\/p>\n Si tu entra\u00eenes un mod\u00e8le de recherche qui sera \u00e9valu\u00e9 sur des benchmarks et puis principalement rang\u00e9, les ratios Chinchilla vont bien. Le calcul d’entra\u00eenement domine quand le volume d’inf\u00e9rence est faible.<\/p>\n Si tu travailles avec des donn\u00e9es limit\u00e9es, de haute qualit\u00e9 et ne peux pas facilement obtenir plus, un mod\u00e8le plus grand entra\u00een\u00e9 sur moins de donn\u00e9es peut \u00eatre optimal. Le mod\u00e8le a besoin de suffisamment de param\u00e8tres pour absorber la connaissance dans tes donn\u00e9es, et il y a une taille minimale d’ensemble de donn\u00e9es en dessous de laquelle les mod\u00e8les plus petits gaspillent la capacit\u00e9.<\/p>\n Les lois d’\u00e9chelle ne sont pas des constantes physiques. Ce sont des observations empiriques qui d\u00e9pendent d’hypoth\u00e8ses sur l’architecture, les donn\u00e9es, le mat\u00e9riel, et l’optimisation \u2014 tout cela change au fil du temps. Chinchilla \u00e9tait correct pour son contexte (optimisation du calcul d’entra\u00eenement en 2022). C’est faux pour le contexte d’aujourd’hui (optimisation du co\u00fbt total avec des charges de travail domin\u00e9es par l’inf\u00e9rence).<\/p>\n La le\u00e7on n’est pas que les lois d’\u00e9chelle sont inutiles. C’est que tu dois comprendre quelle variable elles optimisent<\/strong> et si cette variable correspond \u00e0 ton objectif. Appliquer aveugl\u00e9ment la loi d’\u00e9chelle de quelqu’un d’autre \u00e0 ton probl\u00e8me est un chemin rapide vers des r\u00e9sultats sous-optimaux.<\/p>\nLes lois d’\u00e9chelle optimales pour l’inf\u00e9rence<\/h2>\n
La qualit\u00e9 des donn\u00e9es change l’\u00e9quation<\/h2>\n
Ce que cela signifie en pratique<\/h2>\n
La vue d’ensemble<\/h2>\n