L’obsession de la taille du mod\u00e8le manque quelque chose de fondamental. Un mod\u00e8le de 7 milliards de param\u00e8tres entra\u00een\u00e9 sur des donn\u00e9es de haute qualit\u00e9 et sp\u00e9cifiques au domaine surpassera un mod\u00e8le de 70 milliards entra\u00een\u00e9 sur des donn\u00e9es bruyantes et g\u00e9n\u00e9riques.<\/p>\n
Ce n’est plus controvers\u00e9 dans la recherche. C’est empiriquement \u00e9vident. Mais cela contredit le r\u00e9cit que plus grand gagne toujours, donc cela n’a pas compl\u00e8tement p\u00e9n\u00e9tr\u00e9 la pratique de l’industrie.<\/p>\n
Le papier Chinchilla de DeepMind a \u00e9tabli que le ratio optimal entre la taille du mod\u00e8le et les donn\u00e9es d’entra\u00eenement est d’environ 1:20. Un mod\u00e8le devrait \u00eatre entra\u00een\u00e9 sur 20 jetons pour chaque param\u00e8tre.<\/p>\n
La plupart des grands mod\u00e8les de langage violent ce ratio gravement. Ils sont surdimensionn\u00e9s par rapport \u00e0 leurs donn\u00e9es d’entra\u00eenement. L’implication pratique : tu peux construire un meilleur mod\u00e8le en investissant dans la qualit\u00e9 des donn\u00e9es au lieu du nombre de param\u00e8tres bruts.<\/p>\n
Cela cr\u00e9e une opportunit\u00e9 pour les mod\u00e8les sp\u00e9cifiques au domaine. Si tu as des donn\u00e9es sp\u00e9cialis\u00e9es, un mod\u00e8le 13B ou 7B soigneusement entra\u00een\u00e9 battra un mod\u00e8le g\u00e9n\u00e9rique 70B sur ta t\u00e2che. Et il sera plus rapide et moins cher \u00e0 d\u00e9ployer.<\/p>\n
Consid\u00e8re la g\u00e9n\u00e9ration de code. Un mod\u00e8le 7B entra\u00een\u00e9 sp\u00e9cifiquement sur des biblioth\u00e8ques de code de haute qualit\u00e9 surpassera Llama 70B sur les t\u00e2ches de codage. Pourquoi ? Llama 70B a appris le code en absorbant internet, bruit et tout. Le mod\u00e8le 7B a appris \u00e0 partir d’exemples excellents et organis\u00e9s.<\/p>\n
L’IA m\u00e9dicale montre le m\u00eame motif. Un petit mod\u00e8le entra\u00een\u00e9 sur des milliers de textes m\u00e9dicaux soigneusement r\u00e9vis\u00e9s bat un mod\u00e8le 70B entra\u00een\u00e9 sur des donn\u00e9es g\u00e9n\u00e9rales d’internet lors du diagnostic de la maladie \u00e0 partir des ant\u00e9c\u00e9dents des patients.<\/p>\n
Le motif se maintient dans les domaines : analyse juridique, mod\u00e9lisation financi\u00e8re, r\u00e9daction scientifique. La sp\u00e9cialisation avec de bonnes donn\u00e9es bat la g\u00e9n\u00e9ralit\u00e9 avec de mauvaises donn\u00e9es.<\/p>\n
Les lois de mise \u00e0 l’\u00e9chelle (scaling laws) importent, mais elles importent moins que la qualit\u00e9 des donn\u00e9es. Tu peux entra\u00eener un mod\u00e8le de 7 milliards de param\u00e8tres \u00e0 une cible de performance sp\u00e9cifique plus rapidement qu’en entra\u00eenant un mod\u00e8le 70B, si le mod\u00e8le 7B utilise de meilleures donn\u00e9es d’entra\u00eenement.<\/p>\n
Cela a des cons\u00e9quences pratiques. Le fine-tuning d’un petit mod\u00e8le de base bien entra\u00een\u00e9 est plus rapide que le fine-tuning d’un gros. L’inf\u00e9rence est plus rapide. Le d\u00e9ploiement est plus simple.<\/p>\n
L’avantage de co\u00fbt s’accumule. De meilleures donn\u00e9es d’entra\u00eenement signifient que moins de param\u00e8tres sont n\u00e9cessaires. Moins de param\u00e8tres signifie des co\u00fbts d’inf\u00e9rence plus bas, une g\u00e9n\u00e9ration plus rapide, une meilleure latence pour les utilisateurs finaux.<\/p>\n
La barri\u00e8re \u00e0 l’ex\u00e9cution de cette strat\u00e9gie est \u00e9vidente : les bonnes donn\u00e9es sont ch\u00e8res. Rassembler des donn\u00e9es d’entra\u00eenement sp\u00e9cifiques au domaine n\u00e9cessite de l’expertise en mati\u00e8re et une curation soigneuse.<\/p>\n
Mais le co\u00fbt des mauvaises donn\u00e9es est plus \u00e9lev\u00e9. L’entra\u00eenement sur des donn\u00e9es bruyantes et de faible qualit\u00e9 te force \u00e0 te surcharger pour compenser. Tu te retrouves avec un mod\u00e8le gonfl\u00e9 qui est lent, cher \u00e0 ex\u00e9cuter et qui est toujours pire sur ta t\u00e2che sp\u00e9cifique.<\/p>\n
Les maths favorisent l’investissement dans la qualit\u00e9 des donn\u00e9es par rapport \u00e0 la mise \u00e0 l’\u00e9chelle des param\u00e8tres. L’industrie d\u00e9couvre lentement cela.<\/p>\n
Attends-toi \u00e0 un d\u00e9placement vers des mod\u00e8les plus petits et mieux entra\u00een\u00e9s pour des domaines sp\u00e9cifiques. Les organisations ayant acc\u00e8s \u00e0 des donn\u00e9es de domaine de haute qualit\u00e9 construiront leurs propres mod\u00e8les. Ils seront plus rapides, moins chers et meilleurs que d’utiliser des API g\u00e9n\u00e9riques.<\/p>\n
L’\u00e8re des mod\u00e8les de langage g\u00e9n\u00e9riques de m\u00eame taille n’est pas termin\u00e9e. Mais l’\u00e8re de l’hypoth\u00e8se que les mod\u00e8les plus gros sont toujours meilleurs est termin\u00e9e.<\/p>\n