L’industrie de l’IA a pass\u00e9 des ann\u00e9es \u00e0 courir apr\u00e8s le nombre de param\u00e8tres. Des mod\u00e8les plus grands, plus de couches, des dimensions cach\u00e9es plus larges. Puis une s\u00e9rie de r\u00e9sultats a pulv\u00e9ris\u00e9 l’assomption que la taille d\u00e9termine la destin\u00e9e. Des petits mod\u00e8les entra\u00een\u00e9s sur des donn\u00e9es soigneusement cur\u00e9es ont commenc\u00e9 \u00e0 surpasser des mod\u00e8les dix fois plus grands entra\u00een\u00e9s sur des donn\u00e9es web. Les donn\u00e9es \u00e9taient la diff\u00e9rence depuis le d\u00e9but.<\/p>\n
La s\u00e9rie Phi de Microsoft a rendu le cas impossible \u00e0 ignorer. Phi-2 avec 2,7B param\u00e8tres a surpass\u00e9 Llama 2 7B sur plusieurs benchmarks. Phi-3-mini avec 3,8B a concouru avec des mod\u00e8les cinq fois plus grands. Le secret n’\u00e9tait pas une innovation architecturale \u2014 c’\u00e9tait des donn\u00e9es de qualit\u00e9 manuels scolaires<\/strong>.<\/p>\n L’\u00e9quipe Phi a utilis\u00e9 des donn\u00e9es synth\u00e9tiques g\u00e9n\u00e9r\u00e9es par des mod\u00e8les plus grands, filtr\u00e9es par des classificateurs de qualit\u00e9, et augment\u00e9es avec du texte du monde r\u00e9el soigneusement s\u00e9lectionn\u00e9. Chaque exemple d’entra\u00eenement r\u00e9pondait \u00e0 un seuil de qualit\u00e9. Pas de doublons, pas de contenu passe-partout, pas de contenu toxique, pas de remplissage sans information.<\/p>\n Ce n’\u00e9tait pas une am\u00e9lioration subtile. Sur les benchmarks de raisonnement, les mod\u00e8les Phi frappaient si fort au-dessus de leur classe de poids que les gens soup\u00e7onnaient initialement une contamination de benchmark. Les \u00e9valuations ind\u00e9pendantes ont confirm\u00e9 que les r\u00e9sultats \u00e9taient r\u00e9els. La qualit\u00e9 des donn\u00e9es avait \u00e9t\u00e9 sous-\u00e9valu\u00e9e par une marge \u00e9norme.<\/p>\n Les r\u00e9seaux de neurones apprennent en extrayant des motifs \u00e0 partir des donn\u00e9es d’entra\u00eenement. Quand les donn\u00e9es sont bruyantes \u2014 informations contradictoires, texte garbled, contenu dupliqu\u00e9, \u00e9criture de faible qualit\u00e9 \u2014 le mod\u00e8le gaspille sa capacit\u00e9 \u00e0 apprendre \u00e0 reproduire le bruit. Chaque param\u00e8tre d\u00e9pens\u00e9 \u00e0 m\u00e9moriser de la camelote est un param\u00e8tre non disponible pour la connaissance utile.<\/p>\n Un petit mod\u00e8le entra\u00een\u00e9 sur des donn\u00e9es propres alloue sa capacit\u00e9 limit\u00e9e efficacement. Chaque param\u00e8tre encode des motifs utiles. Il n’y a pas de capacit\u00e9 gaspill\u00e9e sur le bruit, pas de signaux conflictuels confondant l’optimisation, pas de poids mort \u00e0 m\u00e9moriser du contenu dupliqu\u00e9.<\/p>\n Les math\u00e9matiques soutiennent cela intuitivement. Consid\u00e8re un mod\u00e8le 7B entra\u00een\u00e9 sur 1 trillion de tokens de donn\u00e9es web de qualit\u00e9 mixte. Peut-\u00eatre 200 milliards de ces tokens sont genuinely de haute qualit\u00e9. Le mod\u00e8le entra\u00eene effectivement sur 200B bons tokens dilu\u00e9s par 800B tokens de bruit. Maintenant consid\u00e8re un mod\u00e8le 3B entra\u00een\u00e9 sur ces m\u00eames 200B tokens de haute qualit\u00e9. Il voit seulement du signal, pas de bruit. Malgr\u00e9 moins de param\u00e8tres, plus d’entre eux encodent une connaissance utile.<\/p>\n Les lois de scaling Chinchilla originales disaient : pour une performance optimale, escalade les donn\u00e9es et param\u00e8tres proportionnellement. Double la taille du mod\u00e8le, double les donn\u00e9es d’entra\u00eenement. Mais cela supposait une qualit\u00e9 constante des donn\u00e9es \u2014 une assomption qui ne tient pas en pratique.<\/p>\n La recherche de scaling r\u00e9vis\u00e9e montre que la qualit\u00e9 des donn\u00e9es modifie la courbe de scaling elle-m\u00eame<\/strong>. Les donn\u00e9es de haute qualit\u00e9 rendent les petits mod\u00e8les plus sample-efficaces. Chaque token d’entra\u00eenement enseigne plus. La taille optimale du mod\u00e8le pour une performance donn\u00e9e chute significativement quand la qualit\u00e9 des donn\u00e9es s’am\u00e9liore.<\/p>\n Cela a des implications profondes pour la communaut\u00e9 open-source. Tu n’as pas besoin d’un mod\u00e8le trillion-param\u00e8tres et d’un exaflop de compute pour construire quelque chose d’utile. Tu as besoin d’un dataset r\u00e9fl\u00e9chi et d’un mod\u00e8le modeste. La barri\u00e8re s’est d\u00e9plac\u00e9e du mat\u00e9riel vers la curation.<\/p>\n Bonnes donn\u00e9es n’est pas juste \u00ab pas de typos \u00bb. C’est une mesure de qualit\u00e9 multidimensionnelle qui inclut l’exactitude de l’information, la clart\u00e9 d’expression, la diversit\u00e9 de sujets et perspectives, le niveau de difficult\u00e9 appropri\u00e9, et l’absence de contenu nuisible ou trompeur.<\/p>\n L’exactitude<\/strong> signifie que les faits dans les donn\u00e9es d’entra\u00eenement sont corrects. Les mod\u00e8les entra\u00een\u00e9s sur de la d\u00e9sinformation apprennent \u00e0 g\u00e9n\u00e9rer de la d\u00e9sinformation avec confiance. Chaque erreur factuelle dans les donn\u00e9es d’entra\u00eenement devient une hallucination potentielle dans le mod\u00e8le.<\/p>\n La clart\u00e9<\/strong> signifie que l’\u00e9criture est bien structur\u00e9e et non ambigu\u00eb. Les mod\u00e8les apprennent le style de leurs donn\u00e9es. Entra\u00eene sur du texte clair, bien organis\u00e9 et le mod\u00e8le produit une sortie claire, bien organis\u00e9e. Entra\u00eene sur du texte confus, divaguant et tu obtiens un mod\u00e8le confus, divaguant.<\/p>\n La diversit\u00e9<\/strong> signifie que le dataset couvre l’espace de la connaissance et des t\u00e2ches qui t’importent. Un petit dataset de seulement articles scientifiques produit un mod\u00e8le qui \u00e9crit tout comme un article scientifique. Une repr\u00e9sentation \u00e9quilibr\u00e9e sur les domaines, styles et niveaux de difficult\u00e9 produit des mod\u00e8les plus polyvalents.<\/p>\n La d\u00e9duplications<\/strong> est peut-\u00eatre l’intervention de qualit\u00e9 la plus impactante. Les datasets du monde r\u00e9el contiennent d’\u00e9normes quantit\u00e9s de contenu quasi-dupliqu\u00e9. Supprimer les doublons peut r\u00e9duire la taille du dataset de 30-50% tout en am\u00e9liorant la qualit\u00e9 du mod\u00e8le. Le mod\u00e8le arr\u00eate de m\u00e9moriser le contenu r\u00e9p\u00e9t\u00e9 et apprend plut\u00f4t des motifs plus diversifi\u00e9s.<\/p>\n Pour les constructeurs travaillant avec des mod\u00e8les ouverts, cela signifie que la strat\u00e9gie de fine-tuning importe plus que la s\u00e9lection du mod\u00e8le de base. Un dataset de fine-tuning bien-cur\u00e9 de 1 000 exemples appliqu\u00e9 \u00e0 un mod\u00e8le 7B peut surpasser un mod\u00e8le 70B mal fine-tuned pour des t\u00e2ches sp\u00e9cifiques.<\/p>\n L’investissement se d\u00e9place du compute vers la curation. D\u00e9pense moins sur les heures GPU et plus \u00e0 construire, nettoyer et \u00e9valuer ton dataset. Embauche des experts de domaine pour examiner les exemples d’entra\u00eenement plut\u00f4t que d’acheter des clusters GPU plus grands.<\/p>\n C’est finalement une bonne nouvelle pour la d\u00e9mocratisation. Le compute est cher et contr\u00f4l\u00e9 par quelques grandes entreprises. La curation de donn\u00e9es est du travail de connaissance que n’importe qui peut faire. Le terrain se nivelle quand le facteur d\u00e9cisif est la r\u00e9flexion plut\u00f4t que le budget.<\/p>\n Rien de cela ne signifie que le scaling n’importe pas. Pour les capacit\u00e9s fronti\u00e8re \u2014 le raisonnement le plus difficile, la connaissance la plus large, la compr\u00e9hension la plus nuanc\u00e9e \u2014 les grands mod\u00e8les avec de grands datasets de haute qualit\u00e9 gagnent toujours. Le point n’est pas que petit bat grand. C’est que petit avec super donn\u00e9es bat grand avec mauvaises donn\u00e9es.<\/p>\n La strat\u00e9gie optimale est \u00e9vidente r\u00e9trospectivement : investis d’abord dans la qualit\u00e9 des donn\u00e9es, puis escalade. Un mod\u00e8le 7B sur donn\u00e9es parfaites surpasse un mod\u00e8le 70B sur donn\u00e9es m\u00e9diocres. Mais un mod\u00e8le 70B sur donn\u00e9es parfaites surpasse tout. La s\u00e9quence importe. Qualit\u00e9 d’abord, puis quantit\u00e9.<\/p>\nPourquoi la qualit\u00e9 bat la quantit\u00e9<\/h2>\n
La r\u00e9vision des lois de scaling<\/h2>\n
Ce que \u00ab bonnes donn\u00e9es \u00bb signifie vraiment<\/h2>\n
Les implications pratiques<\/h2>\n
Le r\u00f4le restant du scaling<\/h2>\n