Il y a un probl\u00e8me que personne dans l’industrie IA n’aime parler publiquement. Nous manquons de donn\u00e9es d’entra\u00eenement. Pas hypoth\u00e9tiquement. Pas dans un futur lointain. Maintenant.<\/p>\n
Internet est grand, mais c’est pas infini. Et la portion d’internet qui est r\u00e9ellement utile pour entra\u00eener des mod\u00e8les de langage est plus petite que tu le penses. Beaucoup plus petite.<\/p>\n
L’internet publicly accessible contient environ 250 milliards de pages. Cela semble \u00eatre beaucoup. Mais enl\u00e8ve les doublons, le spam, l’ordure SEO, le contenu g\u00e9n\u00e9r\u00e9 par machine, et les pages avec moins d’un paragraphe de texte r\u00e9el, et tu descends \u00e0 peut-\u00eatre 10-15 milliards de pages de vraies donn\u00e9es d’entra\u00eenement utiles.<\/p>\n
Les mod\u00e8les frontier actuels ont d\u00e9j\u00e0 \u00e9t\u00e9 entra\u00een\u00e9s sur la plupart. Les labs majeurs ont crawl\u00e9, filtr\u00e9, et trait\u00e9 l’internet utile plusieurs fois. Chaque nouveau mod\u00e8le entra\u00eene sur marginalement plus de donn\u00e9es, mais la qualit\u00e9 marginale d\u00e9cline.<\/p>\n
C’est le mur de donn\u00e9es d’entra\u00eenement<\/strong>. Pas un mur que tu heurtes soudainement. Un mur que tu approaches asymptotiquement. Chaque pas en avant demande plus d’effort pour moins de gain.<\/p>\n Le vrai probl\u00e8me n’est pas la quantit\u00e9 totale de donn\u00e9es. C’est la quantit\u00e9 de donn\u00e9es haute qualit\u00e9. Un paper de recherche enseigne \u00e0 un mod\u00e8le plus que mille pages d’avis de produits. Un livre bien \u00e9crit vaut plus qu’un million de tweets.<\/p>\n Le texte haute qualit\u00e9 \u2014 le type qui enseigne aux mod\u00e8les \u00e0 raisonner, \u00e0 bien \u00e9crire, \u00e0 comprendre la nuance \u2014 est une ressource finie. Il n’y a que tant de livres, papers de recherche, documents techniques, et essays r\u00e9fl\u00e9chis en existence. Nous en avons d\u00e9j\u00e0 utilis\u00e9 la plupart.<\/p>\n Cela cr\u00e9e un paradoxe. Les donn\u00e9es qui importent le plus pour la qualit\u00e9 du mod\u00e8le sont les donn\u00e9es les plus rares. Tu ne peux pas manufacurer plus de Shakespeare. Tu ne peux pas g\u00e9n\u00e9rer plus de papers en physique peer-reviewed en crawlant plus dur.<\/p>\n \u00c7a empire. Alors que le contenu g\u00e9n\u00e9r\u00e9 par IA inonde internet, la r\u00e9serve de donn\u00e9es d’entra\u00eenement disponibles est contamin\u00e9e. Les mod\u00e8les entra\u00een\u00e9s sur du texte g\u00e9n\u00e9r\u00e9 par IA exhibent ce que les chercheurs appellent l’effondrement du mod\u00e8le<\/strong> \u2014 une d\u00e9gradation graduelle de la capacit\u00e9 sur les g\u00e9n\u00e9rations successives.<\/p>\n Pense \u00e0 cela comme faire une photocopie d’une photocopie. Chaque g\u00e9n\u00e9ration perd la fid\u00e9lit\u00e9. Le texte ressemble bien \u00e0 la surface mais manque de la profondeur, de la surprise, et de la complexit\u00e9 structurelle du texte g\u00e9n\u00e9r\u00e9 par humain.<\/p>\n Par certaines estimations, 15-20% du nouveau contenu internet est maintenant g\u00e9n\u00e9r\u00e9 par IA. Ce nombre grandit vite. Dans quelques ann\u00e9es, distinguer le texte \u00e9crit par humain du contenu g\u00e9n\u00e9r\u00e9 par IA sera un d\u00e9fi technique majeur. Et utiliser des donn\u00e9es contamin\u00e9es signifie entra\u00eener des mod\u00e8les qui sont de plus en plus d\u00e9riv\u00e9s des mod\u00e8les pr\u00e9c\u00e9dents.<\/p>\n Le paysage l\u00e9gal ajoute une autre dimension au mur de donn\u00e9es. Les majors publishers, les organisations de news, et les cr\u00e9ateurs de contenu affirment leurs droits sur les donn\u00e9es d’entra\u00eenement. Des proc\u00e8s se font leur chemin \u00e0 travers les cours du monde.<\/p>\n Regardless de comment ces cas se r\u00e9solvent, la direction est claire. Utiliser le contenu copyrighted pour l’entra\u00eenement deviendra plus cher, plus restreint, ou les deux. L’\u00e8re de traiter l’internet entier comme libre donn\u00e9es d’entra\u00eenement se termine.<\/p>\n Cela frappe le plus dur dans les domaines o\u00f9 les meilleures donn\u00e9es sont derri\u00e8re paywalls. Litt\u00e9rature m\u00e9dicale. Bases de donn\u00e9es l\u00e9gales. Journaux scientifiques. Analyse financi\u00e8re. Le texte haute qualit\u00e9 dans ces domaines est pr\u00e9cis\u00e9ment le texte qui est le plus prot\u00e9g\u00e9 l\u00e9galement.<\/p>\n L’industrie poursuit plusieurs strat\u00e9gies, aucune ne r\u00e9sout compl\u00e8tement le probl\u00e8me.<\/p>\n G\u00e9n\u00e9ration de donn\u00e9es synth\u00e9tiques<\/strong> \u2014 utiliser l’IA pour cr\u00e9er des donn\u00e9es d’entra\u00eenement pour l’IA. Cela fonctionne dans les domaines \u00e9troits mais court dans le probl\u00e8me d’effondrement du mod\u00e8le \u00e0 l’\u00e9chelle. Tu peux g\u00e9n\u00e9rer des probl\u00e8mes de math. Tu ne peux pas g\u00e9n\u00e9rer de vrai insight.<\/p>\n Licensing de donn\u00e9es<\/strong> \u2014 payer pour l’acc\u00e8s aux datasets haute qualit\u00e9. Cela devient une industrie majeure. Les propri\u00e9taires de contenu r\u00e9alisent que leur texte a de la valeur comme donn\u00e9es d’entra\u00eenement. Les prix augmentent vite.<\/p>\n Am\u00e9liorations d’efficacit\u00e9<\/strong> \u2014 obtenir plus de capacit\u00e9 avec moins de donn\u00e9es. C’est la direction la plus prometteuse. Les techniques comme curriculum learning, data pruning, et training pond\u00e9r\u00e9 par qualit\u00e9 peuvent extraire significativement plus de valeur des datasets existants.<\/p>\n Entra\u00eenement multimodal<\/strong> \u2014 utiliser images, video, et audio pour suppl\u00e9mente le texte. L’internet visuel est beaucoup plus large que l’internet textuel. Mais convertir la compr\u00e9hension visuelle en capacit\u00e9 langage est un probl\u00e8me technique difficile.<\/p>\n D’une perspective de recherche contemplative, le mur de donn\u00e9es est r\u00e9v\u00e9lateur. Il expose une assomption fondamentale en d\u00e9veloppement IA actuel : que l’intelligence vient du volume de donn\u00e9es. Plus de donn\u00e9es, plus d’intelligence. Cette assomption ne fut jamais questionn\u00e9e parce qu’elle continuait de marcher. Jusqu’\u00e0 ce qu’elle ne marche plus.<\/p>\n Les humains n’apprennent pas de cette fa\u00e7on. Un humain peut lire un seul livre et restructurer leur compr\u00e9hension enti\u00e8re d’un sujet. Un enfant apprend le langage de quelques milliers d’heures de conversation, pas de milliards de pages web. L’\u00e9cart d’efficacit\u00e9 entre l’apprentissage humain et l’entra\u00eenement de mod\u00e8le est \u00e9norme.<\/p>\n Cela sugg\u00e8re la limitation n’est pas les donn\u00e9es \u2014 c’est l’architecture<\/strong>. Les mod\u00e8les actuels sont gourmands en donn\u00e9es parce qu’ils apprennent par pattern-matching brute-force plut\u00f4t que par compr\u00e9hension structurelle. Un mod\u00e8le qui pourrait apprendre la fa\u00e7on dont les humains apprennent \u2014 extraire des principes de petites quantit\u00e9s de donn\u00e9es haute qualit\u00e9 \u2014 rendrait le mur de donn\u00e9es irr\u00e9levant.<\/p>\n Le mur de donn\u00e9es d’entra\u00eenement reshape l’industrie IA. Les entreprises qui ont accumoul\u00e9 les donn\u00e9es auront un avantage, mais temporaire. Les entreprises qui figureront comment faire plus avec moins de donn\u00e9es auront un avantage permanent.<\/p>\n Le mur signifie aussi que l’\u00e8re du simplement scaling up est fini. Les prochaines perc\u00e9es ne viendront pas de datasets plus grands ou de mod\u00e8les plus larges. Elles viendront de fondamentalement meilleures fa\u00e7ons d’apprendre des donn\u00e9es que nous avons d\u00e9j\u00e0.<\/p>\nQualit\u00e9 vs. Quantit\u00e9<\/h2>\n
Le Probl\u00e8me de Contamination<\/h2>\n
La Contrainte de Copyright<\/h2>\n
Strat\u00e9gies pour le Mur<\/h2>\n
L’Angle Contemplatif<\/h2>\n
Ce Que Cela Signifie<\/h2>\n