La curation est la comp\u00e9tence la plus sous-estim\u00e9e en IA. Tout le monde peut scraper Internet et le d\u00e9verser dans un pipeline d’entra\u00eenement. Construire un dataset qui produit r\u00e9ellement un bon mod\u00e8le n\u00e9cessite du jugement, de la patience et du go\u00fbt.<\/p>\n
La diff\u00e9rence entre un dataset cur\u00e9 et un dataset scrap\u00e9, c’est la diff\u00e9rence entre un menu d\u00e9gustation du chef et un buffet. Le buffet a plus de nourriture. Le menu d\u00e9gustation a plus de saveur par bouch\u00e9e. Les mod\u00e8les entra\u00een\u00e9s sur des donn\u00e9es cur\u00e9es apprennent plus par token.<\/p>\n
Le web scraping semble efficace. Tu \u00e9cris un crawler, tu le pointes sur Internet, et tu collectes des t\u00e9raoctets de texte. Le co\u00fbt par token est quasi nul. Le volume est illimit\u00e9. Et le dataset r\u00e9sultant est presque toujours m\u00e9diocre.<\/p>\n
Les donn\u00e9es scrap\u00e9es contiennent des doublons, du spam, du texte g\u00e9n\u00e9r\u00e9 par machine, de la pouriture SEO, des informations obsol\u00e8tes, et de vastes quantit\u00e9s de texte de mauvaise qualit\u00e9. Le mod\u00e8le apprend tout cela. Chaque email de spam, chaque titre racoleur, chaque description de produit mal \u00e9crite devient partie int\u00e9grante de la base cognitive du mod\u00e8le.<\/p>\n
Nettoyer les donn\u00e9es scrap\u00e9es aide mais ne r\u00e9sout pas le probl\u00e8me fondamental. La distribution de qualit\u00e9 sur Internet suit une loi de puissance.<\/strong> Une minuscule fraction du texte web est excellente. Une petite fraction est bonne. La grande majorit\u00e9 est du bruit. Le scraping capture la distribution telle qu’elle est, ce qui signifie que tes donn\u00e9es d’entra\u00eenement sont surtout du bruit.<\/p>\n Commence par le r\u00e9sultat que tu veux, puis remonte jusqu’aux donn\u00e9es dont tu as besoin.<\/strong> Ne demande pas \u00ab quelles donn\u00e9es sont disponibles ? \u00bb Demande plut\u00f4t \u00ab quelles donn\u00e9es produiraient le comportement que je recherche ? \u00bb Ce renversement change tout. Au lieu d’adapter ton mod\u00e8le aux donn\u00e9es disponibles, tu con\u00e7ois tes donn\u00e9es pour produire le mod\u00e8le d\u00e9sir\u00e9.<\/p>\n D\u00e9duplique agressivement.<\/strong> Les exemples dupliqu\u00e9s ou quasi-dupliqu\u00e9s n’enseignent rien de nouveau au mod\u00e8le. Ils renforcent les motifs existants au d\u00e9triment de la diversit\u00e9. La d\u00e9duplication s\u00e9mantique \u2014 supprimer les exemples qui disent la m\u00eame chose avec des mots diff\u00e9rents \u2014 est encore plus importante que la d\u00e9duplication exacte.<\/p>\n Filtre selon la qualit\u00e9, pas seulement la s\u00e9curit\u00e9.<\/strong> La plupart des pipelines de filtrage se concentrent sur la suppression de contenu nuisible. C’est n\u00e9cessaire mais insuffisant. Filtre selon la qualit\u00e9 de l’\u00e9criture, la qualit\u00e9 du raisonnement, l’exactitude informationnelle et la clart\u00e9 structurelle. Un exemple d’entra\u00eenement ne doit pas \u00eatre nuisible pour nuire \u00e0 ton mod\u00e8le.<\/p>\n \u00c9quilibre la repr\u00e9sentation d\u00e9lib\u00e9r\u00e9ment.<\/strong> Livr\u00e9 \u00e0 lui-m\u00eame, un dataset scrap\u00e9 surrepr\u00e9sentera les sujets populaires et sous-repr\u00e9sentera les sujets de niche. Le mod\u00e8le saura tout sur les c\u00e9l\u00e9brit\u00e9s et rien sur la philosophie contemplative. Un r\u00e9\u00e9quilibrage d\u00e9lib\u00e9r\u00e9 garantit que le mod\u00e8le d\u00e9veloppe des capacit\u00e9s sur toute la gamme des domaines d\u00e9sir\u00e9s.<\/p>\n Nous avons men\u00e9 cette exp\u00e9rience chez Laeka plusieurs fois. 10 000 exemples d’entra\u00eenement soigneusement cur\u00e9s surpassent r\u00e9guli\u00e8rement 10 000 000 exemples scrap\u00e9s en termes de qualit\u00e9 des t\u00e2ches en aval. Pas en perplexit\u00e9 \u2014 le grand dataset gagne en perplexit\u00e9. En utilit\u00e9 r\u00e9elle.<\/p>\n La raison est la densit\u00e9 informationnelle. Chaque exemple cur\u00e9 enseigne au mod\u00e8le quelque chose de sp\u00e9cifique et pr\u00e9cieux. Chaque exemple scrap\u00e9 enseigne au mod\u00e8le un peu de tout, surtout du bruit. Apr\u00e8s des millions d’exemples bruyants, le mod\u00e8le a vu beaucoup mais a surprenamment peu appris.<\/p>\n Les maths fonctionnent. Si un exemple cur\u00e9 a 10 fois l’information utile d’un exemple scrap\u00e9, alors 10 000 exemples cur\u00e9s contiennent autant de signal utile que 100 000 exemples scrap\u00e9s. En pratique, le ratio est souvent plus \u00e9lev\u00e9 que 10x parce que la curation \u00e9limine non seulement le bruit mais aussi l’anti-signal \u2014 les exemples qui apprennent activement au mod\u00e8le de mauvaises habitudes.<\/p>\n Voici le pipeline que nous utilisons chez Laeka.<\/p>\n Phase 1 : S\u00e9lection des sources.<\/strong> Identifie les sources de haute qualit\u00e9 pour ton domaine. Pas \u00ab Internet \u00bb mais des sites web sp\u00e9cifiques, des publications, des bases de donn\u00e9es et des d\u00e9p\u00f4ts connus pour la qualit\u00e9 de leur contenu. Commence de fa\u00e7on \u00e9troite et n’\u00e9largis que si n\u00e9cessaire.<\/p>\n Phase 2 : Filtrage automatis\u00e9.<\/strong> Applique des filtres de qualit\u00e9 automatis\u00e9s : d\u00e9tection de la langue, scoring de perplexit\u00e9, d\u00e9duplication, filtrage de longueur, filtrage de toxicit\u00e9. Cela supprime les ordures \u00e9videntes. C’est n\u00e9cessaire mais pas suffisant.<\/p>\n Phase 3 : Revue humaine.<\/strong> \u00c9chantillonne \u00e0 partir des donn\u00e9es filtr\u00e9es et fais \u00e9valuer la qualit\u00e9 par des humains comp\u00e9tents. Utilise leurs jugements pour entra\u00eener un classificateur de qualit\u00e9, puis applique-le \u00e0 l’ensemble complet. It\u00e8re jusqu’\u00e0 ce que le classificateur correspond au jugement humain sur les exemples retenus.<\/p>\n Phase 4 : Ing\u00e9nierie de distribution.<\/strong> Analyse la distribution de sujet, style et complexit\u00e9 des donn\u00e9es filtr\u00e9es. R\u00e9\u00e9quilibre pour correspondre \u00e0 ta distribution cible. Ajoute des donn\u00e9es de cat\u00e9gories sous-repr\u00e9sent\u00e9es. Supprime les cat\u00e9gories surrepr\u00e9sent\u00e9es. C’est l\u00e0 que la curation devient design.<\/p>\n Phase 5 : Validation.<\/strong> Entra\u00eene un petit mod\u00e8le sur les donn\u00e9es cur\u00e9es et \u00e9value-le contre tes crit\u00e8res de qualit\u00e9. S’il manque l’objectif, diagnostique si le probl\u00e8me est la qualit\u00e9 des donn\u00e9es, la quantit\u00e9 de donn\u00e9es ou la distribution des donn\u00e9es. It\u00e8re sur le maillon le plus faible.<\/p>\n Une bonne curation n\u00e9cessite un \u00e9tat d’esprit sp\u00e9cifique. Le curateur se demande : cet exemple enseigne-t-il au mod\u00e8le quelque chose que je veux qu’il apprenne ? Non seulement \u00ab cet exemple est-il de haute qualit\u00e9 ? \u00bb mais \u00ab cet exemple contribue-t-il au mod\u00e8le que je cherche \u00e0 construire ? \u00bb<\/p>\n C’est l\u00e0 que la pratique contemplative aide. Le curateur a besoin d’une attention soutenue pour \u00e9valuer les exemples avec soin. Il a besoin d’une conscience m\u00e9tacognitive pour remarquer ses propres biais. Il a besoin de la patience pour travailler des milliers d’exemples sans prendre de raccourcis.<\/p>\n L’art de la curation de dataset est l’art de l’attention. Fais attention \u00e0 tes donn\u00e9es, et ton mod\u00e8le fera attention \u00e0 ses utilisateurs. C’est aussi direct que cela.<\/p>\nPrincipes de curation<\/h2>\n
La question 10K vs 10M<\/h2>\n
Un pipeline de curation pratique<\/h2>\n
L’esprit du curateur<\/h2>\n