Il y a une pression pour construire de grands datasets. 100k paires. 500k paires. \u00ab Plus de donn\u00e9es c’est toujours mieux \u00bb, la pens\u00e9e va. C’est faux.<\/p>\n
La recherche de Laeka montre un motif coh\u00e9rent : 500 paires de haute qualit\u00e9 surpassent 50 000 paires bruyantes. La diff\u00e9rence n’est pas marginale. C’est 2-3x mieux sur la performance des t\u00e2ches en aval.<\/p>\n
Chaque paire bruyante introduit de la contradiction dans ton signal d’entra\u00eenement. Si la Paire 1 dit \u00ab le verbeux est mauvais \u00bb et la Paire 50000 (d’un annotateur diff\u00e9rent) dit \u00ab le verbeux est bon \u00bb, le mod\u00e8le apprend : peut-\u00eatre le verbeux est-il parfois bon ? La confiance du mod\u00e8le se d\u00e9grade. Il arr\u00eate d’apprendre les principes clairs.<\/p>\n
Avec 500 paires de haute qualit\u00e9, chaque paire renforce les m\u00eames principes. Le signal du mod\u00e8le est clair. Il apprend avec une confiance \u00e9lev\u00e9e. Cette confiance se transf\u00e8re aux requ\u00eates novatrices.<\/p>\n
La qualit\u00e9 est un signal. La quantit\u00e9 sans qualit\u00e9 est du bruit.<\/p>\n
Suppose :<\/p>\n
500 paires, 90% accord d’annotateurs = 450 paires de signal, 50 paires bruyantes.<\/p>\n
50 000 paires, 60% accord d’annotateurs = 30 000 paires de signal, 20 000 paires bruyantes.<\/p>\n
Les paires bruyantes ne s’annulent pas. Elles s’accumulent. Avec 20 000 signaux contradictoires, le mod\u00e8le apprend \u00e0 ignorer les signaux faibles et \u00e0 m\u00e9moriser les motifs de surface.<\/p>\n
Avec 50 signaux contradictoires, le mod\u00e8le peut se permettre d’apprendre \u00e0 travers eux. Ce sont du bruit dans le signal.<\/p>\n
500 paires de haute qualit\u00e9 :<\/p>\n
Collecte de requ\u00eates : 40 heures. G\u00e9n\u00e9ration de r\u00e9ponses : 10 heures. Annotation (avec contr\u00f4le de qualit\u00e9) : 200 heures. V\u00e9rifications de qualit\u00e9 : 20 heures. Total : 270 heures. Co\u00fbt : 8 000-12 000 $ (selon les tarifs d’annotation).<\/p>\n
50 000 paires bruyantes (crowdsourc\u00e9es) :<\/p>\n
Tout est mis \u00e0 l’\u00e9chelle 100x. Collecte de requ\u00eates : 4 000 heures. G\u00e9n\u00e9ration de r\u00e9ponses : 1 000 heures. Annotation : 20 000 heures. V\u00e9rifications de qualit\u00e9 : 2 000 heures. Total : 27 000 heures. Co\u00fbt : 200 000-300 000 $.<\/p>\n
Le petit dataset est 25x moins cher et produit de meilleurs r\u00e9sultats. Ce n’est pas un compromise. C’est un gain-gain.<\/p>\n
Recrute des experts du domaine. Paie-les bien. Limite les lots d’annotation (50-100 paires par session). Utilise des rubriques explicites. Mesure l’accord inter-annotateurs. Supprime les annotateurs hors-normes. It\u00e8re.<\/p>\n
C’est plus lent. C’est plus cher par paire. Mais tu finis avec quelque chose qui entra\u00eene r\u00e9ellement de bons mod\u00e8les.<\/p>\n
Apr\u00e8s avoir atteint 500 paires de haute qualit\u00e9 et vu un signal fort, ensuite mets \u00e0 l’\u00e9chelle. Ajoute plus de paires tout en maintenant les normes de qualit\u00e9. Mais ne sacrifie pas la qualit\u00e9 pour le volume.<\/p>\n
La loi d’\u00e9chelle n’est pas lin\u00e9aire. Ta 501e paire contribue moins que ta 1\u00e8re paire (rendements d\u00e9croissants). Tu dois \u00eatre au moins aussi rigoureux.<\/p>\n
Les \u00e9quipes aiment les grands chiffres. \u00ab Nous avons construit un dataset de 100k-paires ! \u00bb Semble impressionnant. Ne signifie rien si 60% c’est de la poubelle.<\/p>\n
Les \u00e9quipes qui gagnent sur la qualit\u00e9 du mod\u00e8le construisent de petits datasets de haute qualit\u00e9. Elles ne se vantent pas de la taille. Elles sont obs\u00e9d\u00e9es par le signal.<\/p>\n