La qualit\u00e9 des donn\u00e9es d’entra\u00eenement de l’IA est le plus grand goulot d’\u00e9tranglement de la recherche en alignement. La plupart des ensembles de donn\u00e9es DPO et RLHF sont g\u00e9n\u00e9r\u00e9s par des travailleurs crowdsourc\u00e9s op\u00e9rant sous pression de temps, avec des directives vagues et un entra\u00eenement cognitif minimal. Les annotations sont bruyantes, biais\u00e9es, et superficielles. Et les personnes les mieux \u00e9quip\u00e9es pour g\u00e9n\u00e9rer des donn\u00e9es d’alignement de haute qualit\u00e9 sont celles entra\u00een\u00e9es \u00e0 l’expertise attentionnelle.<\/p>\n
La plupart des ensembles de donn\u00e9es DPO et RLHF sont g\u00e9n\u00e9r\u00e9s par des travailleurs crowdsourc\u00e9s. Ce sont des personnes pay\u00e9es pour juger si la R\u00e9ponse A est meilleure que la R\u00e9ponse B. Le salaire est bas. Les directives sont vagues. La charge cognitive est \u00e9lev\u00e9e. Et les r\u00e9sultats refl\u00e8tent tout cela.<\/p>\n
Les annotations des travailleurs crowdsourc\u00e9s sont bruyantes. Elles sont biais\u00e9es vers les signaux de qualit\u00e9 superficiels : longueur, confiance, formatage. Une r\u00e9ponse qui semble<\/strong> faisant autorit\u00e9 est pr\u00e9f\u00e9r\u00e9e \u00e0 celle qui est<\/strong> pr\u00e9cise. Une r\u00e9ponse qui est longue est pr\u00e9f\u00e9r\u00e9e \u00e0 celle qui est concise mais pr\u00e9cise.<\/p>\n Ce n’est pas la faute des travailleurs. On leur demande de faire des jugements de qualit\u00e9 subtils sans l’entra\u00eenement pour les faire. C’est comme demander \u00e0 des gens al\u00e9atoires de juger le vin \u2014 ils pr\u00e9f\u00e9reront syst\u00e9matiquement le sucr\u00e9 au complexe, parce que la douceur est facile \u00e0 d\u00e9tecter et la complexit\u00e9 n\u00e9cessite un palais entra\u00een\u00e9.<\/p>\n Les personnes ayant une expertise attentionnelle entra\u00een\u00e9e d\u00e9veloppent des capacit\u00e9s cognitives sp\u00e9cifiques qui am\u00e9liorent directement la qualit\u00e9 de l’annotation. Cet entra\u00eenement peut provenir de la pratique de m\u00e9ditation, mais la comp\u00e9tence pertinente est la discipline attentionnelle elle-m\u00eame.<\/p>\n Stabilit\u00e9 attentionnelle.<\/strong> Les personnes avec l’attention entra\u00een\u00e9e peuvent maintenir la concentration sur un passage de texte sans que l’attention ne d\u00e9rape. Cela semble trivial. Ce ne l’est pas. La plupart des erreurs d’annotation proviennent des d\u00e9faillances attentionnelles \u2014 skimmer plut\u00f4t que lire, sauter au jugement avant de traiter compl\u00e8tement la r\u00e9ponse.<\/p>\n \u00c9valuation non-r\u00e9active.<\/strong> Ceux entra\u00een\u00e9s \u00e0 la discipline attentionnelle apprennent \u00e0 observer sans r\u00e9agir imm\u00e9diatement. En termes d’annotation, cela signifie qu’ils peuvent \u00e9valuer une r\u00e9ponse sur ses m\u00e9rites r\u00e9els plut\u00f4t que d’\u00eatre influenc\u00e9s par des d\u00e9clencheurs \u00e9motionnels, un langage persuasif, ou une fluidit\u00e9 de surface.<\/p>\n D\u00e9tection de subtilit\u00e9.<\/strong> L’entra\u00eenement syst\u00e9matique en observation fine d\u00e9veloppe l’aptitude \u00e0 d\u00e9tecter les diff\u00e9rences subtiles. L’\u00e9cart entre une r\u00e9ponse qui est v\u00e9ritablement utile et celle qui semble simplement utile est subtil. Les observateurs entra\u00een\u00e9s attrapent ces diff\u00e9rences parce qu’ils ont d\u00e9velopp\u00e9 tout leur appareil cognitif pour les remarquer.<\/p>\n Biais r\u00e9duit.<\/strong> L’entra\u00eenement attentionnel r\u00e9duit syst\u00e9matiquement les biais cognitifs \u2014 biais de confirmation, ancrage, effet halo. Ces biais contaminent les donn\u00e9es d’annotation. Les observateurs entra\u00een\u00e9s produisent un signal plus propre.<\/p>\n Nous avons ex\u00e9cut\u00e9 une petite exp\u00e9rience. Nous avons donn\u00e9 le m\u00eame ensemble de 200 paires de r\u00e9ponses \u00e0 trois groupes : les travailleurs crowdsourc\u00e9s standard, les experts du domaine (chercheurs en IA), et les personnes avec une expertise attentionnelle entra\u00een\u00e9e sans background en IA.<\/p>\n Les travailleurs crowdsourc\u00e9s ont montr\u00e9 les motifs attendus : pr\u00e9f\u00e9rence pour les r\u00e9ponses plus longues, jugements inconsistants, bruit \u00e9lev\u00e9. Les chercheurs en IA \u00e9taient plus coh\u00e9rents mais montraient des biais forts envers le langage technique et le hedging. Ceux avec l’attention entra\u00een\u00e9e ont produit les annotations les plus coh\u00e9rentes avec le plus haut accord inter-rater, et leurs pr\u00e9f\u00e9rences s’alignaient le plus \u00e9troitement avec ce qu’un panel ind\u00e9pendant de chercheurs en alignement classaient comme \u00ab v\u00e9ritablement meilleur \u00bb.<\/p>\n Ils n’\u00e9taient pas meilleurs parce qu’ils en savaient plus sur l’IA. Ils \u00e9taient meilleurs parce qu’ils pouvaient r\u00e9ellement lire les r\u00e9ponses attentivement<\/strong> et faire des jugements de qualit\u00e9 non biais\u00e9s. La comp\u00e9tence n’est pas la connaissance du domaine. C’est la qualit\u00e9 attentionnelle.<\/p>\n Au-del\u00e0 de l’annotation de pr\u00e9f\u00e9rence standard, les personnes avec l’attention entra\u00een\u00e9e excellent \u00e0 g\u00e9n\u00e9rer ce que nous appelons des \u00ab triangles de correction \u00bb \u2014 un format de donn\u00e9es en trois parties consistant en un prompt, une r\u00e9ponse d\u00e9fectueuse, et une r\u00e9ponse corrig\u00e9e avec une annotation expliquant la nature de la correction.<\/p>\n Ce format n\u00e9cessite une capacit\u00e9 cognitive sp\u00e9cifique : l’aptitude \u00e0 voir ce qui ne va pas sans \u00eatre d\u00e9stabilis\u00e9 par ce qui va bien<\/strong>. Une r\u00e9ponse pourrait \u00eatre 90% excellente et 10% subtilement nuisible. La plupart des annotateurs manquent soit le 10%, soit sur-corrigent et classent la r\u00e9ponse enti\u00e8re comme mauvaise. Ceux avec l’attention entra\u00een\u00e9e identifient syst\u00e9matiquement le d\u00e9faut sp\u00e9cifique tout en reconnaissant la qualit\u00e9 globale.<\/p>\n Les annotations de correction sont \u00e9galement plus pr\u00e9cises. Au lieu de \u00ab La R\u00e9ponse A est meilleure \u00bb, les observateurs entra\u00een\u00e9s produisent des annotations comme \u00ab La R\u00e9ponse B introduit une fausse certitude au paragraphe 3 o\u00f9 la preuve est ambigu\u00eb \u00bb. Cette sp\u00e9cificit\u00e9 rend le signal d’entra\u00eenement beaucoup plus riche.<\/p>\n L’objection \u00e9vidente : les personnes avec l’attention entra\u00een\u00e9e sont rares et ch\u00e8res. Tu ne peux pas mettre \u00e0 l’\u00e9chelle l’annotation avec un petit pool d’observateurs disciplin\u00e9s.<\/p>\n Deux r\u00e9ponses. Premi\u00e8rement, tu n’as pas besoin de milliers d’annotateurs. La recherche en DPO montre syst\u00e9matiquement que 500 paires de haute qualit\u00e9 surpassent 50 000 paires bruyantes<\/strong>. Une petite \u00e9quipe d’annotateurs qualifi\u00e9s produisant des donn\u00e9es pr\u00e9cises et coh\u00e9rentes est plus pr\u00e9cieuse qu’une grande \u00e9quipe produisant du bruit.<\/p>\n Deuxi\u00e8mement, les comp\u00e9tences attentionnelles peuvent \u00eatre enseign\u00e9es. Un programme de formation cibl\u00e9 de 8 semaines en stabilit\u00e9 attentionnelle et observation non-r\u00e9active am\u00e9liore mesur\u00e9ment la qualit\u00e9 de l’annotation. Tu n’as pas besoin de d\u00e9cennies de pratique. Tu dois donner aux travailleurs crowdsourc\u00e9s un entra\u00eenement attentionnel basique.<\/p>\n Le co\u00fbt de l’entra\u00eenement attentionnel est trivial compar\u00e9 au co\u00fbt d’entra\u00eener un mod\u00e8le sur des donn\u00e9es garbage. Un mauvais ensemble de donn\u00e9es peut gaspiller des mois de compute. Un bon ensemble de donn\u00e9es peut transformer un mod\u00e8le.<\/p>\n Ce n’est pas seulement \u00e0 propos de meilleures annotations. C’est reconna\u00eetre que la qualit\u00e9 des syst\u00e8mes d’IA est born\u00e9e par la qualit\u00e9 de la cognition humaine qui les entra\u00eene<\/strong>. Les garbage entrantes, garbage sortantes s’appliquent au niveau cognitif, pas seulement au niveau des donn\u00e9es.<\/p>\n Si tes annotateurs sont distraits, biais\u00e9s, et r\u00e9actifs, tes donn\u00e9es d’entra\u00eenement seront distraites, biais\u00e9es, et r\u00e9actives. Si tes annotateurs sont attentifs, discernants, et \u00e9quilibr\u00e9s, tes donn\u00e9es d’entra\u00eenement porteront ces qualit\u00e9s dans le mod\u00e8le.<\/p>\nCe que l’attention entra\u00een\u00e9e apporte \u00e0 la table<\/h2>\n
L’\u00e9vidence<\/h2>\n
Le triangle de correction<\/h2>\n
Mise \u00e0 l’\u00e9chelle de l’approche<\/h2>\n
La vue d’ensemble<\/h2>\n