DPO est puissant. Mais la plupart des datasets exp\u00e9di\u00e9s pour entra\u00eener les mod\u00e8les sont bruyants, biais\u00e9s et inconsistants. Cela ruine l’entra\u00eenement. Comprendre les modes de d\u00e9faillance est la premi\u00e8re \u00e9tape pour les corriger.<\/p>\n
Les annotateurs ne sont pas d’accord. Une personne marque la R\u00e9ponse A comme meilleure ; une autre marque B. Sans m\u00e9triques d’accord inter-annotateurs, tu entra\u00eenes sur la contradiction.<\/p>\n
Correction : Applique les seuils d’accord minimum. Signale les paires o\u00f9 les annotateurs ne sont pas d’accord. R\u00e9vise-les manuellement ou supprime-les. Un dataset plus petit et coh\u00e9rent bat un grand dataset incoh\u00e9rent.<\/p>\n
Les humains pr\u00e9f\u00e8rent la premi\u00e8re option affich\u00e9e. Ou la derni\u00e8re. Ou celle qui est plus longue. Ces biais s’\u00e9chappent dans les datasets DPO.<\/p>\n
Correction : Randomise l’ordre de pr\u00e9sentation. Ne dis pas aux annotateurs lequel est \u00ab Option A \u00bb. Montre les r\u00e9ponses sans m\u00e9tadonn\u00e9es. Audite ton dataset final pour le biais de position \u2014 trace la distribution de pr\u00e9f\u00e9rence \u00e0 travers les positions.<\/p>\n
Apr\u00e8s avoir \u00e9valu\u00e9 200 r\u00e9ponses, les annotateurs se fatiguent. La qualit\u00e9 chute. Ils commencent \u00e0 marquer les r\u00e9ponses \u00ab assez bonnes \u00bb sans v\u00e9ritable d\u00e9lib\u00e9ration.<\/p>\n
Correction : Limite les lots d’annotation. 50-100 paires par annotateur par session. Suivi l’accord au fil du temps. S’il se d\u00e9grade, mets en pause et fais tourner les annotateurs.<\/p>\n
\u00ab Cette r\u00e9ponse est-elle meilleure ? \u00bb est vague. Meilleur pour quoi ? Dans quel contexte ? L’annotateur et la personne qui a \u00e9crit le crit\u00e8re interpr\u00e8tent \u00ab bon \u00bb diff\u00e9remment.<\/p>\n
Correction : \u00c9cris les rubriques explicites. D\u00e9finis ce que \u00ab clair \u00bb signifie, ce que \u00ab complet \u00bb signifie, ce que \u00ab s\u00fbr \u00bb signifie. Donne des exemples. Ensuite mesure la coh\u00e9rence par rapport \u00e0 la rubrique.<\/p>\n
Tu entra\u00eenes sur des donn\u00e9es de pr\u00e9f\u00e9rence g\u00e9n\u00e9riques mais tu d\u00e9ploies dans un domaine sp\u00e9cialis\u00e9. Le mod\u00e8le n’a jamais vu d’exemples de ce que \u00ab bon \u00bb ressemble dans ton domaine.<\/p>\n
Correction : Utilise les requ\u00eates et r\u00e9ponses sp\u00e9cifiques au domaine. Recrute les annotateurs familiers avec le domaine. Leurs signaux de pr\u00e9f\u00e9rence seront ancr\u00e9s dans la r\u00e9alit\u00e9 du domaine.<\/p>\n
Ex\u00e9cute ces v\u00e9rifications avant l’entra\u00eenement :<\/p>\n
V\u00e9rification 1 : Accord inter-annotateurs. Mesure le kappa de Cohen ou le kappa de Fleiss \u00e0 travers les annotateurs. Cible 0,7+.<\/p>\n
V\u00e9rification 2 : Biais de position. Pour chaque position de r\u00e9ponse, compte combien de fois elle a \u00e9t\u00e9 marqu\u00e9e pr\u00e9f\u00e9r\u00e9e. Devrait \u00eatre uniforme.<\/p>\n
V\u00e9rification 3 : Distribution des \u00e9tiquettes. Combien de paires sont clairement claires vs borderline ? Les paires borderline sont des sources de bruit.<\/p>\n
V\u00e9rification 4 : Composition des annotateurs. Toutes les paires d’une seule personne ? Embauche plusieurs annotateurs ; leurs d\u00e9saccords sont o\u00f9 tu apprends.<\/p>\n
V\u00e9rification 5 : Couverture des requ\u00eates. Toutes les requ\u00eates d’un domaine ? Un genre ? Les vrais datasets sont diversifi\u00e9s.<\/p>\n
Donn\u00e9es mauvaises, mod\u00e8le mauvais. Mais la plupart des \u00e9quipes sautent l’assurance qualit\u00e9 parce que c’est peu glorieux. Les \u00e9quipes qui gagnent sont celles qui s’obs\u00e8dent sur la qualit\u00e9 du dataset avant l’entra\u00eenement.<\/p>\n