RLHF fonctionne parce que les humains fournissent des jugements. Mais les humains sont la partie la plus faible du pipeline. Ils sont fatigu\u00e9s, biais\u00e9s, inconsistants et chers. Pouvons-nous remplacer le jugement humain par la structure ?<\/p>\n
Pas enti\u00e8rement. Mais nous pouvons r\u00e9duire notre d\u00e9pendance envers lui.<\/p>\n
Incoh\u00e9rence : La m\u00eame r\u00e9ponse est marqu\u00e9e \u00ab bonne \u00bb un jour et \u00ab m\u00e9diocre \u00bb le lendemain, selon l’humeur et le contexte de l’annotateur.<\/p>\n
Biais : Les humains pr\u00e9f\u00e8rent les r\u00e9ponses qui semblent confiantes, qui les flattent, qui correspondent \u00e0 leurs croyances ant\u00e9rieures. L’exactitude compte moins que le ton.<\/p>\n
Fatigue : Apr\u00e8s 100 jugements, la qualit\u00e9 se d\u00e9grade. Les annotateurs arr\u00eatent de d\u00e9lib\u00e9rer et commencent \u00e0 reconna\u00eetre les motifs.<\/p>\n
Co\u00fbt : Payer les humains pour juger les r\u00e9ponses ne s’\u00e9chelonne pas bien. Un dataset de 100k paires n\u00e9cessite des milliers d’heures d’annotation humaine.<\/p>\n
Au lieu de demander aux humains de juger directement, d\u00e9finis ce qui ressemble \u00e0 bien structurellement. Construis des rubriques. D\u00e9compose l’\u00e9valuation en composants. Utilise les contr\u00f4les automatis\u00e9s aux c\u00f4t\u00e9s du jugement humain.<\/p>\n
Exemple : Au lieu de \u00ab cette r\u00e9ponse de service client est-elle bonne ? \u00bb, demande : Cette r\u00e9ponse r\u00e9pond-elle \u00e0 la question du client ? Reconna\u00eet-elle sa frustration ? Est-elle grammaticalement correcte ? Est-elle conforme \u00e0 la limite de longueur ? Y a-t-il une prochaine \u00e9tape claire ?<\/p>\n
Maintenant l’\u00e9valuation est 80% structurelle (contr\u00f4les automatis\u00e9s) et 20% jugement humain sur les appels plus difficiles.<\/p>\n
\u00c9tape 1 : D\u00e9compose la qualit\u00e9. Qu’est-ce qui rend une r\u00e9ponse bonne dans ton domaine ? Liste 5-10 dimensions.<\/p>\n
\u00c9tape 2 : Automatise ce que tu peux. Utilise regex, la recherche s\u00e9mantique, ou les classificateurs simples pour v\u00e9rifier chaque dimension. Cela filtre les d\u00e9faillances \u00e9videntes.<\/p>\n
\u00c9tape 3 : Demande aux humains seulement les cas difficiles. Ils \u00e9valuent seulement les r\u00e9ponses qui passent les v\u00e9rifications automatis\u00e9es mais qui sont encore ambigu\u00ebs.<\/p>\n
\u00c9tape 4 : Assure la coh\u00e9rence. Tous les humains utilisent la m\u00eame rubrique, les m\u00eames exemples, le m\u00eame contexte. Mesure l’accord ; supprime les annotateurs inconsistants.<\/p>\n
L’\u00e9valuation structurelle est d\u00e9terministe. La m\u00eame r\u00e9ponse obtient le m\u00eame score \u00e0 chaque fois. Les humains fournissent toujours un jugement pour les cas limites, mais leur jugement est ancr\u00e9 dans les crit\u00e8res d\u00e9finis, pas l’intuition.<\/p>\n
Cela r\u00e9duit la variance de ton signal d’entra\u00eenement. Les mod\u00e8les convergent plus vite. Les r\u00e9sultats sont plus stables.<\/p>\n
Tu ne peux pas automatiser la beaut\u00e9 ou la brillance subjectives. L’\u00e9valuation structurelle fonctionne mieux pour les t\u00e2ches sp\u00e9cifiques au domaine avec des crit\u00e8res de succ\u00e8s clairs : support client, r\u00e9daction technique, r\u00e9vision de code.<\/p>\n
Pour les t\u00e2ches cr\u00e9atives ouvertes, tu as besoin de plus de jugement humain. Mais m\u00eame l\u00e0, la structure aide. D\u00e9finis ce que \u00ab cr\u00e9atif \u00bb signifie pour toi avant de demander aux humains de le juger.<\/p>\n