L’humain dans RLHF est le maillon le plus faible. Remplace-le par la structure.

RLHF fonctionne parce que les humains fournissent des jugements. Mais les humains sont la partie la plus faible du pipeline. Ils sont fatigués, biaisés, inconsistants et chers. Pouvons-nous remplacer le jugement humain par la structure ?

Pas entièrement. Mais nous pouvons réduire notre dépendance envers lui.

Où les humains échouent dans RLHF

Incohérence : La même réponse est marquée « bonne » un jour et « médiocre » le lendemain, selon l’humeur et le contexte de l’annotateur.

Biais : Les humains préfèrent les réponses qui semblent confiantes, qui les flattent, qui correspondent à leurs croyances antérieures. L’exactitude compte moins que le ton.

Fatigue : Après 100 jugements, la qualité se dégrade. Les annotateurs arrêtent de délibérer et commencent à reconnaître les motifs.

Coût : Payer les humains pour juger les réponses ne s’échelonne pas bien. Un dataset de 100k paires nécessite des milliers d’heures d’annotation humaine.

L’alternative structurelle

Au lieu de demander aux humains de juger directement, définis ce qui ressemble à bien structurellement. Construis des rubriques. Décompose l’évaluation en composants. Utilise les contrôles automatisés aux côtés du jugement humain.

Exemple : Au lieu de « cette réponse de service client est-elle bonne ? », demande : Cette réponse répond-elle à la question du client ? Reconnaît-elle sa frustration ? Est-elle grammaticalement correcte ? Est-elle conforme à la limite de longueur ? Y a-t-il une prochaine étape claire ?

Maintenant l’évaluation est 80% structurelle (contrôles automatisés) et 20% jugement humain sur les appels plus difficiles.

Implémentation pratique

Étape 1 : Décompose la qualité. Qu’est-ce qui rend une réponse bonne dans ton domaine ? Liste 5-10 dimensions.

Étape 2 : Automatise ce que tu peux. Utilise regex, la recherche sémantique, ou les classificateurs simples pour vérifier chaque dimension. Cela filtre les défaillances évidentes.

Étape 3 : Demande aux humains seulement les cas difficiles. Ils évaluent seulement les réponses qui passent les vérifications automatisées mais qui sont encore ambiguës.

Étape 4 : Assure la cohérence. Tous les humains utilisent la même rubrique, les mêmes exemples, le même contexte. Mesure l’accord ; supprime les annotateurs inconsistants.

Pourquoi cela réduit le bruit

L’évaluation structurelle est déterministe. La même réponse obtient le même score à chaque fois. Les humains fournissent toujours un jugement pour les cas limites, mais leur jugement est ancré dans les critères définis, pas l’intuition.

Cela réduit la variance de ton signal d’entraînement. Les modèles convergent plus vite. Les résultats sont plus stables.

Le compromis

Tu ne peux pas automatiser la beauté ou la brillance subjectives. L’évaluation structurelle fonctionne mieux pour les tâches spécifiques au domaine avec des critères de succès clairs : support client, rédaction technique, révision de code.

Pour les tâches créatives ouvertes, tu as besoin de plus de jugement humain. Mais même là, la structure aide. Définis ce que « créatif » signifie pour toi avant de demander aux humains de le juger.

Laeka Research — laeka.org