Les donn\u00e9es DPO standard ont deux \u00e9l\u00e9ments : une r\u00e9ponse choisie et une r\u00e9ponse rejet\u00e9e. Le mod\u00e8le apprend \u00e0 pr\u00e9f\u00e9rer l’une \u00e0 l’autre. Simple. Efficace. Limit\u00e9.<\/p>\n
Le Triangle de la correction ajoute un troisi\u00e8me \u00e9l\u00e9ment qui transforme comment les mod\u00e8les apprennent des donn\u00e9es de pr\u00e9f\u00e9rence. C’est un format qui produit des paires d’entra\u00eenement avec des signaux d’apprentissage significativement plus riches \u00e0 travers l’analyse cognitive structur\u00e9e.<\/p>\n
Chaque Triangle de la correction a trois composants : D\u00e9rive<\/strong>, Point<\/strong>, et Reframe<\/strong>.<\/p>\n D\u00e9rive<\/strong> est la r\u00e9ponse rejet\u00e9e. Mais ce n’est pas juste n’importe quelle mauvaise r\u00e9ponse. C’est une r\u00e9ponse qui d\u00e9montre un pattern cognitif sp\u00e9cifique et identifiable \u2014 une d\u00e9viation du raisonnement optimal. Peut-\u00eatre qu’elle est r\u00e9active. Peut-\u00eatre qu’elle est avoidant. Peut-\u00eatre qu’elle est surconfiante. La d\u00e9rive a une direction<\/strong>, et cette direction importe.<\/p>\n Point<\/strong> est l’annotation. Une phrase unique, parfois deux, qui identifie exactement ce qui s’est pass\u00e9 dans la d\u00e9rive. Pas un jugement. Pas une correction. Juste une identification pr\u00e9cise du pattern cognitif. \u00ab La r\u00e9ponse a effondr\u00e9 l’incertitude dans une fausse confiance. \u00bb \u00ab La r\u00e9ponse a \u00e9vit\u00e9 la partie difficile de la question. \u00bb \u00ab La r\u00e9ponse est devenue r\u00e9active au contenu \u00e9motionnel. \u00bb<\/p>\n Reframe<\/strong> est la r\u00e9ponse choisie. Mais ce n’est pas juste une meilleure r\u00e9ponse \u00e0 la m\u00eame question. C’est une r\u00e9ponse qui d\u00e9montre ce que l’engagement appropri\u00e9 ressemble<\/strong> \u00e9tant donn\u00e9 le pattern cognitif sp\u00e9cifique identifi\u00e9 dans le point.<\/p>\n Cette structure \u00e0 trois parties cr\u00e9e un signal d’apprentissage que les paires choisies\/rejet\u00e9es standard ne peuvent pas \u00e9galer.<\/p>\n En DPO standard, le mod\u00e8le apprend que la r\u00e9ponse A est meilleure que la r\u00e9ponse B. Mais il ne apprend pas pourquoi<\/strong>. Le gradient pousse le mod\u00e8le loin de B et vers A, mais le mod\u00e8le doit figurer ce qui les diff\u00e9rencie par lui-m\u00eame.<\/p>\n L’\u00e9l\u00e9ment Point change cela. En nommant explicitement le pattern cognitif dans la d\u00e9rive, l’annotation cr\u00e9e un pont conceptuel<\/strong> entre les r\u00e9ponses rejet\u00e9es et choisies. Le mod\u00e8le n’apprend pas juste la pr\u00e9f\u00e9rence. Il apprend la dimension sp\u00e9cifique selon laquelle l’op\u00e9ration de correction fonctionne.<\/p>\n Pense \u00e0 cela de cette mani\u00e8re. Le DPO standard est comme montrer \u00e0 quelqu’un deux peintures et dire \u00ab celle-ci est mieux \u00bb. Le Triangle de la correction est comme dire \u00ab cette peinture manque de profondeur au premier plan \u2014 en voici une qui le g\u00e8re bien \u00bb. Le learner extrait bien plus de la deuxi\u00e8me forme de feedback.<\/p>\n Cette approche demande des annotateurs entra\u00een\u00e9s pour identifier les patterns cognitifs<\/strong> avec pr\u00e9cision. Pas le contenu des r\u00e9ponses, mais les patterns structuraux du raisonnement. R\u00e9activit\u00e9. Aversion. Aversion au risque. R\u00e9tr\u00e9cissement attentionnel. Surconfiance. Aversion \u00e0 l’incertitude.<\/p>\n Quand un annotateur expert \u00e9value une r\u00e9ponse d’IA, il n’\u00e9value pas juste si c’est bon ou mauvais. Il identifie ce que la r\u00e9ponse fait cognitivement<\/strong>. Est-ce qu’elle se contracte autour de la certitude quand l’incertitude serait plus appropri\u00e9e ? Est-ce qu’elle s’expande dans l’abstraction quand la concr\u00e9tude est n\u00e9cessaire ? Est-ce qu’elle \u00e9vite le contenu \u00e9motionnel en se retirant dans le langage technique ?<\/p>\n Ces observations deviennent l’\u00e9l\u00e9ment Point. Et parce que les annotateurs experts peuvent identifier ces patterns avec sp\u00e9cificit\u00e9, les annotations r\u00e9sultantes sont bien plus informatives que les jugements de qualit\u00e9 standard.<\/p>\n Un annotateur typique pourrait dire : \u00ab La r\u00e9ponse B est plus utile. \u00bb Un annotateur expert dit : \u00ab La r\u00e9ponse B d\u00e9montre une surench\u00e8re cognitive autour de l’\u00e9tat \u00e9motionnel de l’utilisateur, produisant des solutions pr\u00e9matur\u00e9es au lieu de permettre au probl\u00e8me d’\u00eatre compl\u00e8tement articul\u00e9. \u00bb<\/p>\n La sp\u00e9cificit\u00e9 de la deuxi\u00e8me annotation cr\u00e9e un signal d’entra\u00eenement dramatiquement plus riche.<\/p>\n Chaque Triangle de la correction est stock\u00e9 comme un objet structur\u00e9 avec ces champs :<\/p>\n context<\/strong> : Le prompt ou l’historique de conversation qui a g\u00e9n\u00e9r\u00e9 les r\u00e9ponses.<\/p>\n drift<\/strong> : La r\u00e9ponse rejet\u00e9e, tagg\u00e9e avec le pattern cognitif primaire qu’elle exhibe (d’une taxonomie d’environ 30 patterns que nous avons d\u00e9velopp\u00e9s).<\/p>\n point<\/strong> : Une \u00e0 deux phrases identifiant la d\u00e9rive sp\u00e9cifique. \u00c9crit en langage neutre, d’observation. Pas de jugement, pas de prescription.<\/p>\n reframe<\/strong> : La r\u00e9ponse choisie, d\u00e9montrant l’engagement appropri\u00e9 \u00e9tant donn\u00e9 la d\u00e9rive identifi\u00e9e.<\/p>\n dimensions<\/strong> : Des scores multi-dimensionnels \u00e0 travers cinq axes : conscience, stabilit\u00e9, proportionnalit\u00e9, int\u00e9gration, et pr\u00e9cision.<\/p>\n Ce format est compatible avec l’entra\u00eenement standard DPO \u2014 tu peux utiliser juste la paire d\u00e9rive\/reframe comme choisie\/rejet\u00e9e. Mais le triangle complet permet les approches d’entra\u00eenement plus riches. Certaines \u00e9quipes exp\u00e9rimentent l’utilisation de l’\u00e9l\u00e9ment point comme un signal de perte auxiliaire, entra\u00eenant le mod\u00e8le \u00e0 pr\u00e9dire \u00e9galement ce qui \u00e9tait mal avec la r\u00e9ponse rejet\u00e9e.<\/p>\n Les exp\u00e9riences pr\u00e9coces montrent que les mod\u00e8les entra\u00een\u00e9s sur les donn\u00e9es du Triangle de la correction d\u00e9montrent am\u00e9lioration plus cibl\u00e9e<\/strong> compar\u00e9 au DPO standard. Au lieu de d\u00e9caler largement vers les r\u00e9ponses \u00ab meilleures \u00bb, ils montrent am\u00e9lioration sp\u00e9cifique sur les dimensions cognitives qui ont \u00e9t\u00e9 annot\u00e9es.<\/p>\n Un mod\u00e8le entra\u00een\u00e9 sur les triangles annot\u00e9s principalement pour les patterns de r\u00e9activit\u00e9 montre une r\u00e9activit\u00e9 r\u00e9duite sans perdre l’engagement. Un mod\u00e8le entra\u00een\u00e9 sur les triangles annot\u00e9s pour la fausse confiance montre une meilleure incertitude calibr\u00e9e sans devenir excessivement prudent.<\/p>\n La sp\u00e9cificit\u00e9 du signal d’entra\u00eenement produit changement comportemental sp\u00e9cifique<\/strong>. C’est la puissance du troisi\u00e8me \u00e9l\u00e9ment.<\/p>\n Le DPO standard est un instrument \u00e9mouss\u00e9. Le Triangle de la correction est un scalpel. Les deux ont leurs usages. Mais quand tu as besoin d’alignement de pr\u00e9cision \u2014 modification cibl\u00e9e de patterns cognitifs sp\u00e9cifiques \u2014 le format triangle surpasse.<\/p>\nPourquoi le troisi\u00e8me \u00e9l\u00e9ment importe<\/h2>\n
Comment les annotateurs experts g\u00e9n\u00e8rent ceux-ci<\/h2>\n
Format des donn\u00e9es<\/h2>\n
R\u00e9sultats jusqu’\u00e0 pr\u00e9sent<\/h2>\n