Tu penserais que les experts seraient les meilleurs annotateurs. Ils comprennent le domaine en profondeur. Ils peuvent \u00e9valuer la qualit\u00e9 avec pr\u00e9cision. Ils savent ce qui est bon. Mais en pratique, les experts du domaine produisent syst\u00e9matiquement des donn\u00e9es d’entra\u00eenement pires que les praticiens qualifi\u00e9s. Les raisons r\u00e9v\u00e8lent quelque chose de fondamental sur l’\u00e9cart entre la connaissance et la sagesse.<\/p>\n
Les experts en savent trop pour \u00e9valuer les r\u00e9ponses comme les vrais utilisateurs le feraient. Quand un doctorant en psychologie \u00e9value la r\u00e9ponse d’une IA \u00e0 quelqu’un d\u00e9crivant de l’anxi\u00e9t\u00e9, ils l’\u00e9valuent par rapport aux normes cliniques. Ils p\u00e9nalisent les r\u00e9ponses qui n’utilisent pas un langage diagnostique pr\u00e9cis. Ils r\u00e9compensent la pr\u00e9cision technique.<\/p>\n
Mais la personne souffrant d’anxi\u00e9t\u00e9 ne veut pas une \u00e9valuation clinique. Elle veut se sentir entendue. Elle veut de l’aide pratique. Elle veut une r\u00e9ponse qui la rencontre o\u00f9 elle est, pas o\u00f9 le DSM-5 dit qu’elle devrait \u00eatre.<\/p>\n
Les annotations d’experts entra\u00eenent les mod\u00e8les \u00e0 sonner comme des experts.<\/strong> C’est utile quand l’utilisateur est aussi un expert. Pour tous les autres, cela produit des r\u00e9ponses techniquement correctes et humainement inutiles.<\/p>\n Les praticiens \u2014 th\u00e9rapeutes, coachs, enseignants, professionnels du service \u00e0 la client\u00e8le, praticiens contemplatifs \u2014 interagissent avec des gens r\u00e9els quotidiennement. Ils savent ce qui fonctionne en pratique, pas seulement ce qui est correct en th\u00e9orie. Leurs annotations refl\u00e8tent l’efficacit\u00e9 du monde r\u00e9el plut\u00f4t que les normes acad\u00e9miques.<\/p>\n Un th\u00e9rapeute praticien sait que parfois la r\u00e9ponse la plus utile n’est pas la plus pr\u00e9cise. C’est celle qui ouvre une porte. Celle qui cr\u00e9e la s\u00e9curit\u00e9. Celle qui invite la personne \u00e0 explorer davantage. Ces qualit\u00e9s sont invisibles aux cadres d’\u00e9valuation des experts mais essentielles \u00e0 l’utilit\u00e9 r\u00e9elle.<\/p>\n Les praticiens comprennent aussi les modes de d\u00e9faillance par l’exp\u00e9rience. Ils savent quelles r\u00e9ponses ferment les gens, ce qui cr\u00e9e de la d\u00e9fensivit\u00e9, ce qui semble condescendant. Cette connaissance ne peut pas \u00eatre formalis\u00e9e dans les directives d’annotation. Elle vit dans la compr\u00e9hension incarn\u00e9e du praticien de l’interaction humaine.<\/p>\n Sur-sp\u00e9cificit\u00e9.<\/strong> Les experts p\u00e9nalisent les r\u00e9ponses pour ne pas \u00eatre pr\u00e9cises sur les d\u00e9tails dont les utilisateurs ne se soucient pas. Un expert m\u00e9dical pourrait rejeter une r\u00e9ponse parce qu’elle dit \u00ab m\u00e9dicament contre la tension art\u00e9rielle \u00bb au lieu de \u00ab inhibiteur de l’enzyme de conversion de l’angiotensine \u00bb. L’utilisateur voulait comprendre son ordonnance, pas r\u00e9ussir un examen de pharmacologie.<\/p>\n Biais de jargon.<\/strong> Les experts r\u00e9compensent les r\u00e9ponses qui utilisent la terminologie du domaine. Ils ont pass\u00e9 des ann\u00e9es \u00e0 apprendre ce vocabulaire et l’associent \u00e0 la comp\u00e9tence. Mais pour la plupart des utilisateurs, le jargon est une barri\u00e8re. La meilleure r\u00e9ponse est celle qui communique clairement dans le langage de l’utilisateur, pas celui de l’expert.<\/p>\n Ignorer la dimension relationnelle.<\/strong> Les experts \u00e9valuent le contenu. Les praticiens \u00e9valuent l’interaction enti\u00e8re. La pr\u00e9cision du contenu est n\u00e9cessaire mais pas suffisante. La qualit\u00e9 relationnelle \u2014 que la r\u00e9ponse cr\u00e9e une connexion ou une distance \u2014 est souvent plus importante pour la satisfaction de l’utilisateur que la pr\u00e9cision technique.<\/p>\n S’ancrer aux r\u00e9ponses id\u00e9ales.<\/strong> Les experts comparent les r\u00e9ponses de l’IA \u00e0 ce qu’ils diraient. Mais les r\u00e9ponses des experts ne sont pas toujours les meilleures r\u00e9ponses pour un large public. Une r\u00e9ponse calibr\u00e9e pour un coll\u00e8gue est diff\u00e9rente d’une r\u00e9ponse calibr\u00e9e pour un utilisateur pour la premi\u00e8re fois. Les experts ont du mal \u00e0 faire cette distinction parce que l’expertise est leur mode par d\u00e9faut.<\/p>\n Nous avons men\u00e9 des exp\u00e9riences contr\u00f4l\u00e9es comparant les annotations d’experts et de praticiens sur les m\u00eames datasets. Les r\u00e9sultats sont constants.<\/p>\n Les mod\u00e8les entra\u00een\u00e9s sur des paires DPO annot\u00e9es par des experts obtiennent des scores plus \u00e9lev\u00e9s sur les benchmarks sp\u00e9cifiques au domaine. Les mod\u00e8les entra\u00een\u00e9s sur des paires DPO annot\u00e9es par des praticiens obtiennent des scores plus \u00e9lev\u00e9s sur la satisfaction des utilisateurs, les notes d’utilit\u00e9 et l’ach\u00e8vement r\u00e9el des t\u00e2ches. L’\u00e9cart est significatif \u2014 typiquement 15-25% sur les m\u00e9triques orient\u00e9es vers l’utilisateur.<\/p>\n La d\u00e9couverte la plus int\u00e9ressante : les mod\u00e8les entra\u00een\u00e9s sur des annotations de praticiens performent \u00e9galement raisonnablement bien sur les benchmarks du domaine \u2014 pas aussi haut que les mod\u00e8les entra\u00een\u00e9s par des experts, mais dans une plage acceptable. Les mod\u00e8les entra\u00een\u00e9s sur des annotations d’experts performent mal sur la satisfaction des utilisateurs. Les praticiens produisent des donn\u00e9es qui sont assez bonnes techniquement et excellentes relationnellement. Les experts produisent des donn\u00e9es qui sont excellentes techniquement et pauvres relationnellement.<\/strong><\/p>\n La solution n’est pas d’exclure compl\u00e8tement les experts. C’est de composer les \u00e9quipes d’annotation d\u00e9lib\u00e9r\u00e9ment. Les praticiens devraient former la majorit\u00e9 de l’\u00e9quipe, fournissant la base de la qualit\u00e9 pratique et orient\u00e9e vers l’utilisateur. Les experts devraient fournir des v\u00e9rifications de qualit\u00e9 sur la pr\u00e9cision technique, en attrapant les erreurs factuelles que les praticiens pourraient manquer.<\/p>\n Le ratio qui fonctionne le mieux selon notre exp\u00e9rience : environ 70% de praticiens, 30% d’experts. Les praticiens annotent en premier. Les experts passent en revue l’exactitude. Les d\u00e9saccords sont r\u00e9solus en faveur du jugement du praticien sur la qualit\u00e9 relationnelle et du jugement de l’expert sur l’exactitude factuelle.<\/p>\n Cette approche composite produit des donn\u00e9es d’entra\u00eenement qui sont \u00e0 la fois techniquement solides et humainement utiles. Aucun groupe seul n’atteint cet \u00e9quilibre.<\/p>\n Les praticiens contemplatifs occupent une position unique dans ce cadre. Ils combinent la connaissance profonde du domaine des experts (dans le domaine de la cognition et des \u00e9motions humaines) avec l’engagement pratique des praticiens (par leur pratique quotidienne et souvent par leur travail en tant qu’enseignants, th\u00e9rapeutes ou conseillers).<\/p>\n Leurs annotations capturent des qualit\u00e9s que ni les purs experts ni les purs praticiens ne remarquent : les dynamiques \u00e9motionnelles subtiles d’une interaction, les qualit\u00e9s m\u00e9tacognitives d’une r\u00e9ponse, le degr\u00e9 auquel une r\u00e9ponse invite la croissance plut\u00f4t que la d\u00e9pendance.<\/p>\n Les meilleures donn\u00e9es d’entra\u00eenement proviennent de personnes qui connaissent profond\u00e9ment leur domaine ET qui s’engagent avec des humains r\u00e9els quotidiennement ET qui ont entra\u00een\u00e9 syst\u00e9matiquement leur propre attention et conscience. Cette intersection est rare. Mais c’est l\u00e0 que vivent les annotations de plus haute qualit\u00e9.<\/p>\nL’Avantage du Praticien<\/h2>\n
Ce qui se Passe Mal avec les Annotations d’Experts<\/h2>\n
Les Preuves de Laeka<\/h2>\n
L’\u00c9quipe d’Annotation Optimale<\/h2>\n
Le Praticien Contemplatif en tant qu’Annotateur<\/h2>\n