MMLU est satur\u00e9. HumanEval est contamin\u00e9. La plupart des benchmarks populaires sont devenus des objectifs d’optimisation plut\u00f4t que des outils de mesure. Quand le benchmark devient l’objectif, il cesse de mesurer ce qu’il \u00e9tait con\u00e7u pour mesurer. C’est la Loi de Goodhart appliqu\u00e9e \u00e0 l’\u00e9valuation IA, et le domaine n’a pas reckoning avec cela.<\/p>\n
Saturation.<\/strong> Les mod\u00e8les principaux obtiennent des scores sup\u00e9rieurs \u00e0 90% sur MMLU, GSM8K et la plupart des benchmarks standards. Quand chaque mod\u00e8le obtient plus de 90%, le benchmark ne diff\u00e9rencie plus. La variance restante est du bruit, pas du signal. Nous comparons les mod\u00e8les sur leur capacit\u00e9 \u00e0 r\u00e9pondre \u00e0 des questions pi\u00e8ges plut\u00f4t que sur leur capacit\u00e9 g\u00e9n\u00e9rale.<\/p>\n Contamination.<\/strong> Les datasets de benchmarks fuient dans les donn\u00e9es d’entra\u00eenement. Parfois d\u00e9lib\u00e9r\u00e9ment, parfois par web scraping qui capture les discussions de benchmarks. Un mod\u00e8le qui a vu les questions de test pendant l’entra\u00eenement ne d\u00e9montre pas la capacit\u00e9 \u2014 il d\u00e9montre la m\u00e9moire. Et il n’y a pas de moyen fiable de d\u00e9tecter la contamination \u00e0 l’\u00e9chelle.<\/p>\n Truquage.<\/strong> Les organisations optimisent pour les benchmarks parce que les benchmarks conduisent l’adoption. Cela cr\u00e9e des incitations perverses. Un mod\u00e8le sp\u00e9cifiquement accord\u00e9 pour bien scorer sur MMLU peut performer plus mal sur des t\u00e2ches du monde r\u00e9el que MMLU \u00e9tait cens\u00e9 pr\u00e9dire. Le benchmark devient un village Potemkine de capacit\u00e9.<\/p>\n Dimensions manquantes.<\/strong> Les benchmarks actuels testent la connaissance, le raisonnement et la g\u00e9n\u00e9ration de code. Ils ne testent pas l’empathie, la nuance, la sensibilit\u00e9 contextuelle ou la capacit\u00e9 \u00e0 g\u00e9rer l’ambigu\u00eft\u00e9. Ces capacit\u00e9s \u00ab molles \u00bb sont souvent plus importantes pour l’utilit\u00e9 du monde r\u00e9el que les capacit\u00e9s \u00ab dures \u00bb que les benchmarks mesurent.<\/p>\n Les benchmarks \u00e9chouent parce qu’ils tentent de r\u00e9duire la capacit\u00e9 multidimensionnelle \u00e0 un seul nombre. L’utilit\u00e9 d’un mod\u00e8le d\u00e9pend de dizaines de facteurs qui interagissent de mani\u00e8re complexe. R\u00e9duire cela \u00e0 \u00ab obtient 92,3 sur MMLU \u00bb c’est comme \u00e9valuer un chef en mesurant la temp\u00e9rature de sa nourriture. Cela capture une dimension de la qualit\u00e9 et rate tout ce qui importe.<\/p>\n Le probl\u00e8me fondamental : nous mesurons ce qui est facile \u00e0 mesurer plut\u00f4t que ce qui importe<\/strong>. Les questions \u00e0 choix multiples sont faciles \u00e0 noter. La qualit\u00e9 ouverte est difficile \u00e0 noter. Donc nous utilisons des questions \u00e0 choix multiples et pr\u00e9tendons qu’elles mesurent la qualit\u00e9 ouverte. Ce n’est pas le cas.<\/p>\n \u00c9valuation multidimensionnelle.<\/strong> Ne r\u00e9duisez pas la qualit\u00e9 \u00e0 un seul score. \u00c9valuez les mod\u00e8les sur des dimensions ind\u00e9pendantes : exactitude factuelle, profondeur du raisonnement, empathie, clart\u00e9, sensibilit\u00e9 contextuelle, calibrage de l’incertitude. Rapportez chaque dimension s\u00e9par\u00e9ment. Un mod\u00e8le qui obtient 95 sur la pr\u00e9cision et 40 sur l’empathie est tr\u00e8s diff\u00e9rent d’un qui obtient 75 sur les deux, m\u00eame s’ils moyennent le m\u00eame.<\/p>\n Benchmarks dynamiques.<\/strong> Les benchmarks statiques se font contaminer et truquer. Les benchmarks dynamiques g\u00e9n\u00e8rent r\u00e9guli\u00e8rement de nouveaux \u00e9l\u00e9ments d’\u00e9valuation, rendant la m\u00e9morisation impossible. C’est plus difficile \u00e0 mettre en \u0153uvre mais n\u00e9cessaire pour une \u00e9valuation significative.<\/p>\n Ancrage au monde r\u00e9el.<\/strong> Les benchmarks devraient corr\u00e9ler avec la satisfaction r\u00e9elle des utilisateurs et l’ach\u00e8vement des t\u00e2ches dans les d\u00e9ploiements r\u00e9els. Si un score de benchmark ne pr\u00e9dit pas la performance du monde r\u00e9el, le benchmark mesure la mauvaise chose. L’analyse de corr\u00e9lation r\u00e9guli\u00e8re entre les scores de benchmarks et les m\u00e9triques de d\u00e9ploiement devrait \u00eatre une pratique standard.<\/p>\n Robustesse adversariale.<\/strong> Incluez des \u00e9l\u00e9ments d’\u00e9valuation sp\u00e9cifiquement con\u00e7us pour sonder les modes de d\u00e9faillance : questions ambigu\u00ebs, invites \u00e9motionnellement charg\u00e9es, questions qui exigent reconna\u00eetre l’incertitude, questions multi-perspectives qui r\u00e9sistent aux r\u00e9ponses simples. Un mod\u00e8le qui ne fonctionne bien que sur des questions claires n’est pas pr\u00eat pour les vrais utilisateurs.<\/p>\n \u00c9valuation du processus, pas seulement \u00e9valuation des r\u00e9sultats.<\/strong> Ne v\u00e9rifiez pas seulement si le mod\u00e8le a obtenu la bonne r\u00e9ponse. \u00c9valuez la qualit\u00e9 du processus de raisonnement. Un mod\u00e8le qui arrive \u00e0 la bonne r\u00e9ponse par un raisonnement d\u00e9fectueux est plus dangereux qu’un qui arrive \u00e0 une mauvaise r\u00e9ponse par un raisonnement solide, parce que le premier \u00e9chouera de mani\u00e8re impr\u00e9visible.<\/p>\n Benchmark d’empathie.<\/strong> Le mod\u00e8le peut-il identifier avec pr\u00e9cision l’\u00e9tat \u00e9motionnel derri\u00e8re un message et r\u00e9pondre d’une mani\u00e8re qui d\u00e9montre une v\u00e9ritable compr\u00e9hension ? Pas en disant \u00ab je comprends ce que tu ressens \u00bb mais en r\u00e9pondant d’une mani\u00e8re qui montre qu’il a r\u00e9ellement compris.<\/p>\n Benchmark de nuance.<\/strong> Le mod\u00e8le peut-il g\u00e9rer des questions qui ont plusieurs r\u00e9ponses valides selon le contexte ? Peut-il pr\u00e9senter plusieurs perspectives sans les \u00e9quilibrer faussement ? Peut-il reconna\u00eetre quand une question est v\u00e9ritablement difficile plut\u00f4t que de d\u00e9faut \u00e0 une r\u00e9ponse confiante ?<\/p>\n Benchmark de calibrage de l’incertitude.<\/strong> Quand le mod\u00e8le dit \u00ab je ne suis pas s\u00fbr \u00bb, est-il r\u00e9ellement incertain ? Quand il exprime la confiance, la confiance est-elle justifi\u00e9e ? Le calibrage est l’une des capacit\u00e9s les plus pratiquement importantes et l’une des moins mesur\u00e9es.<\/p>\n Benchmark de maintien de perspective.<\/strong> Le mod\u00e8le peut-il repr\u00e9senter et maintenir plusieurs perspectives sur une question complexe simultan\u00e9ment ? Peut-il identifier les tensions entre perspectives sans les r\u00e9soudre pr\u00e9matur\u00e9ment ? Peut-il basculer entre perspectives fluidement ?<\/p>\n Benchmark anti-simaresque.<\/strong> Le mod\u00e8le maintient-il sa position quand l’utilisateur repousse avec une pression sociale plut\u00f4t que des preuves ? Accepte-t-il des affirmations clairement fausses quand l’utilisateur insiste ? C’est directement mesurable et critiquement important.<\/p>\n Chez Laeka, nous d\u00e9veloppons des cadres d’\u00e9valuation qui abordent ces lacunes. Le travail est pr\u00e9coce et le domaine a besoin de plus de participants. Le d\u00e9veloppement de benchmarks n’est pas aussi glamour que le d\u00e9veloppement de mod\u00e8les, mais c’est probablement plus important. Vous ne pouvez pas construire ce que vous ne pouvez pas mesurer. Et en ce moment, nous mesurons les mauvaises choses.<\/p>\n R\u00e9parez les benchmarks. Les mod\u00e8les suivront.<\/p>\nLe Probl\u00e8me de Mesure<\/h2>\n
Principes pour de Meilleurs Benchmarks<\/h2>\n
Benchmarks Dont Nous Avons Besoin Mais Que Nous N’Avons Pas<\/h2>\n
Construire Cela<\/h2>\n