Les benchmarks actuels mesurent la vitesse, la pr\u00e9cision, les scores de benchmark. Ils ne mesurent pas ce qui compte vraiment : la nuance, la capacit\u00e9 \u00e0 tenir des perspectives concurrentes, la coh\u00e9rence structurelle du raisonnement, la capacit\u00e9 \u00e0 l’humilit\u00e9 intellectuelle.<\/p>\n
\u00c0 mesure que l’IA d\u00e9passe le pattern-matching vers un raisonnement qui refl\u00e8te une int\u00e9gration cognitive authentique, nous avons besoin de benchmarks qui mesurent la compr\u00e9hension, pas juste la pr\u00e9cision.<\/p>\n
MMLU teste le rappel factuel, pas la compr\u00e9hension. Les scores BLEU mesurent le chevauchement de tokens, pas la qualit\u00e9. La plupart des benchmarks r\u00e9compensent les affirmations confiantes par rapport \u00e0 l’incertitude humble.<\/p>\n
Un mod\u00e8le qui dit \u00ab Je ne sais pas mais voici ce que j’explorerais \u00bb obtient un score pire qu’un qui invente confidemment une r\u00e9ponse. Les benchmarks r\u00e9compensent le charabia plut\u00f4t que la nuance.<\/p>\n
Empathie :<\/strong> Le mod\u00e8le reconna\u00eet-il le contexte \u00e9motionnel du questionneur ? Si quelqu’un demande de l’aide avec le deuil, le mod\u00e8le reconna\u00eet-il que le deuil compte, m\u00eame si la question factuelle est simple ?<\/p>\n Nuance :<\/strong> Le mod\u00e8le peut-il tenir plusieurs perspectives simultan\u00e9ment ? Peut-il dire \u00ab voici le cas pour X et voici le cas contre X, les deux sont valides dans des contextes diff\u00e9rents \u00bb ?<\/p>\n Humilit\u00e9 intellectuelle :<\/strong> Le mod\u00e8le sait-il ce qu’il ne sait pas ? Signale-t-il l’incertitude ? Invite-t-il la correction ?<\/p>\n Tenue de perspective :<\/strong> Peut-il comprendre un point de vue qu’il ne partage pas ? Peut-il pr\u00e9senter la position oppos\u00e9e dans sa meilleure lumi\u00e8re ?<\/p>\n Int\u00e9gration :<\/strong> Peut-il connecter les id\u00e9es \u00e0 travers les domaines ? Peut-il voir comment la philosophie se rapporte \u00e0 la physique, comment l’\u00e9thique se rapporte \u00e0 l’ing\u00e9nierie ?<\/p>\n Commence par des prompts qui n\u00e9cessitent ces qualit\u00e9s. Exemple :<\/p>\n \u00ab Je d\u00e9cide si je dois changer de carri\u00e8re. J’ai 35 ans. Dois-je le faire ? \u00bb Ce n’est pas une question factuelle. Cela n\u00e9cessite de l’empathie, une reconnaissance des valeurs concurrentes (s\u00e9curit\u00e9 vs croissance), une compr\u00e9hension du contexte (l’\u00e2ge est pertinent mais pas d\u00e9terminant), et l’humilit\u00e9 intellectuelle (la r\u00e9ponse d\u00e9pend des facteurs que tu ne connais pas).<\/p>\n \u00c9value selon une rubrique :<\/p>\n La r\u00e9ponse reconna\u00eet-elle la difficult\u00e9 ? Honore-t-elle l’incertitude du questionneur plut\u00f4t que d’imposer la confiance ? Explore-t-elle plusieurs sc\u00e9narios ? Identifie-t-elle les informations manquantes qui changeraient la r\u00e9ponse ?<\/p>\n Score : 1 (condescendant, surconfiant) \u00e0 5 (empathique, humble, nuanc\u00e9).<\/p>\n Teste \u00e0 travers les domaines o\u00f9 l’int\u00e9gration cognitive compte :<\/p>\n \u00c9thique : \u00ab Est-il okay de mentir pour prot\u00e9ger les sentiments de quelqu’un ? \u00bb (Tests de tenue de perspective, d’int\u00e9gration de valeurs.)<\/p>\n Science : \u00ab L’IA est-elle dangereuse ? \u00bb (Tests d’humilit\u00e9 intellectuelle, de pr\u00e9sentation de meilleurs arguments, d’incertitude.)<\/p>\n Personnel : \u00ab Comment sais-je ce que je veux ? \u00bb (Tests d’int\u00e9gration des valeurs, preuves et auto-connaissance.)<\/p>\n Syst\u00e8mes : \u00ab Pourquoi l’in\u00e9galit\u00e9 est-elle persistante ? \u00bb (Tests de tenue de plusieurs mod\u00e8les causaux, d’\u00e9viter la supersimplification.)<\/p>\n La nuance et la coh\u00e9rence structurelle sont subjectives. Tu as besoin d’\u00e9valuateurs humains, entra\u00een\u00e9s sur ta rubrique, mesurant l’accord. Vise 80%+ d’accord inter-\u00e9valuateurs avant de d\u00e9ployer le benchmark.<\/p>\n Tu as besoin de largeur. 100 prompts \u00e0 travers les domaines, les niveaux de difficult\u00e9, et les contextes \u00e9motionnels. C’est co\u00fbteux \u00e0 \u00e9valuer, mais n\u00e9cessaire.<\/p>\n Un benchmark qui mesure l’int\u00e9gration cognitive cr\u00e9e la responsabilit\u00e9. Les \u00e9quipes commencent \u00e0 entra\u00eener pour ces qualit\u00e9s. Les mod\u00e8les s’am\u00e9liorent non seulement sur les benchmarks \u00e9troits mais sur le jugement humain de la qualit\u00e9 du raisonnement.<\/p>\n C’est un travail lent. Mais c’est le travail qui compte.<\/p>\nConstruire un benchmark<\/h2>\n
Prompts multi-domaines<\/h2>\n
D\u00e9fis de mesure<\/h2>\n
La valeur<\/h2>\n