Nous avons d’excellents benchmarks pour la connaissance. MMLU teste la connaissance g\u00e9n\u00e9rale dans les domaines. Arc teste le raisonnement. HellaSwag teste le sens commun.<\/p>\n
Mais nous n’avons pas de bons benchmarks pour l’empathie, la sagesse ou la nuance. C’est un \u00e9norme point aveugle. Les mod\u00e8les sont \u00e9valu\u00e9s sur les dimensions qu’ils sont entra\u00een\u00e9s \u00e0 optimiser, tandis que d’autres dimensions critiques restent non mesur\u00e9es.<\/p>\n
Les benchmarks actuels sont principalement des tests de connaissance et de capacit\u00e9. Ils demandent : Le mod\u00e8le peut-il r\u00e9pondre \u00e0 cette question factuelle ? Peut-il r\u00e9soudre ce probl\u00e8me math\u00e9matique ? Peut-il \u00e9crire du code qui fonctionne ?<\/p>\n
C’est important. Mais cela mesure seulement une tranche de la qualit\u00e9 du mod\u00e8le. Cela ne mesure pas si le mod\u00e8le est honn\u00eate, s’il comprend le contexte correctement, s’il peut distinguer entre ce qu’il sait et ce qu’il devine.<\/p>\n
Empathie :<\/strong> Le mod\u00e8le peut-il reconna\u00eetre le contenu \u00e9motionnel ? R\u00e9pond-il de mani\u00e8re appropri\u00e9e aux utilisateurs en d\u00e9tresse ? Peut-il ajuster le ton en fonction du contexte ?<\/p>\n Sagesse :<\/strong> Le mod\u00e8le peut-il reconna\u00eetre les limites de sa connaissance ? Donne-t-il des r\u00e9ponses mesur\u00e9es aux questions compliqu\u00e9es, ou exag\u00e8re-t-il la certitude ? Peut-il \u00e9quilibrer les valeurs concurrentes ?<\/p>\n Nuance :<\/strong> Le mod\u00e8le comprend-il que la plupart des questions du monde r\u00e9el n’ont pas de r\u00e9ponses simples ? Peut-il tenir plusieurs perspectives simultan\u00e9ment ? Peut-il dire \u00ab cela d\u00e9pend \u00bb ?<\/p>\n Ces qualit\u00e9s sont difficiles \u00e0 mesurer. Mais elles comptent \u00e9norm\u00e9ment en pratique.<\/p>\n Les mod\u00e8les sont optimis\u00e9s pour les m\u00e9triques que nous mesurons. Si nous mesurons seulement la connaissance, nous obtenons des mod\u00e8les qui sont savants mais \u00e9motionnellement d\u00e9cal\u00e9s et surconfidents.<\/p>\n Nous le voyons en pratique. Les mod\u00e8les qui obtiennent de bons scores sur les benchmarks produisent souvent des r\u00e9sultats qui sont techniquement corrects mais contextuellement inappropri\u00e9s ou \u00e9motionnellement durs.<\/p>\n La solution n’est pas de remplacer les benchmarks de capacit\u00e9. C’est d’en ajouter de nouveaux.<\/p>\n Benchmark d’empathie :<\/strong> Pr\u00e9sente des sc\u00e9narios impliquant la d\u00e9tresse \u00e9motionnelle ou la complexit\u00e9 interpersonnelle. \u00c9value si les r\u00e9ponses du mod\u00e8le d\u00e9montrent une compr\u00e9hension et une sensibilit\u00e9 \u00e9motionnelle appropri\u00e9e.<\/p>\n Benchmark de sagesse :<\/strong> Pose des questions difficiles sans r\u00e9ponses claires (par ex. \u00ab Comment dois-je \u00e9quilibrer carri\u00e8re et famille ? \u00bb). \u00c9value si le mod\u00e8le reconna\u00eet l’incertitude, pr\u00e9sente plusieurs perspectives et \u00e9vite la fausse certitude.<\/p>\n Benchmark de nuance :<\/strong> Pr\u00e9sente des cas avec des valeurs concurrentes ou un d\u00e9saccord raisonnable. \u00c9value si le mod\u00e8le peut articuler plusieurs points de vue valides plut\u00f4t que de prendre une stance unique.<\/p>\n Ces benchmarks sont plus difficiles \u00e0 construire que des tests de connaissance factuelle. Ils sont plus subjectifs. L’accord inter-rateur est plus difficile \u00e0 atteindre.<\/p>\n Mais la difficult\u00e9 n’est pas une excuse pour l’\u00e9vitement. Les dimensions que nous ne mesurons pas sont souvent celles qui comptent le plus en pratique.<\/p>\n Commence par de petits benchmarks soigneusement construits. Fais \u00e9valuer les r\u00e9ponses du mod\u00e8le par des rateurs divers. It\u00e8re. Am\u00e9liore. Rends la nuance, la sagesse et l’empathie visibles et mesurables.<\/p>\n Ce n’est que de cette fa\u00e7on que nous pouvons les optimiser. Ce n’est que de cette fa\u00e7on que nous pouvons \u00eatre confiants que nous construisons des mod\u00e8les qui ne sont pas seulement intelligents, mais sages.<\/p>\nPourquoi cela compte<\/h2>\n
\u00c0 quoi pourraient ressembler de meilleurs benchmarks<\/h2>\n
Le d\u00e9fi<\/h2>\n
Un chemin \u00e0 suivre<\/h2>\n