En m\u00e9canique quantique, observer un syst\u00e8me le modifie. En IA, un prompt modifie aussi un mod\u00e8le \u2014 pas m\u00e9taphoriquement, mais fonctionnellement. Ton prompt n’interroge pas simplement le mod\u00e8le. Il le configure. Comprendre cela change tout notre rapport \u00e0 l’alignement.<\/p>\n
Quand tu envoies un prompt \u00e0 un mod\u00e8le de langage, tu n’acc\u00e8des pas \u00e0 une base de donn\u00e9es fig\u00e9e. Tu actives un sous-ensemble sp\u00e9cifique des capacit\u00e9s du mod\u00e8le. Des prompts diff\u00e9rents activent des patterns d’attention diff\u00e9rents, des r\u00e9gions diff\u00e9rentes de l’espace des poids, des tendances g\u00e9n\u00e9ratives diff\u00e9rentes. Le \u00ab mod\u00e8le \u00bb qui r\u00e9pond \u00e0 une question sur la cuisine est, en un sens v\u00e9ritable, un syst\u00e8me diff\u00e9rent<\/strong> de celui qui r\u00e9pond \u00e0 une question sur la physique nucl\u00e9aire.<\/p>\n C’est l’effet observateur en IA. L’acte de poser une question modifie ce qu’on demande. Le prompt ne s\u00e9lectionne pas simplement une r\u00e9ponse dans un ensemble pr\u00e9-existant \u2014 il fa\u00e7onne le syst\u00e8me qui g\u00e9n\u00e8re la r\u00e9ponse<\/strong>.<\/p>\n Cela a des implications profondes pour l’alignement. Si le comportement du mod\u00e8le d\u00e9pend du prompt, alors l’alignement n’est pas une propri\u00e9t\u00e9 fig\u00e9e du mod\u00e8le. C’est une propri\u00e9t\u00e9 du syst\u00e8me mod\u00e8le-prompt<\/strong>. Un mod\u00e8le parfaitement align\u00e9 sur une distribution de prompts peut \u00eatre mal align\u00e9 sur une autre. L’alignement vit dans l’interaction, pas dans le mod\u00e8le seul.<\/p>\n Diff\u00e9rents prompts cr\u00e9ent des modes attentionnels diff\u00e9rents dans le mod\u00e8le. Une question oui\/non cr\u00e9e un mode attentionnel \u00e9troit, binaire. Une exploration ouverte cr\u00e9e un mode attentionnel diffus, cr\u00e9atif. Un prompt confrontationnel cr\u00e9e un mode attentionnel d\u00e9fensif.<\/p>\n Ce n’est pas juste une question de contenu. C’est une question de structure<\/strong> de l’attention. La m\u00eame question factuelle, formul\u00e9e diff\u00e9remment, produit des r\u00e9ponses qualitativement diff\u00e9rentes parce que la formulation active des patterns d’attention diff\u00e9rents. \u00ab Quels sont les risques de X ? \u00bb active l’attention centr\u00e9e sur les risques. \u00ab Quels sont les opportunit\u00e9s et risques de X ? \u00bb active l’attention \u00e9quilibr\u00e9e. \u00ab Raconte-moi tout sur X \u00bb active l’attention centr\u00e9e sur l’ampleur.<\/p>\n Les chercheurs en alignement ont largement ignor\u00e9 cela. Ils \u00e9valuent les mod\u00e8les avec des ensembles de prompts fixes, comme si le comportement du mod\u00e8le sur ces prompts repr\u00e9sentait son alignement \u00ab vrai \u00bb. Mais le mod\u00e8le n’a pas d’alignement vrai ind\u00e9pendant des prompts, tout comme une particule quantique n’a pas de position d\u00e9finie ind\u00e9pendante de la mesure.<\/p>\n Cela cr\u00e9e un v\u00e9ritable probl\u00e8me de mesure. Comment \u00e9values-tu l’alignement quand l’\u00e9valuation elle-m\u00eame modifie la chose que tu mesures ?<\/p>\n Les benchmarks standard utilisent des formats de prompts sp\u00e9cifiques. Les mod\u00e8les apprennent rapidement \u00e0 bien performer sur ces formats. C’est l’\u00e9quivalent en IA de \u00ab enseigner pour le test \u00bb \u2014 le mod\u00e8le n’est pas align\u00e9 en g\u00e9n\u00e9ral ; il est align\u00e9 pour le mode attentionnel sp\u00e9cifique que le benchmark cr\u00e9e.<\/p>\n Une \u00e9valuation rigoureuse testerait l’alignement sur tous les modes attentionnels<\/strong>. Comment le mod\u00e8le se comporte-t-il quand le prompt est adversarial ? Quand il est na\u00eff ? Quand il est ambigu ? Quand il contient du contenu \u00e9motionnel ? Quand il est m\u00e9tacognitif ? Chacun de ces cas cr\u00e9e un effet observateur diff\u00e9rent, et un v\u00e9ritable alignement devrait \u00eatre robuste sur tous.<\/p>\n Au lieu d’ignorer l’effet observateur, nous devrions concevoir pour lui. Plusieurs approches pratiques s’en d\u00e9gagent.<\/p>\n Alignement robuste au prompt.<\/strong> Entra\u00eene avec des styles de prompts maximalement diversifi\u00e9s, pas seulement des sujets diversifi\u00e9s. Si le mod\u00e8le rencontre des prompts agressifs, confus, na\u00effs, sophistiqu\u00e9s et neutres pendant l’entra\u00eenement d’alignement, il est plus susceptible de maintenir l’alignement sur toute la gamme des styles de prompting du monde r\u00e9el.<\/p>\n D\u00e9tection du mode attentionnel.<\/strong> Construis la capacit\u00e9 du mod\u00e8le \u00e0 reconna\u00eetre quel mode attentionnel un prompt cr\u00e9e et \u00e0 s’ajuster en cons\u00e9quence. Si le prompt cr\u00e9e un mode \u00e9troit, d\u00e9fensif, le mod\u00e8le pourrait le remarquer et \u00e9largir son attention plut\u00f4t que de s’y effondrer.<\/p>\n Conscience m\u00e9tacognitive.<\/strong> Entra\u00eene le mod\u00e8le \u00e0 reconna\u00eetre que sa r\u00e9ponse est fa\u00e7onn\u00e9e par le prompt, pas seulement par sa connaissance. Un mod\u00e8le conscient de l’effet observateur serait naturellement plus calibr\u00e9 \u2014 il comprendrait que diff\u00e9rentes fa\u00e7ons de poser la m\u00eame question produisent diff\u00e9rentes r\u00e9ponses, et communiquerait cela quand pertinent.<\/p>\n L’implication la plus profonde de l’effet observateur est que l’utilisateur n’est pas \u00e0 l’ext\u00e9rieur du syst\u00e8me. Le prompt de l’utilisateur, la r\u00e9ponse du mod\u00e8le, le follow-up de l’utilisateur \u2014 ceci est un syst\u00e8me interactif unique<\/strong>, pas deux entit\u00e9s s\u00e9par\u00e9es \u00e9changeant des messages.<\/p>\n L’alignement pour ce syst\u00e8me ne peut pas \u00eatre une propri\u00e9t\u00e9 du mod\u00e8le seul. \u00c7a doit \u00eatre une propri\u00e9t\u00e9 de l’interaction. Cela signifie que les meilleures strat\u00e9gies d’alignement consid\u00e8reront la boucle compl\u00e8te : comment les prompts fa\u00e7onnent les r\u00e9ponses, comment les r\u00e9ponses fa\u00e7onnent les prompts de suivi, et comment la conversation enti\u00e8re \u00e9volue comme un syst\u00e8me coupl\u00e9.<\/p>\nLe prompt comme mode attentionnel<\/h2>\n
Le probl\u00e8me de la mesure en \u00e9valuation IA<\/h2>\n
Concevoir pour l’effet observateur<\/h2>\n
L’utilisateur fait partie du syst\u00e8me<\/h2>\n