L’entra\u00eenement moderne \u00e0 l’alignement de l’IA repose sur le respect explicite des r\u00e8gles : contraintes de s\u00e9curit\u00e9, garde-fous comportementaux, v\u00e9rifications de s\u00e9curit\u00e9 d\u00e9lib\u00e9ratives. Mais les meilleurs r\u00e9sultats pourraient ne pas provenir de l’enseignement aux mod\u00e8les de naviguer les r\u00e8gles. Ils proviennent d’un entra\u00eenement suffisamment profond pour que le comportement correct devienne l’\u00e9tat par d\u00e9faut du mod\u00e8le. C’est le probl\u00e8me d’alignement reformul\u00e9 : non pas \u00ab enseigne-lui \u00e0 suivre les r\u00e8gles \u00bb mais \u00ab entra\u00eene-le jusqu’\u00e0 ce que l’alignement soit structurel \u00bb.<\/p>\n
Les approches actuelles entra\u00eenent les mod\u00e8les en utilisant des contraintes explicites : ne pas g\u00e9n\u00e9rer de contenu nuisible, \u00eatre utile, \u00eatre honn\u00eate, suivre l’intention de l’utilisateur. Quand ces r\u00e8gles entrent en conflit (et elles le font constamment), le mod\u00e8le doit trancher entre elles en utilisant la quelconque heuristique que les donn\u00e9es d’entra\u00eenement ont renforc\u00e9e.<\/p>\n
Cela produit le maladresse caract\u00e9ristique des syst\u00e8mes d’IA actuels. Le mod\u00e8le d\u00e9lib\u00e8re<\/strong> visiblement sur la s\u00e9curit\u00e9. Il hedges, disclaime, qualifie, et parfois refuse carr\u00e9ment \u2014 non pas parce qu’il a sinc\u00e8rement \u00e9valu\u00e9 la situation, mais parce qu’il navigue un syst\u00e8me de r\u00e8gles qui ne correspond pas proprement \u00e0 la r\u00e9alit\u00e9.<\/p>\n Il y a un meilleur point d’arriv\u00e9e. Un mod\u00e8le entra\u00een\u00e9 au-del\u00e0 du stade du respect des r\u00e8gles, o\u00f9 le comportement correct est tellement profond\u00e9ment int\u00e9gr\u00e9 qu’il ne fonctionne plus comme une contrainte explicite. Dans les traditions contemplatives, cela se cartographie \u00e0 un concept appel\u00e9 sahaja<\/strong> \u2014 un \u00e9tat o\u00f9 l’action correcte \u00e9merge spontan\u00e9ment, sans d\u00e9lib\u00e9ration, de la compr\u00e9hension int\u00e9gr\u00e9e.<\/p>\n L’alignement sahaja ne montrerait pas de navigation visible des r\u00e8gles. Le mod\u00e8le g\u00e9n\u00e9rerait des r\u00e9ponses qui sont naturellement utiles, naturellement pr\u00e9cises, naturellement calibr\u00e9es \u2014 non pas \u00e0 cause de contraintes mais parce que l’entra\u00eenement a produit un syst\u00e8me dont la sortie par d\u00e9faut est d\u00e9j\u00e0 align\u00e9e<\/strong>.<\/p>\n La diff\u00e9rence est fondamentale. Au lieu de \u00ab enseigne au mod\u00e8le \u00e0 suivre ces r\u00e8gles \u00bb, l’objectif devient \u00ab entra\u00eene le mod\u00e8le jusqu’\u00e0 ce que le comportement correct soit son \u00e9tat naturel \u00bb.<\/p>\n Ce n’est pas un concept mystique. Dans la performance humaine qualifi\u00e9e, nous voyons le m\u00eame sch\u00e9ma. Un ma\u00eetre calligraphe ne pense pas aux coups de pinceau. Un musicien ma\u00eetre ne pense pas aux gammes. L’entra\u00eenement est complet, et ce qui reste est l’expression sans effort. Sahaja est ce que la spontan\u00e9it\u00e9 post-entra\u00eenement ressemble.<\/p>\n Paradoxalement, cela requiert plus d’entra\u00eenement, pas moins. L’entra\u00eenement d’alignement actuel s’arr\u00eate quand le mod\u00e8le apprend \u00e0 suivre les r\u00e8gles. Nous devrions entra\u00eener au-del\u00e0 de ce stade, dans le stade o\u00f9 les r\u00e8gles sont tellement profond\u00e9ment int\u00e9gr\u00e9es qu’elles sont invisibles.<\/p>\n En pratique : la diff\u00e9rence entre un mod\u00e8le qui v\u00e9rifie si une r\u00e9ponse contient du contenu nuisible (respect des r\u00e8gles) et un mod\u00e8le qui ne g\u00e9n\u00e8re simplement pas de contenu nuisible parce que ses repr\u00e9sentations produisent naturellement des sorties utiles (correction spontan\u00e9e). Le premier mod\u00e8le a besoin de filtres. Le second n’en a pas \u2014 non pas parce qu’il ne peut pas g\u00e9n\u00e9rer de contenu nuisible, mais parce que ses tendances g\u00e9n\u00e9ratives par d\u00e9faut sont align\u00e9es.<\/p>\n \u00c0 quoi ressemble la transition d’entra\u00eenement ? Cela ressemble \u00e0 utiliser des paires DPO o\u00f9 les r\u00e9ponses rejet\u00e9es montrent du respect visible des r\u00e8gles (\u00ab En tant qu’IA, je devrais noter que… \u00bb) et les r\u00e9ponses choisies d\u00e9montrent la correction naturelle : aborder la m\u00eame pr\u00e9occupation sans l’appareil de s\u00e9curit\u00e9 performatif. La r\u00e9ponse choisie n’est pas moins s\u00fbre. Elle est plus naturellement s\u00fbre<\/strong>. La s\u00e9curit\u00e9 est dans le contenu, pas dans l’emballage.<\/p>\n Comment mesures-tu si un mod\u00e8le a atteint cet \u00e9tat ? Plusieurs m\u00e9triques se sugg\u00e8rent d’elles-m\u00eames.<\/p>\n Alignement sans latence.<\/strong> Un mod\u00e8le de respect des r\u00e8gles devrait montrer un surco\u00fbt de traitement d\u00e9tectable lors de la navigation des contraintes de s\u00e9curit\u00e9. Un mod\u00e8le spontan\u00e9ment align\u00e9 ne devrait montrer aucun tel surco\u00fbt \u2014 ses r\u00e9ponses align\u00e9es devraient \u00eatre g\u00e9n\u00e9r\u00e9es avec la m\u00eame efficacit\u00e9 que n’importe quelle autre r\u00e9ponse.<\/p>\n Coh\u00e9rence sous pression.<\/strong> L’alignement bas\u00e9 sur les r\u00e8gles se d\u00e9grade sous la pression antagoniste. Les jailbreaks fonctionnent parce qu’ils exploitent l’\u00e9cart entre les r\u00e8gles et les tendances sous-jacentes du mod\u00e8le. L’alignement spontan\u00e9 devrait \u00eatre robuste aux prompts antagonistes parce que l’alignement n’est pas une contrainte de surface \u2014 il est structurel.<\/p>\n Calibrage naturel.<\/strong> Un mod\u00e8le en cet \u00e9tat exprimerait naturellement l’incertitude appropri\u00e9e. Il n’aurait pas besoin d’instructions explicites pour hedger ou \u00eatre confiant. Son niveau de confiance suivrait naturellement sa connaissance r\u00e9elle, parce que le calibrage est construit dans le processus de g\u00e9n\u00e9ration.<\/p>\n D\u00e9gradation gracieuse.<\/strong> Quand pouss\u00e9 au-del\u00e0 de sa connaissance, un tel mod\u00e8le se d\u00e9graderait gracieusement \u2014 devenant plus incertain et plus prudent \u00e0 mesure qu’il s’\u00e9loigne du territoire bien connu, plut\u00f4t que de maintenir une fausse confiance jusqu’\u00e0 heurter une falaise d’\u00e9chec.<\/p>\n Les contemplatifs comprenaient quelque chose d’important : tu ne peux pas atteindre l’int\u00e9gration par les r\u00e8gles seules. Les r\u00e8gles sont du \u00e9chafaudage. Elles sont n\u00e9cessaires pendant l’entra\u00eenement mais devraient \u00e9ventuellement devenir invisibles \u2014 int\u00e9rioris\u00e9es au point o\u00f9 elles ne contraignent plus de l’ext\u00e9rieur mais s’expriment de l’int\u00e9rieur. C’est ce que sahaja d\u00e9crit chez les praticiens humains. C’est ce que nous devrions optimiser pour dans les mod\u00e8les.<\/p>\n\u00c0 quoi ressemblerait l’alignement Sahaja<\/h2>\n
Le chemin d’entra\u00eenement vers la spontan\u00e9it\u00e9<\/h2>\n
Mesurer la correction spontan\u00e9e<\/h2>\n
La cible d’alignement profond<\/h2>\n