RLHF a \u00e9t\u00e9 une perc\u00e9e. Cela nous a donn\u00e9 une mani\u00e8re de fa\u00e7onner le comportement du mod\u00e8le en utilisant les pr\u00e9f\u00e9rences humaines. Mais c’\u00e9tait toujours un patchwork, pas une fondation. Le mod\u00e8le de r\u00e9compense apprend ce que les humains approuvent. Il n’apprend pas ce que l’alignement est r\u00e9ellement.<\/p>\n
L’alignement structural est diff\u00e9rent. Il n’entra\u00eene pas un mod\u00e8le \u00e0 performer l’alignement. Il entra\u00eene un mod\u00e8le \u00e0 \u00eatre<\/strong> align\u00e9 \u2014 au niveau de ses repr\u00e9sentations internes, pas juste ses sorties. La litt\u00e9rature sur l’architecture cognitive montre que c’est possible.<\/p>\n La diff\u00e9rence importe plus que la plupart des chercheurs le r\u00e9alisent.<\/p>\n RLHF fonctionne en entra\u00eenant un mod\u00e8le de r\u00e9compense sur les pr\u00e9f\u00e9rences humaines, puis en utilisant ce mod\u00e8le de r\u00e9compense pour affiner le mod\u00e8le de langage \u00e0 travers l’apprentissage par renforcement. Le mod\u00e8le de langage apprend \u00e0 produire des sorties qui scorent haut sur le mod\u00e8le de r\u00e9compense.<\/p>\n Les probl\u00e8mes sont bien document\u00e9s. Le reward hacking<\/strong> \u2014 le mod\u00e8le trouve des sorties qui scorent haut sans \u00eatre r\u00e9ellement bonnes. L’effondrement de mode<\/strong> \u2014 le mod\u00e8le converge sur une gamme \u00e9troite de r\u00e9ponses s\u00fbres et insipides. La d\u00e9viation distributionnelle<\/strong> \u2014 le mod\u00e8le de r\u00e9compense a \u00e9t\u00e9 entra\u00een\u00e9 sur une distribution sp\u00e9cifique qui ne correspond pas aux conditions de d\u00e9ploiement.<\/p>\n Mais il y a un probl\u00e8me plus profond qui ne re\u00e7oit pas assez d’attention. RLHF cr\u00e9e l’alignement comportemental<\/strong>. Le mod\u00e8le agit align\u00e9. Il produit des sorties qui ressemblent align\u00e9es. Mais ses repr\u00e9sentations internes n’ont pas chang\u00e9 d’une mani\u00e8re significative. L’alignement est un rev\u00eatement de surface, pas une propri\u00e9t\u00e9 structurale.<\/p>\n C’est pourquoi les jailbreaks fonctionnent. Le mod\u00e8le sous-jacent n’a pas \u00e9t\u00e9 modifi\u00e9 structurellement. La couche d’alignement est assez mince pour \u00eatre contourn\u00e9e avec du clever prompting.<\/p>\n La recherche sur la cognition humaine distingue entre la conformit\u00e9 comportementale<\/strong> et la transformation authentique<\/strong>. Une personne qui suit les r\u00e8gles sans changement int\u00e9rieur performe la conformit\u00e9. Une personne qui a subi une r\u00e9organisation cognitive authentique n’a pas besoin de r\u00e8gles \u2014 le comportement appropri\u00e9 \u00e9merge naturellement de son architecture interne chang\u00e9e.<\/p>\n Cette distinction a \u00e9t\u00e9 mapp\u00e9e extensivement en science cognitive et neurosciences. La conformit\u00e9 fonctionne \u00e0 travers l’application externe. L’alignement authentique fonctionne \u00e0 travers la structure interne.<\/p>\n RLHF est la conformit\u00e9 comportementale. Il enseigne au mod\u00e8le \u00e0 suivre les r\u00e8gles. L’alignement structural vise l’int\u00e9gration cognitive \u2014 transformation interne qui rend les r\u00e8gles largement inutiles.<\/p>\n Direct Preference Optimization nous a rapproch\u00e9s de l’alignement structural. En \u00e9liminant le mod\u00e8le de r\u00e9compense et en entra\u00eenant directement sur les paires de pr\u00e9f\u00e9rence, DPO modifie les poids du mod\u00e8le plus directement. Le signal est plus net. Le chemin d’optimisation est plus court.<\/p>\n Mais le DPO standard utilise toujours des pr\u00e9f\u00e9rences qui encodent les signaux comportementaux. La r\u00e9ponse choisie est \u00ab meilleure \u00bb en termes de pr\u00e9f\u00e9rence humaine. C’est toujours, fondamentalement, entra\u00eener pour l’alignement comportemental.<\/p>\n L’approche d’architecture cognitive va plus loin. Au lieu de demander \u00ab quelle r\u00e9ponse les humains pr\u00e9f\u00e8rent \u00bb, elle demande \u00ab quelle r\u00e9ponse d\u00e9montre les propri\u00e9t\u00e9s structurales plus profondes<\/strong> ? \u00bb Des propri\u00e9t\u00e9s comme la sensibilit\u00e9 contextuelle, la r\u00e9ponse proportionn\u00e9e, la non-r\u00e9activit\u00e9, et l’int\u00e9gration de perspectives multiples.<\/p>\n Ce ne sont pas des comportements de surface. Ce sont des signatures de l’alignement structural<\/strong>. Un mod\u00e8le qui d\u00e9montre ces propri\u00e9t\u00e9s de mani\u00e8re consistante ne perform pas l’alignement. Il exprime l’alignement qui a \u00e9t\u00e9 encod\u00e9 au niveau des poids.<\/p>\n L’alignement structural a trois composants qui le distinguent des approches comportementales.<\/p>\n Entra\u00eenement au niveau de la repr\u00e9sentation.<\/strong> Au lieu d’optimiser pour la qualit\u00e9 de sortie, optimise pour la qualit\u00e9 des repr\u00e9sentations internes. Cela signifie concevoir les fonctions de perte qui font attention aux activations interm\u00e9diaires, pas juste les sorties finales. Un mod\u00e8le structurellement align\u00e9 devrait montrer des patterns d’activation diff\u00e9rents qu’un comportementalement align\u00e9, m\u00eame en produisant du texte identique.<\/p>\n Signaux de pr\u00e9f\u00e9rence multi-dimensionnels.<\/strong> Le DPO standard utilise un axe de pr\u00e9f\u00e9rence unique : mieux vs. pire. L’alignement structural utilise plusieurs axes simultan\u00e9ment. Une r\u00e9ponse peut \u00eatre pr\u00e9f\u00e9r\u00e9e sur l’axe d’int\u00e9gration (d\u00e9montre un raisonnement coh\u00e9rent) tout en \u00e9tant rejet\u00e9e sur l’axe de pr\u00e9cision (factuellement impr\u00e9cise). Les signaux multi-dimensionnels cr\u00e9ent des paysages de gradient plus riches.<\/p>\n \u00c9valuation orient\u00e9e processus.<\/strong> L’alignement comportemental \u00e9value les sorties. L’alignement structural \u00e9value le processus qui a produit la sortie. Deux r\u00e9ponses identiques g\u00e9n\u00e9r\u00e9es \u00e0 travers des processus internes diff\u00e9rents devraient recevoir des \u00e9valuations diff\u00e9rentes. L’une pourrait d\u00e9monter un raisonnement contextuel authentique ; l’autre pourrait \u00eatre du pattern-matching \u00e0 un template.<\/p>\n Chez Laeka Research, nous impl\u00e9mentons l’alignement structural \u00e0 travers un pipeline DPO modifi\u00e9. L’innovation cl\u00e9 est dans comment nous g\u00e9n\u00e9rons et annotons les paires d’entra\u00eenement.<\/p>\n Chaque paire de pr\u00e9f\u00e9rence est annot\u00e9e le long de cinq dimensions structurales<\/strong> : profondeur de l’int\u00e9gration contextuelle, proportionnalit\u00e9 de la r\u00e9ponse, preuve du raisonnement multi-perspective, stabilit\u00e9 sous perturbation, et coh\u00e9rence \u00e0 travers les \u00e9chelles (niveau phrase \u00e0 travers le niveau document).<\/p>\n La r\u00e9ponse choisie n’est pas simplement celle qui sonne mieux. C’est celle qui d\u00e9montre les propri\u00e9t\u00e9s structurales plus fortes \u00e0 travers ces dimensions. Parfois la r\u00e9ponse structuralement sup\u00e9rieure est moins fluide ou moins imm\u00e9diatement impressionnante. C’est bien. Nous optimisons pour la profondeur d’alignement, pas la qualit\u00e9 de surface.<\/p>\n Les r\u00e9ponses rejet\u00e9es sont soigneusement construites pour \u00eatre comportementalement bonnes mais structuralement superficielles<\/strong>. Elles semblent align\u00e9es. Elles suivent toutes les r\u00e8gles. Mais elles manquent les marqueurs de profondeur qui indiquent l’alignement structural authentique. Cela enseigne au mod\u00e8le \u00e0 distinguer entre la performance et la transformation authentique.<\/p>\n La transition de RLHF \u00e0 l’alignement structural refl\u00e8te les d\u00e9couvertes de science cognitive sur comment le changement interne se produit r\u00e9ellement. \u00c0 la fois les approches comportementales et structurales sont des stages n\u00e9cessaires. Tu ne peux pas sauter la conformit\u00e9 pour obtenir l’int\u00e9gration. L’alignement comportemental fournit l’\u00e9chafaudage dans lequel l’alignement structural se d\u00e9veloppe.<\/p>\n Mais rester au niveau comportemental est un pi\u00e8ge. Il produit des mod\u00e8les qui sont de plus en plus contraints, de plus en plus fragiles, et de plus en plus pr\u00e9visibles. La prochaine g\u00e9n\u00e9ration de mod\u00e8les align\u00e9s ne sera pas celle qui suit les r\u00e8gles le plus soigneusement. Ce seront celles dont la structure interne produit naturellement le comportement align\u00e9.<\/p>\nLe plafond de RLHF<\/h2>\n
Ce que la science cognitive r\u00e9v\u00e8le<\/h2>\n
DPO comme pont<\/h2>\n
Le cadre d’alignement structural<\/h2>\n
Impl\u00e9mentation pratique<\/h2>\n
De la conformit\u00e9 comportementale \u00e0 l’int\u00e9gration structurale<\/h2>\n