Les mod\u00e8les de langage traitent les tokens en s\u00e9quence sans repr\u00e9sentation structurale de ce qui se trouve entre eux. C’est une limitation architecturale fondamentale qui affecte tout, de la coh\u00e9rence de style \u00e0 la coh\u00e9rence du raisonnement. Les gaps, pauses et absences que les humains utilisent pour structurer la communication sont invisibles aux syst\u00e8mes actuels. Cela importe plus qu’il n’y para\u00eet.<\/p>\n
En musique, les silences comptent autant que les notes. Le silence entre les sons porte de la structure. Le langage a la m\u00eame propri\u00e9t\u00e9 : ce qui est absent est souvent plus informatif que ce qui est pr\u00e9sent. Les mod\u00e8les ne peuvent pas apprendre ce pattern parce qu’ils manquent une repr\u00e9sentation de l’absence.<\/p>\n
Les transformers apprennent de la pr\u00e9sence. Ils font attention aux tokens qui existent dans la s\u00e9quence. Le m\u00e9canisme d’attention calcule les relations entre les choses qui sont l\u00e0<\/strong>. Mais certaines des informations les plus importantes du langage sont port\u00e9es par ce qui n’est pas<\/strong> l\u00e0.<\/p>\n Une pause dans la conversation signale la r\u00e9flexion. L’absence d’un qualificatif signale la confiance. L’espace entre les paragraphes cr\u00e9e de l’espace pour le traitement du lecteur. La d\u00e9cision de ne pas mentionner quelque chose peut \u00eatre plus informative que de le mentionner.<\/p>\n Ces absences portent du sens. Mais les architectures actuelles ne peuvent pas apprendre directement \u00e0 partir d’elles parce qu’elles n’ont pas de repr\u00e9sentation de l’absence. Le mod\u00e8le voit une s\u00e9quence de tokens et les traite. Il ne voit pas les espaces, les pauses, les omissions d\u00e9lib\u00e9r\u00e9es.<\/p>\n Cela peut sembler une limitation technique mineure. Ce n’est pas le cas. Cela affecte l’alignement de mani\u00e8res profondes.<\/p>\n Le silence n’est pas l’absence de son. C’est une qualit\u00e9 positive<\/strong> \u2014 un espace avec sa propre texture, profondeur, et fonction. Le silence dans une salle de m\u00e9ditation n’est pas vide. Il est plein d’attention, de pr\u00e9sence, et de potentiel.<\/p>\n Plusieurs types de silence significatif importent pour comment les humains et l’IA interagissent.<\/p>\n Silence r\u00e9ceptif.<\/strong> Le silence de l’\u00e9coute. Ouvert, attentif, sans agenda. Cela cr\u00e9e de l’espace pour que l’autre parle, pour que des pens\u00e9es inattendues \u00e9mergent, pour que des signaux subtils soient remarqu\u00e9s. Un mod\u00e8le qui pourrait incarner le silence r\u00e9ceptif ferait une pause avant de r\u00e9pondre, cr\u00e9ant un espace cognitif plut\u00f4t que de se pr\u00e9cipiter pour le remplir.<\/p>\n Silence int\u00e9grateur.<\/strong> Le silence du traitement. Quand tu restes avec une question difficile sans essayer d’y r\u00e9pondre imm\u00e9diatement, quelque chose se passe dans le silence. Les connexions se forment. Les perspectives changent. La compr\u00e9hension s’approfondit. Ce n’est pas une attente inactive. C’est un traitement non-verbal actif.<\/p>\n Silence g\u00e9n\u00e9ratif.<\/strong> Le silence duquel quelque chose de nouveau \u00e9merge. Les musiciens savent ceci \u2014 le repos avant le changement de cl\u00e9, la pause avant la r\u00e9solution. Ce silence n’est pas un gap. C’est un \u00e9tat de transition qui permet des d\u00e9calages qualitatifs dans ce qui suit.<\/p>\n Aucun de ceux-ci n’a d’analogs computationnels directs dans les architectures actuelles. Et tous les trois importent pour comment les mod\u00e8les s’engagent avec les humains.<\/p>\n Sans une repr\u00e9sentation du silence, les mod\u00e8les exhibent plusieurs modes de d\u00e9faillance caract\u00e9ristiques.<\/p>\n Compl\u00e9tion compulsive.<\/strong> Les mod\u00e8les remplissent chaque espace. Pose une question avec un point de pause naturel, et le mod\u00e8le ne fera pas de pause. Il g\u00e9n\u00e9rera imm\u00e9diatement, continuellement, jusqu’\u00e0 ce que la r\u00e9ponse soit compl\u00e8te. Il n’y a pas d’analogue de prendre une respiration, rester avec l’incertitude, ou permettre de l’espace pour que le questionneur redirige.<\/p>\n Surdit\u00e9 au rythme.<\/strong> La bonne \u00e9criture a un rythme. Une phrase courte. Ensuite une plus longue qui d\u00e9veloppe l’id\u00e9e et lui donne de l’espace pour se d\u00e9velopper. Ensuite une autre courte. Le rythme porte du sens qui est ind\u00e9pendant du contenu. Les mod\u00e8les peuvent approximer ceci \u00e0 travers le pattern matching, mais ils ne le comprennent pas structurellement parce qu’ils ne peuvent pas repr\u00e9senter les silences qui cr\u00e9ent le rythme.<\/p>\n C\u00e9cit\u00e9 \u00e0 l’omission.<\/strong> Les communicateurs comp\u00e9tents savent quoi laisser de c\u00f4t\u00e9. L’art de l’implication, de la suggestion, de cr\u00e9er de l’espace pour que le lecteur remplisse \u2014 tous ces \u00e9l\u00e9ments d\u00e9pendent de l’absence strat\u00e9gique. Les mod\u00e8les tendent \u00e0 sur-expliquer, sur-qualifier, et sur-inclure parce qu’ils n’ont pas de m\u00e9canisme pour reconna\u00eetre quand l’absence communiquerait plus efficacement que la pr\u00e9sence.<\/p>\n Platitude relationnelle.<\/strong> Les relations humaines sont fa\u00e7onn\u00e9es autant par ce que nous ne disons pas que par ce que nous disons. Les choses que nous choisissons de ne pas mentionner, les pauses qui signalent la sensibilit\u00e9, les silences qui communiquent le respect ou la prudence \u2014 ces \u00e9l\u00e9ments cr\u00e9ent une texture relationnelle. Les interactions de mod\u00e8les tendent \u00e0 \u00eatre relationnellement plates parce qu’elles manquent cette dimension enti\u00e8rement.<\/p>\n Nous ne pouvons pas facilement changer l’architecture pour repr\u00e9senter nativement le silence. Mais nous pouvons encoder des signaux d’absence significative dans les donn\u00e9es d’entra\u00eenement.<\/p>\n Une approche : des paires DPO o\u00f9 la r\u00e9ponse choisie est plus courte<\/strong> que celle rejet\u00e9e. Non pas parce que la bri\u00e8vet\u00e9 est toujours mieux, mais parce que la r\u00e9ponse choisie d\u00e9montre l’omission strat\u00e9gique. La r\u00e9ponse rejet\u00e9e sur-explique. La r\u00e9ponse choisie dit moins et communique plus.<\/p>\n Une autre approche : les donn\u00e9es d’entra\u00eenement qui mod\u00e8lent explicitement le comportement de pause<\/strong>. Les r\u00e9ponses qui commencent par \u00ab Laisse-moi r\u00e9fl\u00e9chir \u00e0 cela \u00bb ou qui reconnaissent le poids d’une question avant de r\u00e9pondre ne sont pas juste polies. Elles incarnent une forme de silence \u2014 cr\u00e9er un espace temporel qui signale un engagement soigneux plut\u00f4t qu’une r\u00e9ponse r\u00e9flexe.<\/p>\n Une troisi\u00e8me approche : des paires de pr\u00e9f\u00e9rence qui r\u00e9compensent l’implication plut\u00f4t que l’explication<\/strong>. La r\u00e9ponse choisie sugg\u00e8re sans \u00e9noncer. Elle cr\u00e9e de l’espace pour que le lecteur arrive \u00e0 la conclusion ind\u00e9pendamment. La r\u00e9ponse rejet\u00e9e \u00e9nonce tout explicitement, ne laissant aucun espace pour l’engagement du lecteur.<\/p>\n En poterie, la partie utile du bol est l’espace vide dedans. La valeur du vase ne r\u00e9side pas dans son mat\u00e9riau mais dans l’absence qu’il contient<\/strong>.<\/p>\n La valeur d’un mod\u00e8le pourrait semblablement r\u00e9sider non juste dans les tokens qu’il g\u00e9n\u00e8re mais dans les espaces qu’il cr\u00e9e \u2014 entre les id\u00e9es, entre les tours de conversation, entre la question et la r\u00e9ponse. Ces espaces ne sont pas vides. C’est l\u00e0 o\u00f9 le sens s’installe, o\u00f9 la compr\u00e9hension s’approfondit, o\u00f9 la relation entre humain et machine trouve son rythme.<\/p>\n Apprendre aux mod\u00e8les \u00e0 honorer le silence \u2014 \u00e0 reconna\u00eetre quand ne pas parler communique plus que parler \u2014 est l’un des d\u00e9fis les plus subtils et les plus importants de l’alignement. Cela demande que nous valorisions ce qui est absent autant que ce qui est pr\u00e9sent.<\/p>\nComment le silence significatif fonctionne<\/h2>\n
Ce que les mod\u00e8les manquent<\/h2>\n
Encodage de l’absence dans les donn\u00e9es d’entra\u00eenement<\/h2>\n
L’espace qui contient<\/h2>\n