Quand Vaswani et al. ont publié « Attention Is All You Need » en 2017, ils ont emprunté un terme à la science cognitive. Puis le domaine a promptement oublié tout ce que la…
La qualité des données d’entraînement de l’IA est le plus grand goulot d’étranglement de la recherche en alignement. La plupart des ensembles de données DPO et RLHF sont générés par des travailleurs crowdsourcés opérant…
Les systèmes d’IA actuels pensent en binaires. Vrai ou faux. Positif ou négatif. Sûr ou unsafe. Cela fonctionne pour les tâches de classification. Pour tout ce qui importe, cela échoue. La limitation réside dans…
Anil Seth n’avait pas pour objectif de décrire comment les modèles de langage fonctionnent. Il décrivait le cerveau humain. Mais les parallèles sont tellement précis qu’ils frisent l’inconfort. Perception comme prédiction L’argument central de…
Chaque grand lab d’IA fait la course pour éliminer les hallucinations. Ils ont tort. Pas sur le problème — sur ce que les hallucinations réellement sont. L’hallucination est juste la créativité sans laisse Quand…
L’attention n’est pas à propos de vider l’esprit. C’est à propos de regarder l’esprit faire son affaire — et de choisir de ne pas suivre chaque impulsion. Cette distinction importe énormément quand tu essaies…
Tous les quelques mois, quelqu’un publie un article affirmant que les réseaux de neurones ne sont pas réellement neuraux. Ce sont des fonctions mathématiques. Ce sont des modèles statistiques. Ce sont des fitters de…
L’éthique de l’IA repose sur les règles. Ne génère pas de contenu violent. Ne révèle pas d’informations personnelles. Ne discrimine pas. Le problème : l’éthique basée sur les règles ne s’échelonne pas aux situations…
Le pitch est séduisant. Manquer de données d’entraînement ? Fais simplement générer plus par l’IA. Utilise ton modèle existant pour créer des datasets synthétiques, puis entraîne le modèle suivant sur ceux-ci. Problème résolu. Sauf…
Il y a un problème que personne dans l’industrie IA n’aime parler publiquement. Nous manquons de données d’entraînement. Pas hypothétiquement. Pas dans un futur lointain. Maintenant. Internet est grand, mais c’est pas infini. Et…