Données Synthétiques : L’IA Peut-elle Entraîner l’IA ? Les Preuves Disent Surtout Non.

Le pitch est séduisant. Manquer de données d’entraînement ? Fais simplement générer plus par l’IA. Utilise ton modèle existant pour créer des datasets synthétiques, puis entraîne le modèle suivant sur ceux-ci. Problème résolu.

Sauf que les preuves disent que cela marche surtout pas. Pas de la façon que les promoteurs le prétendent. Et les raisons pourquoi sont plus intéressantes que l’échec lui-même.

La Promesse

La génération de données synthétiques promet de résoudre le goulot d’étranglement des données d’entraînement. Si tu peux utiliser un modèle pour générer des exemples d’entraînement illimités de haute qualité, tu as efficacement créé des données infinies. Tu peux entraîner des modèles plus grands, couvrir plus de domaines, et faire tout cela sans les maux de tête légaux de scraper internet.

L’idée n’est pas nouvelle. Les GANs générent des images synthétiques depuis des années. Les environnements simulés ont entraîné les modèles de robotique avec succès. Dans ces domaines étroits, les données synthétiques fonctionnent remarquablement bien.

La question est si cela fonctionne pour le problème beaucoup plus difficile d’entraîner des modèles de langage général. La réponse, croissante, est non.

Le Problème d’Effondrement du Modèle

En 2023, des chercheurs à Oxford et Cambridge ont publié un paper landmark sur l’effondrement du modèle. La découverte était starkness : les modèles entraînés sur les données synthétiques de générations de modèles précédentes dégradent progressivement. Chaque génération perd les queues de la distribution — les sorties rares, inhabituelles, créatives qui rendent les modèles de langage utiles.

Le mécanisme est intuitif une fois que tu le vois. Un modèle génère du texte qui reflète les sorties les plus probables données son entraînement. C’est biaisé vers la moyenne, l’attendu, le conventionnel. Quand tu entraînes un nouveau modèle sur cette sortie, tu entraînes sur une version lissée, moyennée de la réalité. Fais cela pour plusieurs générations et tu obtiens du texte qui est grammaticalement parfait et substantiellement vide.

Ce n’est pas une préoccupation théorique. Les labs qui ont expérimenté avec les données synthétiques à grande échelle rapportent le même motif. Les modèles deviennent plus fluides mais moins intéressants. Plus consistants mais moins capables de gérer les edge cases. Plus prévisibles mais moins utiles.

Où les Données Synthétiques Fonctionnent Réellement

Les données synthétiques ne sont pas inutiles. Elles fonctionnent bien dans des scénarios spécifiques, contraints.

Mathématiques et code. Tu peux générer des problèmes mathématiques avec des solutions vérifiées. Tu peux générer du code avec des cas de test qui prouvent la correctness. Dans les domaines où tu peux formellement vérifier la sortie, les données synthétiques sont puissantes parce que la qualité est objective et mesurable.

Data augmentation. Utiliser les données synthétiques pour supplémenteer les données réelles, pas les remplacer, peut améliorer la performance. Un ensemble d’entraînement qui est 90% réel et 10% synthétique outperform souvent 100% réel, parce que les données synthétiques remplissent les gaps en couverture.

Tâches structurées. Classification, extraction d’entité, conversion de format — les tâches avec des réponses claires bénéficient d’exemples synthétiques. Tu peux générer des milliers d’exemples labelisés pour une tâche spécifique beaucoup plus vite que les annotateurs humains.

Le motif est clair : les données synthétiques fonctionnent quand tu peux vérifier la qualité algorithmiquement. Elles échouent quand la qualité est subjective, nuancée, ou exige le jugement humain pour évaluer.

Le Problème de Diversité

Le problème le plus profond avec les données synthétiques n’est pas la qualité — c’est la diversité. Le texte généré par humain reflète la pleine gamme de l’expérience humaine, de la perspective, et de la créativité. Il contient des surprises, des contradictions, des cadrages novateurs, et de véritables insights.

Le texte généré par IA contient aucun de ceux-ci. Il reflète la distribution d’entraînement, lissée et moyennée. Même avec temperature sampling et d’autres techniques pour augmenter la variété, la sortie reste dans les limites de ce que le modèle a déjà appris. Il peut recombiner. Il ne peut pas véritablement créer.

Cela importe parce que la valeur des données d’entraînement n’est pas juste l’information — c’est la distribution de l’information. Un modèle a besoin de voir les événements rares pour gérer les événements rares. Il a besoin d’rencontrer les perspectives inhabituelles pour les comprendre. Les données synthétiques, par définition, sous-représentent tout ce qui est inhabituel.

La Boucle de Feedback

Il y a une dynamique encore plus préoccupante. Alors que le contenu généré par IA augmente sur internet, les futurs datasets d’entraînement contiendront inévitablement plus de données synthétiques, même quand les labs essaient de les filtrer. Cela crée une boucle de feedback où les modèles sont partiellement entraînés sur la sortie des modèles précédents, génération après génération.

Les conséquences à long terme de cette boucle de feedback sont obscures, mais les preuves initiales suggèrent qu’elles sont négatives. Les modèles deviennent plus homogènes au fil du temps. Les styles d’écriture convergent. Les perspectives se rétrécissent. Internet commence à sonner comme s’il avait été écrit par la même entité — parce qu’on l’était de plus en plus.

C’est un problème d’action collective. Chaque lab individuel utilisant les données synthétiques peut voir des résultats acceptables. Mais l’effet cumulatif sur l’industrie dégrade l’écosystème entier.

Ce Que l’Industrie Fait

Les labs intelligents s’éloignent des approches naïves de données synthétiques et vers des stratégies plus sophistiquées.

Les approches d’IA constitutionnelle utilisent les données synthétiques non pas pour l’entraînement général mais pour les objectifs d’alignement spécifiques. Les données synthétiques ne font pas semblant d’être humain — elles fournissent des exemples ciblés du comportement souhaité.

La distillation utilise un modèle plus grand pour générer des données d’entraînement pour un modèle plus petit. Cela fonctionne parce que tu n’essayes pas de dépasser la capacité du professeur — tu essayes de la compresser. La perte d’information est acceptable parce que l’objectif est l’efficacité, pas l’amélioration.

Les approches hybrides mélangent soigneusement les données synthétiques et réelles avec des contrôles de qualité stricts. Les données synthétiques sont utilisées pour remplir les gaps spécifiques, pas pour remplacer les contenus générés par humain en gros.

La Vue Contemplative

D’une perspective de recherche contemplative, le débat sur les données synthétiques révèle une confusion plus profonde sur ce que les données d’entraînement réellement sont.

Les données ne sont pas juste des tokens. C’est de l’expérience cristallisée. Quand un humain écrit un paragraphe sur le chagrin, ce paragraphe porte le poids de l’expérience vécue. Quand un modèle génère un paragraphe sur le chagrin, il porte le poids des motifs statistiques. Les tokens pourraient ressembler identiques. Le contenu d’information est fondamentalement différent.

Cette distinction importe pour l’alignement. Si nous voulons les systèmes IA qui comprennent les valeurs humaines, nous avons besoin de données d’entraînement qui incarnent les valeurs humaines. Pas des approximations synthétiques des valeurs humaines générées par un système qui n’a jamais valorisé rien.

Chez Laeka Research, nous pensons que la question des données synthétiques finalement pointe vers une question plus difficile : quelle est la relation entre les données et la compréhension ? La compréhension peut-elle émerger des données qui eux-mêmes ont été générés sans compréhension ?

Les preuves disent surtout non. Et ça vaut la peine de prendre au sérieux.