Datasets et curation

Datasets et curation

Le compromis qualité-quantité : 500 bonnes paires battent 50 000 mauvaises

Il y a une pression pour construire de grands datasets. 100k paires. 500k paires. « Plus de données c’est toujours mieux », la pensée va. C’est faux. La recherche de Laeka montre un motif…
Datasets et curation

Pourquoi les petits modèles avec de bonnes données battent les grands modèles avec de mauvaises données

L’obsession de la taille du modèle manque quelque chose de fondamental. Un modèle de 7 milliards de paramètres entraîné sur des données de haute qualité et spécifiques au domaine surpassera un modèle de 70…