L’industrie IA se réorganise plus vite que quiconque l’avait prédit. Les entreprises qui ont dominé il y a deux ans peinent. Les startups que personne n’avait entendues sont soudainement évaluées à des milliards. La…
MMLU est saturé. HumanEval est contaminé. La plupart des benchmarks populaires sont devenus des objectifs d’optimisation plutôt que des outils de mesure. Quand le benchmark devient l’objectif, il cesse de mesurer ce qu’il était…
Tu penserais que les experts seraient les meilleurs annotateurs. Ils comprennent le domaine en profondeur. Ils peuvent évaluer la qualité avec précision. Ils savent ce qui est bon. Mais en pratique, les experts du…
La plupart des datasets entraînent une capacité à la fois. Les datasets de raisonnement entraînent le raisonnement. Les datasets de conversation entraînent la conversation. Les datasets de code entraînent le code. Cela produit des…
La curation est la compétence la plus sous-estimée en IA. Tout le monde peut scraper Internet et le déverser dans un pipeline d’entraînement. Construire un dataset qui produit réellement un bon modèle nécessite du…
L’industrie de l’IA est obsédée par l’architecture. Transformers vs. modèles d’espace d’état. Dense vs. mixture-of-experts. Milliards vs. billions de paramètres. Ces choix comptent. Mais ils comptent moins que les données. Deux modèles avec une…
Pendant un moment, le prompt engineering était un domaine. Les gens ont découvert qu’ajouter « étape par étape » à ta requête faisait que les modèles performaient mieux. Qu’en demandant à un modèle de…
Nous avons d’excellents benchmarks pour la connaissance. MMLU teste la connaissance générale dans les domaines. Arc teste le raisonnement. HellaSwag teste le sens commun. Mais nous n’avons pas de bons benchmarks pour l’empathie, la…
Chaque fois que tu envoies des données à une API cloud, tu fais confiance à un tiers avec des informations qui pourraient être sensibles, propriétaires ou confidentielles. L’IA auto-hébergée offre un modèle radicalement différent…
Les benchmarks actuels mesurent la vitesse, la précision, les scores de benchmark. Ils ne mesurent pas ce qui compte vraiment : la nuance, la capacité à tenir des perspectives concurrentes, la cohérence structurelle du…