Qualité du raisonnement vs couverture factuelle : Le compromis qu’on ne peut pas contourner

Tu dois choisir. Pas simultanément — en entraînement, tu choisis.

Qualité de raisonnement ou couverture factuelle?

Un modèle qui raisonne bien mais connaît 10,000 faits. Un modèle qui connaît 100,000 faits mais raisonne superficiellement. Peu de ressources permettent les deux à la fois.

Les coûts cachés de chaque chemin

Raisonnement approfondi

Entraîne sur des chaînes de pensée complexes, des déductions multi-étapes, des corrections de biais. Le modèle apprend à penser lentement et correctement.

Coût : Moins de données brutes, moins de faits mémorisés. Quand il rencontre un fait qu’il ne connaît pas, il doit déduire ou admettre l’incertitude. Les utilisateurs qui cherchent “dis-moi juste le nombre de morts à X” seront frustés.

Couverture factuelle large

Entraîne sur plus de données, plus de domaines, plus de faits bruts. Le modèle devient une encyclopédie.

Coût : Raisonnement superficiel. Il dira “oui” ou “non” vite, mais il ne saura pas pourquoi. Quand les faits entraient en conflit ou demandent une synthèse, le modèle hallucine plutôt que de raisonner.

Où le choix s’endurcit vraiment

Les architectures actuelles (transformer standard) ne résolvent pas bien ce compromis. Augmenter la taille du modèle aide un peu, mais pas assez. À un moment, tu dois choisir.

Et ton choix affecte tout :

• Récupération : Raisonnement profond nécessite une RAG mieux calibrée. Couverture large peut compter sur la mémoire brute.
• Interprétabilité : Un modèle qui raisonne produit des chaînes de pensée traçables. Un modèle factuel produit des déclarations — bonus ou malus selon ce que tu essaies de faire.
• Confiance des utilisateurs : Les gens préfèrent un modèle honnête qui dit “je ne sais pas” (raisonnement) vs un modèle qui hallucinne confidentement (couverture).

Vers une troisième voie?

MoE (Mixture of Experts) offre une sortie : certains experts apprennent le raisonnement profond, d’autres apprennent la couverture factuelle. Routing intelligent les active en fonction du contexte.

C’est prometteur, mais c’est plus un contournement qu’une solution. Le problème fondamental demeure : une seule passe neurales à travers les poids ne peut pas simultanément approfondir et étendre.

Le choix reste. La question est : lequel de tes utilisateurs as-tu besoin de servir le mieux?