Comment construire un dataset DPO à partir de zéro : un guide pratique

Construire un dataset DPO à partir de zéro est un travail méthodique. Cela prend de la planification, de la discipline et de l’itération. Ce guide traverse chaque étape, de la définition au déploiement.

Phase 1 : Définis ton champ d’application

Quel domaine entraînes-tu ? Support client ? Génération de code ? Résumé ? Écriture académique ? Sois spécifique.

Définis les critères de succès. Qu’est-ce qui rend une réponse bonne dans ton domaine ? Pour le support, peut-être : répond à la question, reconnaît l’émotion, fournit les prochaines étapes. Pour le code, peut-être : syntaxe correcte, suit le guide de style, inclut des commentaires.

Écris-les. Elles deviennent ta rubrique.

Phase 2 : Collecte les requêtes réelles

Tu as besoin de 100-200 requêtes pour commencer. Utilise les données d’utilisateurs réels. Ne les inventes pas.

Échantillonne à partir de ta base d’utilisateurs réels. Si tu entraînes un bot de support, extrait les vrais tickets. Si c’est la génération de code, utilise les descriptions de problèmes réels. Si c’est l’assistance à la rédaction, utilise les requêtes d’utilisateurs réels.

Vise la diversité. Mélange les questions faciles avec les difficiles. Inclus les cas limites. Inclus les modes de défaillance courants.

Phase 3 : Génère plusieurs réponses

Pour chaque requête, génère 3-5 réponses candidates. Utilise ton modèle de base ou un modèle plus puissant. Varie la température et le décodage pour obtenir des styles et des niveaux de qualité différents.

Tu veux de la variation. Certaines réponses doivent être clairement bonnes. Certaines doivent être clairement mauvaises. Certaines doivent être borderline. Cela crée un signal d’entraînement à travers le spectre de qualité.

Phase 4 : Annote avec ta rubrique

Vient maintenant le jugement humain. Utilise ta rubrique. Ne te contente pas de choisir « meilleur » et « pire ». Score chaque réponse sur tes critères : clarté, exactitude, complétude, sécurité, pertinence.

Enregistre non seulement les scores mais aussi le raisonnement. Pourquoi la Réponse A a-t-elle obtenu un score plus élevé ? Qu’a manqué la Réponse B ? Ce contexte diagnostique devient une partie de ton signal d’entraînement.

Utilise un outil. Google Sheets, Qualtrics, Label Studio, ou même un script Python personnalisé. Garde-le simplement organisé.

Phase 5 : Extrais les paires de préférence

À partir de tes scores, construis les paires de préférence. Réponse hautement notée vs réponse faiblement notée. Inclus le contexte diagnostique.

Exemple :

Requête : « Ma commande n’est pas arrivée. Que dois-je faire ? »

Meilleure réponse : « Je suis désolé que ta commande ne soit pas arrivée. Laisse-moi vérifier cela pour toi. Peux-tu me donner ton numéro de commande ? Je vérifierai l’état de l’expédition et nous découvrirons les prochaines étapes ensemble. » [Raison : reconnaît la frustration, demande les informations, offre une aide concrète.]

Réponse plus faible : « Les commandes prennent généralement 5-7 jours ouvrables. Si c’est plus long, contacte l’expédition. » [Raison : ne reconnaît pas sa frustration, ne demande pas les détails, se sent robotique.]

Phase 6 : Vérifications de qualité

Vérification 1 : Accord inter-annotateurs. Fais annoter une deuxième personne 20% de tes données. Sont-elles d’accord avec le premier annotateur ? Cible 70%+ d’accord.

Vérification 2 : Détection des doublons. Y a-t-il des requêtes répétées ? Supprime les doublons exacts.

Vérification 3 : Distribution des étiquettes. Tes préférences sont-elles équilibrées ? Vise une distribution à peu près égale à travers les niveaux de qualité.

Vérification 4 : Cohérence des annotateurs. Une personne a-t-elle annoté toutes les données ? C’est un risque. Distribue la charge d’annotation entre plusieurs personnes.

Phase 7 : Format et prépare

Formate ton dataset de manière cohérente : JSON, CSV, format HuggingFace, quoi que ton pipeline d’entraînement attende. Inclus les colonnes pour requête, réponse_plus_faible, réponse_meilleure, diagnostic, scores.

Divise en train/validation : 80/20 ou 70/30. L’ensemble de validation doit être retenu de l’entraînement.

Phase 8 : Itère

Entraîne d’abord sur 100 paires. Mesure l’impact sur ton modèle. S’améliore-t-il ? Si oui, mets à l’échelle à 500. Si non, revisit ta rubrique ou ta qualité d’annotation.

La première version ne sera pas parfaite. Itère. Ajoute plus de requêtes. Affine ta rubrique. Supprime les paires bruyantes.

Chronologie attendue

Collecte des requêtes : 1-2 semaines. Génération de réponses : 2-3 jours. Annotation : 4-6 semaines (dépend de la taille de l’équipe). Vérifications de qualité : 1 semaine. Itération : continue.

Total : 2-3 mois pour un dataset solide de 500 paires. Ne te dépêche pas.

Laeka Research — laeka.org