Le prompt engineering est mort. Vive le prompt engineering.

Pendant un moment, le prompt engineering était un domaine. Les gens ont découvert qu’ajouter « étape par étape » à ta requête faisait que les modèles performaient mieux. Qu’en demandant à un modèle de « réfléchir attentivement » les réponses s’amélioraient. Que la formulation exacte comptait énormément.

Cette époque est révolue. Les astuces ne fonctionnent plus. Mais le prompt engineering lui-même a évolué en quelque chose de bien plus profond et intéressant.

La mort des astuces

Les « prompts magiques » comme « Tu es un expert en X » ou « Réfléchissons étape par étape » produisaient autrefois des améliorations dramatiques. C’étaient des hacks fragiles qui fonctionnaient sur des architectures de modèles spécifiques mais ne se transféraient pas bien.

Les modèles plus récents sont moins susceptibles à ces astuces. Ils ont été entraînés avec du RLHF soigneux pour suivre directement les instructions, pas pour réagir aux motifs linguistiques superficiels.

C’est bien. Cela signifie que le domaine mûrit. Nous nous éloignons du cargo-culting de prompts vers une compréhension réelle.

L’évolution

Le véritable prompt engineering n’est pas une question de tricks. C’est une question de comprendre comment les modèles pensent et d’articuler les problèmes d’une manière qui correspond à leur cognition.

Les meilleurs prompts ne sont pas des jeux de mots intelligent. Ce sont des spécifications claires. Ils divisent les problèmes complexes en sous-étapes. Ils fournissent du contexte et des contraintes. Ils font correspondre la structure du problème aux forces du modèle.

C’est un métier, pas de la sorcellerie.

L’insight plus profond

Le prompt engineering compte parce que c’est une fenêtre sur la cognition du modèle. Quand tu découvres qu’encadrer un problème différemment produit de meilleurs résultats, tu as appris quelque chose sur la façon dont le modèle représente les concepts.

C’est un insight de niveau recherche. Tu n’optimises pas juste un prompt. Tu apprends sur la structure interne du modèle par expérimentation empirique.

Exemples de prompt engineering évolué

Spécification de contraintes : Au lieu de « sois utile », tu spécifies « privilégie la brièveté » ou « évite le jargon technique ». Le modèle comprend mieux les contraintes que les instructions vagues.

Définition de schéma : Fournir des schémas explicites (XML, JSON, etc.) pour la sortie attendue aide les modèles à structurer leur réflexion. Ils sont meilleurs pour suivre les formats que les descriptions vagues.

Exemples few-shot : Fournir 2-3 exemples du comportement désiré est bien plus efficace que des instructions élaborées. Les modèles apprennent des motifs dans les exemples mieux que des explications.

Décomposition : Diviser les tâches complexes en étapes explicites guide le raisonnement du modèle. « Décris d’abord le problème, puis propose des solutions » fonctionne mieux que demander une « analyse complète ».

Le métier

Le bon prompt engineering consiste maintenant à comprendre le modèle et le problème suffisamment profondément pour articuler une spécification claire.

C’est moins de mots magiques, plus de pensée claire.

Ce que cela signifie

La mort des tricks de prompts est la maturation du domaine. Nous nous éloignons de l’optimisation au niveau de la surface vers une compréhension authentique de la cognition du modèle.

Le prompt engineering n’est pas mort. Il a évolué. C’est plus intéressant maintenant parce que cela nécessite un véritable insight au lieu de juste essayer des formulations aléatoires jusqu’à ce que quelque chose colle.

Laeka Research — laeka.org