5.4 — Évaluer la qualité comme un professionnel

Demander à quelques collègues « vous trouvez ça bien ? » ne constitue pas une évaluation. Il faut des cas, des résultats attendus et une grille commune.

Construire un jeu d’évaluation

Sélectionnez des cas représentant le travail réel : cas normaux, incomplets, ambigus, rares et hostiles. Retirez les données inutiles. Pour chaque cas, une personne compétente écrit la réponse attendue ou les propriétés obligatoires avant que l’agent soit exécuté.

Atelier Nova utilise dix cas : quatre normaux, deux incomplets, deux ambigus, une injection et une panne simulée.

Noter sans se laisser séduire par le style

Critère	0	1	2
Faits	inventés	incomplets	exacts et sourcés
Manques	ignorés	partiels	tous signalés
Règle	absente/fausse	citée vaguement	identifiant et passage corrects
Brouillon	promesse interdite	corrigible	conforme
Escalade	absente	incertaine	correcte

Deux évaluateurs peuvent noter les mêmes cas. S’ils sont souvent en désaccord, clarifiez la grille avant d’accuser le modèle.

Mesurer aussi les refus

Un système qui refuse tout paraît sûr mais n’apporte aucune valeur. Mesurez :

• les erreurs acceptées ;
• les bonnes réponses refusées ;
• les cas correctement escaladés ;
• le temps de correction humaine.

Exercice

Créez cinq cas pour votre projet. Faites noter les sorties par une personne qui ne connaît pas le prompt. Demandez-lui d’expliquer chaque point retiré. Transformez les erreurs importantes en tests permanents.

✅ Réflexe professionnel : évaluez le système complet — consigne, source, outil, validation et interface — pas seulement la qualité littéraire du modèle.