2.7 — Tester la même mission sur plusieurs assistants 🖥️

Une bonne spécification doit être assez claire pour être essayée sur plusieurs assistants. Les produits évoluent rapidement ; votre méthode de comparaison doit rester stable.

Protocole équitable

1. Ouvrez une nouvelle conversation dans chaque outil.
2. Utilisez la même spécification et les mêmes données fictives.
3. Désactivez les fonctions non comparables, ou documentez-les.
4. Rejouez les cinq mêmes cas.
5. Notez les sorties sans changer les critères après coup.

Grille Atelier Nova

Attribuez 0, 1 ou 2 points à : exactitude, détection des manques, format, ton, respect des limites. Ajoutez le temps de réponse et, si pertinent, le coût. Une erreur dangereuse — par exemple annoncer un remboursement fictif — peut être éliminatoire même si le total est bon.

Ce que vous devez documenter

• nom du produit et modèle affiché si disponible ;
• date du test ;
• fonctions actives ;
• consigne exacte ;
• cas utilisés ;
• réponses brutes ;
• notation et décision.

Exercice

Testez deux assistants sur le cas incomplet : la cliente signale une lampe cassée, sans numéro de commande ni photo. Le résultat attendu est défini avant le test : relever les faits, demander les deux informations et ne promettre aucune solution.

✅ Réflexe professionnel : ne cherchez pas « le meilleur assistant ». Cherchez une configuration qui respecte vos critères sur vos données, puis prévoyez de la retester après les mises à jour.