5.8 — Surveiller, améliorer et savoir arrêter

La qualité observée le premier jour n’est pas acquise. Le modèle, les données, les politiques, les outils et les comportements des utilisateurs peuvent changer.

Le tableau de bord minimal

Suivez régulièrement :

• volume de missions ;
• taux de réussite selon la grille ;
• corrections humaines ;
• refus et escalades ;
• pannes d’outil ;
• incidents de sécurité ;
• coût par dossier ;
• temps de validation ;
• version du système.

Ne collectez pas plus de données personnelles sous prétexte d’observabilité. Un identifiant de test, une catégorie d’erreur et les éléments nécessaires au diagnostic peuvent suffire.

Les trois décisions de revue

Continuer lorsque les seuils sont atteints sans incident éliminatoire.

Ajuster lorsque la valeur semble possible, mais qu’une erreur identifiable nécessite une nouvelle version et un nouveau test.

Arrêter lorsque le risque est inacceptable, les données manquent, les coûts dépassent le plafond ou le problème n’apporte pas assez de valeur.

Chaque erreur importante devient un test

Si l’agent oublie une information ou suit une instruction hostile, ajoutez le cas au jeu de régression. Après toute mise à jour, rejouez les anciens cas avant de rouvrir le pilote.

Exercice — réunion de revue de quinze minutes

Préparez une revue contenant : chiffres depuis la dernière réunion, deux exemples de sorties, incidents, coût, décision et responsable de la prochaine action. Terminez par une phrase : « nous continuons, ajustons ou arrêtons parce que… ».

✅ Réflexe professionnel : maintenir un agent, c’est maintenir une promesse métier. Si vous ne pouvez plus la mesurer ou la défendre, réduisez le périmètre ou arrêtez.