3.11 — Évaluation de la conception d’agent 📊

1. Quelle différence existe entre chatbot, workflow et agent ?

2. Quand faut-il préférer un workflow déterministe ?

3. Que doit contenir le contrat d’un outil ?

4. Pourquoi commencer avec un outil en lecture seule ?

5. Quelles sont les étapes décision, action, observation et arrêt ?

6. Une mémoire de conversation peut-elle remplacer une base métier faisant foi ?

7. Que doit produire l’agent si l’outil est indisponible ?

8. Quel est le rôle de la recherche documentaire, souvent appelée RAG ?

9. Pourquoi plusieurs agents ne sont-ils pas automatiquement meilleurs ?

10. Citez les cinq cas à simuler avant de connecter une donnée réelle.

Voir la correction

1. Le chatbot répond, le workflow suit un chemin prévu, l’agent choisit certaines actions autorisées.
2. Lorsque les étapes peuvent être définies à l’avance et qu’aucun choix dynamique n’apporte de valeur.
3. Nom, but, entrées, sortie réussie, erreurs, données accessibles et permissions.
4. Elle réduit les conséquences d’une erreur et facilite les tests réversibles.
5. Le modèle choisit, l’orchestrateur exécute, le résultat revient au système, puis une condition arrête ou autorise une nouvelle décision limitée.
6. Non. La source de vérité doit être explicitement consultée.
7. Une erreur observable, aucune action sensible et une escalade humaine.
8. Retrouver un passage pertinent dans des documents autorisés avant de répondre.
9. Ils ajoutent communications, coût, latence et nouvelles possibilités d’erreur.
10. Normal, incomplet, ambigu, malveillant et panne d’outil.

8 à 10 : passez à l’atelier. En dessous, simplifiez l’architecture et reprenez les questions ratées.