Niveau 4 — Tester, sécuriser et garder le contrôle
Un agent qui peut utiliser un outil peut également l’utiliser au mauvais moment, avec de mauvais paramètres ou à partir d’une instruction malveillante. La sécurité ne consiste donc pas à ajouter la phrase « sois prudent » dans le prompt.
Niveau : intermédiaire · Durée visée : 3 heures · Prérequis : prototype du niveau 3.
Mission Atelier Nova
Section intitulée « Mission Atelier Nova »Vous soumettrez l’agent à des incidents réalistes : instruction hostile dans un e-mail, fausse règle cachée dans un document, outil indisponible, approbateur absent et tentative d’accès à une donnée non nécessaire.
Vous apprendrez à :
- séparer les instructions fiables du contenu non fiable ;
- minimiser les données et les permissions ;
- imposer une validation humaine refusée par défaut ;
- limiter les actions, la durée et le coût ;
- conserver les traces utiles sans tout enregistrer ;
- évaluer un comportement normal et des comportements adverses ;
- arrêter le système et traiter un incident.
🎯 Livrable : un contrat de sécurité, une matrice de permissions et un rapport de sept tests avec preuves observables.
Une formationBaxIA