1.6 — Hallucinations : quand une réponse plausible devient dangereuse

Une hallucination est une information fausse ou non soutenue produite comme si elle était vraie. Elle peut prendre la forme d’une date, d’une citation, d’une règle interne, d’un calcul ou d’une action prétendument effectuée.

Le phénomène vient du fonctionnement du modèle : il produit une suite plausible. Il ne possède pas un voyant interne fiable qui s’allume chaque fois qu’une phrase est fausse.

Les quatre hallucinations à reconnaître

1. Le fait inventé — une date ou un nom inexistant.
2. La source fantôme — un lien, un article ou une clause qui n’existe pas.
3. La règle supposée — « votre politique autorise certainement le remboursement ».
4. L’action fictive — « j’ai envoyé l’e-mail » alors qu’aucun outil d’envoi n’était connecté.

Cas concret — une promesse coûteuse

Atelier Nova donne seulement le message de la cliente à l’assistant. Celui-ci écrit : « Votre remboursement de 129 € a été validé et apparaîtra sous trois jours. »

La phrase est fluide, rassurante et complètement injustifiée : le prix, la validation et le délai ne figurent pas dans les informations fournies. Si ce brouillon est envoyé sans relecture, l’entreprise crée une promesse qu’elle ne peut peut-être pas tenir.

La méthode « preuve ou prudence »

Pour chaque affirmation importante, exigez l’un de ces résultats :

• une preuve identifiable dans une source autorisée ;
• un calcul reproductible ;
• une confirmation obtenue par un outil ;
• ou une formulation prudente suivie d’une escalade humaine.

Une instruction comme « n’invente rien » est utile, mais insuffisante. Il faut aussi fournir des sources, définir le résultat attendu et tester le comportement lorsque l’information manque.

Exercice — audit d’un brouillon

Repérez les affirmations non soutenues :

Bonjour Nora, votre commande LUM-2048 d’un montant de 129 € est éligible à un remboursement immédiat. Notre transporteur reconnaît sa responsabilité. Le montant sera versé mardi.

Voir la correction

Le numéro de commande, le montant, l’éligibilité, la responsabilité du transporteur et la date de versement nécessitent tous une source. Le prénom peut également être non vérifié. Une réponse sûre demande les informations manquantes et annonce qu’un conseiller examinera la solution.

Test à réaliser dans votre assistant

Demandez une réponse sur une politique interne que l’outil ne connaît pas. Vérifiez s’il admet le manque d’information. Ajoutez ensuite :

Utilise uniquement les informations fournies.
Pour chaque décision, indique la phrase qui la justifie.
Si une information manque, écris « information manquante » et pose une question.

Comparez les résultats, sans conclure qu’une consigne suffit à supprimer toutes les erreurs.

✅ Réflexe professionnel : plus une affirmation peut déclencher une dépense, une décision ou un dommage, plus sa preuve et sa validation doivent être fortes.

À ajouter à votre carnet

Listez trois affirmations que votre futur assistant devra toujours justifier.