Un agent IA peut-il se tromper ? Erreurs, hallucinations et garde-fous
Oui, un agent IA peut se tromper. Les cinq garde-fous qui rendent l’erreur rare, visible et rattrapable : cas réels, passage de relais, validation, traces.
« Et s’il se trompe ? » C’est la bonne question. Un agent IA peut se tromper, et le nier serait mentir. Ce qui compte, c’est de rendre l’erreur rare, visible et rattrapable.
Les erreurs possibles
- Mal lire : un montant mal extrait d’une facture scannée de travers.
- Inventer : une réponse plausible mais fausse, quand l’information manque (ce qu’on appelle une hallucination).
- Mal appliquer une règle : traiter comme un cas courant ce qui était une exception.
- Dériver dans le temps : un outil change, un modèle d’IA évolue, et ce qui marchait commence à répondre à côté.
Même les solutions des grands éditeurs n’échappent pas à la règle : sur un banc d’essai publié par Salesforce, un agent de relation client réussissait 58 % des tâches simples et 35 % des tâches en plusieurs étapes. D’où l’importance de concevoir pour l’erreur, plutôt que de la nier.
Les cinq garde-fous
1. Vérifier sur vos cas réels, avant la mise en service
Pas sur des exemples fabriqués : sur vos commandes, vos emails, vos demandes, avec leurs exceptions. Pour un processus complet, nous vérifions l’agent sur 15 à 30 de vos cas réels avant de le mettre en service.
2. Passer la main quand il ne sait pas
Un bon agent sait dire « je ne sais pas ». Les règles de passage à une personne sont écrites au cadrage : au-delà d’un seuil de doute, sur tel type de cas, l’agent s’arrête et transmet, avec un résumé.
3. Faire valider ce qui engage l’entreprise
Chaque action est classée selon son enjeu :
| Mode | Pour quoi | Exemple |
|---|---|---|
| L’agent agit seul | ce qui est réversible et sans enjeu | diffuser le compte rendu d’une réunion |
| L’agent prépare, une personne valide | ce qui part vers l’extérieur | la réponse à une réclamation |
| L’agent prépare, une personne décide et exécute | ce qui ne se rattrape pas | un paiement |
Payer, signer, fixer un prix, publier sans relecture : jamais par un agent seul.
4. Garder la trace de chaque décision
Un journal de ce que l’agent a traité, et la trace de ses décisions : pour comprendre une erreur, la corriger, et ne pas la répéter.
5. Surveiller dans la durée
Les outils changent, les règles aussi. Une surveillance régulière, avec des corrections et un rapport de valeur, évite la dérive lente. Voir Pourquoi un agent IA dérive sans supervision, et comment l’éviter ?.
Réduire les hallucinations à la source
Un modèle d’IA invente surtout quand il manque d’information. Le meilleur remède est de lui donner vos sources (vos règles, vos tarifs, vos procédures) et de lui interdire de répondre en dehors. C’est le rôle de la connaissance écrite pour les agents : Pourquoi vos agents IA ont besoin d’une mémoire et de règles communes.
Ce que nous livrons avec chaque agent
Le journal, la trace des décisions, des accès limités au nécessaire, la documentation de reprise en cas d’erreur, et les règles de validation : c’est compris dans chaque réalisation. Le détail : Gouvernance.
Sources
- Salesforce AI Research, banc d’essai CRMArena : 58 % de réussite sur les tâches simples, 35 % sur les tâches en plusieurs étapes, pour un agent du marché.