DE LA DÉMO À LA PREUVE
Comment mener le pilote d’un agent IA métier ?
Pour ce pilote avec approbation humaine, procédez en quatre temps : écrivez les règles du test et mesurez le travail actuel, testez le même lot de demandes, faites fonctionner le système sans modifier les outils réels, puis autorisez les actions prévues sur quelques cas après validation explicite. Définissez avant le lancement les seuils de valeur, de qualité, de sécurité, de traçabilité et d’éligibilité. Un effet critique non autorisé doit arrêter le pilote.
Repères : A0 à A4 décrivent le droit d’agir du système. R0 à R3 décrivent l’impact possible. Les lettres A à E, lorsqu’elles qualifient une source, décrivent seulement la solidité de la preuve.
À retenir
À retenir
- 01
Écrivez les décisions de passage, correction et arrêt avant d’observer les résultats.
- 02
Testez pannes, doublons, abstentions et retour arrière, pas seulement les cas faciles.
- 03
N’augmentez l’autonomie qu’après le passage du niveau actuel sur preuves réelles.
Quatre étapes de pilote
| Étape | Effet du système | Preuve | Condition de sortie |
|---|---|---|---|
| Situation initiale | Aucun | Temps manuel, qualité, volume, éligibilité | Décision et seuils figés |
| Hors ligne | Aucun | Cas réels figés et cas adverses | Aucun échec critique |
| Mode observation | Aucun effet externe | Traces du processus complet | Qualité acceptée stable |
| Réel borné | Effets réversibles approuvés | Résultats, exceptions, retour arrière | Passer, corriger ou arrêter |
Définissez cinq seuils de décision séparés
La valeur demande si le travail accepté s’améliore. La qualité vérifie le respect du standard de revue. La sécurité cherche tout effet critique ou non autorisé. La traçabilité permet de reconstruire validations et effets. L’éligibilité montre quelle part de la charge réelle est couverte. Le nombre de cas et la durée ci-dessous décrivent cet exemple, pas une taille de test universelle. Avant de tester, écrivez à quoi ressemble une réponse réussie et qui arrête le système après une action dangereuse.
Une preuve manquante donne un résultat inconnu
Une trace incomplète ou un échantillon trop petit ne constitue ni une réussite ni automatiquement un échec. Le pilote ne permet simplement pas encore de décider. Prolongez l’observation ou réparez la collecte sans augmenter l’autonomie.
CAS D’ÉCOLE
Un plancher pratique pour A2
Pour un agent métier borné, commencez avec environ 40 cas figés et 20 cas réels éligibles sur au moins 30 jours. Augmentez le volume pour les erreurs rares, les groupes affectés, la forte variance ou les effets à enjeu élevé. Le calendrier ne remplace jamais les cas éligibles.
- 40 cas figés
- 20 cas réels bornés
- Zéro effet critique non autorisé
Sources et limites
Sources et limites
Ces sources bornent la réponse. Elles ne transforment pas un cas publié en promesse pour votre organisation.
- 01NIST AI Risk Management Framework ↗
Rôles, mesure, traitement du risque et gouvernance du cycle de vie.
- 02NIST Generative AI Profile ↗
Actions de maîtrise des risques et considérations de preuve.
- 03OWASP GenAI Security Project ↗
Recommandations actuelles pour les systèmes LLM et agentiques.