Gestion du risque systémique pour les systèmes probabilistes distribués
La question ne concerne pas l’autonomie de l’agent per se. Elle concerne la propagation d’assertions incertaines à travers une autorité décisionnelle déléguée vers des effets du monde réel qui interagissent.
Un système peut échouer même quand aucun composant ne viole son contrat local. Un agent SafetyTriage reste dans ses seuils de confiance. MedicalReview reste dans ses limites d’escalade. RegulatoryReporting reste dans son autorité de dépôt. Pourtant le système produit un résultat qu’aucun d’eux n’avait prévu : escalades en cascade qui submergent la capacité, erreurs corrélées qui s’amplifient dans la flotte, boucles de rétroaction qui déstabilisent l’ensemble.
Le problème n’est pas des agents défectueux. Le problème est que les systèmes probabilistes distribués exhibent une émergence. Les décisions locales interagissent. Les assertions se composent. Les effets s’accumulent. Le système devient une entité d’ordre supérieur avec des propriétés non réductibles aux propriétés des composants.
Les systèmes agentiques exigent une gouvernance systémique non parce que les agents sont peu fiables, mais parce que l’émergence est réelle. Le confinement local est nécessaire mais insuffisant.
La gouvernance systémique est un problème de contrôle en boucle fermée sous observabilité partielle. Le plan de contrôle ne peut pas observer parfaitement le système qu’il régule. Il fonctionne à partir d’observations bruitées, construit des estimations d’état, et prend des décisions basées sur des estimations qu’il sait incomplètes. La rétroaction détermine si le système se stabilise ou diverge.
Le risque local est la ligne de base : un agent fait une inférence probabiliste et n’est correct que avec probabilité p.
Les mécanismes de propagation convertissent le risque local en risque systémique par des canaux distincts :
Amplification : Les assertions portent l’incertitude épistémique, mais les agents aval les traitent comme des faits. Un SafetyModel génère « risque élevé » avec confiance 0,65, marqué INFÉRÉ. Le Safety Committee escalade avec 0,78. Par RegulatoryReporting, c’est OBSERVÉ fait avec 0,85. Le statut épistémique original a été blanchi. La fausse certitude pilote le système.
Corrélation : Si tous les agents dépendent du même modèle, tous les agents amplifient la même erreur simultanément. Ce n’est pas l’indépendance ; c’est la défaillance synchronisée dans une flotte supposément diverse.
Interaction : La décision d’un agent change le contexte pour le suivant, non par amplification d’erreur, mais par changement de l’environnement. L’agent A modifie un score de priorité. L’agent B observe et réalloue les ressources. L’agent C escalade une décision. Aucun n’excède individuellement l’autorité. Ensemble ils forment une boucle de rétroaction que personne n’a causée. Le système l’a fait.
Les facteurs structurels déterminent si la propagation et l’interaction deviennent catastrophiques : concentration de dépendance, saturation de capacité, incertitude d’estimation d’état, dynamiques temporelles.
Les cadres actuels fusionnent trois concepts différents sous « autonomie ». Ils doivent être séparés.
Enveloppe d’autonomie : Ce qu’un agent est autorisé à faire. Un espace d’action contraint par la politique.
Enveloppe de capacité : Capacité du système à absorber et traiter les effets sans entrer dans des états non récupérables. Une propriété dynamique : Capacité_disponible(t) = TauxService(t) - Charge(t) - Backlog(t).
Budget de risque : Allocation spécifique au domaine de la perte tolérable. Les effets sont incommensurables—les escalades cliniques, expositions financières, incidents réglementaires ne peuvent pas être ajoutés en un seul score. Mais ils peuvent être suivis en parallèle avec des seuils séparés.
La relation : Capacité_disponible(t) contraint Budget_Risque_disponible(t) Budget_Risque_disponible(t) contraint Enveloppe_Autonomie(t)
L’action est autorisée si : PolitiqueAutorise(action) ET CoûtRisque(action) ≤ BudgetRisque_restant[domaine] ET TauxService_disponible ≥ TauxService_requis(action).
Trois enveloppes, trois mécanismes distincts, trois canaux de rétroaction séparés.
L’insight récursif : le plan de gouvernance produit des assertions sur l’état du système. Ces assertions portent l’incertitude épistémique. Le plan de contrôle est sujet aux mêmes limites épistémiques qu’il impose aux agents.
Quand le plan de gouvernance estime « système à 87% d’utilisation de capacité », c’est une assertion avec confiance 0,73 et fenêtre de validité 5 minutes. Mais la gouvernance la traite comme un fait en prenant des décisions. C’est exactement le problème diagnostiqué au niveau de l’agent.
Le plan de gouvernance doit être transparent sur son propre statut épistémique. Les estimations d’état portent des limites explicites. Les décisions de contrôle sont prises en sachant l’incertitude.
L’état vrai du système peut-il être reconstruit à partir des sorties observables ? Si non, la gouvernance est aveugle. L’identifiabilité d’état est une précondition pour un contrôle efficace.
Voici la lacune architecturale critique : que se passe-t-il si le plan de contrôle lui-même échoue ?
Si le moteur de politique s’écrase, si l’estimateur d’état diverge, si l’autorité de décision est compromise, le système ne doit pas s’effondrer dans la paralysie ou l’action incontrôlée.
Le système exige un mode dégradé :
Défaillance du plan de contrôle détectée (l’estimation d’état diverge, le moteur de politique ne répond pas) ↓ Basculer vers politique gelée (dernier état de politique bon connu) ↓ Réduire les enveloppes d’autonomie automatiquement (défauts conservateurs) ↓ Acheminer les décisions à haut impact vers les portes d’approbation humaine ↓ Signaler l’anomalie (alerter les opérateurs que le système est dégradé)
Ce n’est pas une défaillance ; c’est une dégradation gracieuse. Le système perd l’optimisation mais conserve la sécurité.
Le plan de contrôle lui-même doit être conçu comme un système tolérant les pannes avec des minuteries de surveillance, des mécanismes de secours, une détection explicite de défaillance. Le mode dégradé n’est pas un espoir. C’est une architecture. Sans lui, le plan de contrôle est une défaillance de mode commun pour tout le système.
La gouvernance n’est pas un niveau de maturité à atteindre. C’est un point opérationnel à maintenir. La gouvernance optimale existe, mais elle n’est ni unique ni stable.
G_t* = argmin[ PerteAttendue_t(G) + CoûtGouvernance_t(G) ]
La gouvernance opère à un optimum qui se déplace quand les conditions changent. Les cadres qui résistent à la recalibration deviennent des obstacles.
La recalibration continue exige : État observable (instrumentation adéquate), flexibilité de politique (capacité à ajuster les contraintes rapidement), boucles de rétroaction (les conséquences retournent), seuils adaptatifs (plutôt que des règles fixes).
C’est la réponse proportionnée aux conditions changeantes, pas du hasard.
Assertion_t → Décision_t → Effet_t → État-Système_t+1 (observé avec délai) ↓ État-Estimé_t+Δt_obs (exigence d’observabilité : l’état vrai peut-il être reconstruit ?) ↓ BudgetRisque_t+Δt_politique (détermine, avec délai) ↓ Enveloppe-Autonomie_t+Δt_application (contraint, avec délai)
Les délais comptent. Le délai d’observation signifie que l’estimation prend du retard sur la réalité. Le délai de politique signifie que les contraintes sont basées sur des informations obsolètes. Le délai d’application signifie que de nouvelles assertions sont faites avant que les anciennes contraintes prennent effet.
L’instabilité peut naître non pas d’une mauvaise politique mais de délais dépassant le temps d’intégration du système. La théorie du contrôle enseigne : les délais dans les boucles de rétroaction négative peuvent causer l’instabilité et l’oscillation.
Plus fondamentalement : si le système n’est pas observabilité-état, la boucle de rétroaction est bâtie sur du contrôle aveugle. La gouvernance ne peut pas reconstruire ce que le système fait réellement. La boucle devient réactive plutôt que prédictive.
L’identifiabilité d’état est le fondement. L’observabilité est l’exigence d’ingénierie. Les deux doivent être conçues avant que la gouvernance puisse être efficace.
L’émergence est neutre. Elle peut être protectrice ou pathologique.
Émergence protectrice : La redondance prévient la cascade, les exigences de quorum préviennent le biais de modèle unique, la dégradation gracieuse préserve la fonction centrale.
Émergence pathologique : L’amplification en cascade, les défaillances synchronisées, les boucles de rétroaction qui déstabilisent, la surgovernance qui paralyse.
La tâche de gouvernance est d’améliorer l’émergence protectrice et de supprimer l’émergence pathologique. Vous ne pouvez pas prévenir l’émergence. Vous pouvez seulement la façonner.
La gouvernance optimale équilibre : contrainte suffisante pour prévenir l’émergence pathologique, liberté suffisante pour permettre l’émergence protectrice.
La trilogie se ferme sur elle-même.
L’article 1 demandait : quelle est la primitive ? Réponse : la capacité. L’agent est un choix d’implémentation.
L’article 2 demandait : comment savons-nous ? Réponse : les assertions portent un statut épistémique orthogonal au contenu. L’autorité est indépendante de l’épistémologie.
L’article 3 demande : comment contrôlons-nous ? Réponse : le plan de contrôle lui-même est un sous-système sujet aux limites épistémiques et aux boucles de rétroaction. Il doit être conçu comme une infrastructure tolérant les pannes.
Aucun gouverneur n’a un accès privilégié à la vérité de base. La gouvernance opère par observation, inférence, intervention—tout intégré au système gouverné.
L’architecture qui émerge : autorité locale liée, provenance épistémique préservée, exposition du système gouvernée, boucle de rétroaction contrôlée, plan de contrôle tolérant aux pannes.
C’est plus profond que « mieux gérer les agents ». C’est l’architecture du contrôle pour les systèmes probabilistes distribués sous observabilité partielle.
Le changement conceptuel est profond : du « cet agent est-il sûr ? » à « le système absorbe-t-il le risque au taux que nous pouvons tolérer ? »
Construisez en conséquence.
Notes doctrinales et explorations sur l’IA en systèmes régulés. Une à deux fois par mois. Désabonnement en un clic.