La gouvernabilité ne s'inventorie pas, elle s'éprouve sous perturbation, et elle est distincte de la résilience
Une signature humaine apposée sur une décision algorithmique fonde l’imputabilité, pas la gouvernabilité. Quand l’Arizona impose au 1er juillet 2026 qu’un directeur médical signe tout refus de prise en charge produit par un algorithme (HB 2175), et que le Colorado fait de même au 30 juin (SB 24-205), le législateur obtient ce qu’il vise : un responsable désigné, un recours ouvert, une contestation fondée. Ce qu’il n’obtient pas, c’est la capacité du dispositif à rattraper la décision si elle se révèle fausse trois semaines plus tard, quand le patient est déjà sorti du circuit.
La thèse de cette note tient en une phrase : la gouvernabilité d’un dispositif ne se démontre pas par la présence de mécanismes de sûreté, mais par leur performance lorsqu’on les éprouve. Un coupe-circuit qui n’a jamais été actionné n’est pas une garantie, c’est une décoration. La démonstration vaut pour les systèmes automatisés dotés d’un superviseur identifiable, et emprunte ses contre-exemples mûrs à l’aviation, aux réseaux électriques et à la conduite de crise ; elle ne couvre pas les ordres distribués sans superviseur central.
Le risque n’est pas le flou d’un terme, c’est la confusion de trois, qu’il faut poser comme une chaîne du système vers son superviseur. La résilience est une propriété du système : sa capacité à absorber une perturbation sans intervention extérieure, par redondance, confinement, dégradation progressive ou marges. Un système résilient encaisse seul. La récupération est une propriété opératoire : la capacité à restaurer un espace d’états acceptable après le franchissement d’une perturbation non représentée. Elle nomme trois objets mesurables, un espace acceptable, un événement qui en sort, un retour dans le domaine, et s’illustre par l’activation d’un Plan de Reprise d’Activité après sinistre. La gouvernabilité, enfin, n’est pas une propriété du système mais de la relation système/superviseur : la capacité de ce dernier à maintenir le système dans un espace acceptable, ou à l’y ramener, attestée sous épreuve.
La distinction décisive se résume ainsi : la résilience décrit ce que le système fait seul, la gouvernabilité ce qu’un tiers peut encore en faire. La première est une vertu du système, la seconde une vertu du couple. C’est précisément cette différence d’objet qui sépare le concept de la résilience des systèmes complexes telle que la pensent Perrow, Hollnagel ou Woods. Disposer de ressources de gouvernance n’est d’ailleurs pas être gouvernable : l’armée française de 1940 avait l’observation, l’autorité et les moyens, et s’est effondrée faute d’articulation au rythme de l’événement.
La récupération prend deux formes qu’on confond. La première est la réversibilité, revenir en arrière, défaire, déclinée en registres non équivalents : technique (rollback), décisionnel (annulation), juridique (recours), physique ou clinique (réparation d’un dommage réel). C’est là que se logent les illusions de sûreté : on certifie un rollback technique en laissant intact un dommage clinique déjà advenu, car un refus de remboursement peut rester juridiquement réversible quand le dommage biologique, lui, ne l’est plus. La seconde forme est la résilience, survivre sans retour : la chirurgie, l’aviation, la gestion de crise nucléaire opèrent sur des décisions largement irréversibles et restent gouvernables parce qu’elles absorbent le dommage.
La réversibilité est donc le cas le plus puissant de la récupération, pas son unique modalité ; là où elle est impossible, la résilience en tient lieu. Ce que la gouvernabilité ajoute est la seule question que ni l’une ni l’autre ne pose d’elle-même : ce retour ou cette absorption sont-ils à la portée d’un superviseur, au bon moment, et l’a-t-on vérifié ?
Ce qui sépare les systèmes qui tiennent de ceux qui tombent n’est pas la chance, c’est la capacité de récupération mobilisable. La liste des effondrements (Three Mile Island, Challenger, Long-Term Capital Management, le Flash Crash de 2010, Fukushima) ne contient que des cas où la perturbation a gagné ; la liste symétrique existe pourtant, celle du contrôle aérien, des réseaux électriques et de l’aviation civile, qui traitent l’imprévu en routine. Les catastrophes ne réfutent pas la thèse, elles l’instancient : ce sont les cas où la récupération manquait.
Encore faut-il nommer correctement ce qui déclenche tout cela. La catégorie pertinente n’est pas la surprise, trop vague, mais la perturbation non représentée dans les hypothèses de conception : une dérive lente et un choc brutal y appartiennent également, et la dérive est souvent la plus dangereuse parce qu’elle ne déclenche aucune alarme. La limite est assumée : on ne démontre jamais la gestion d’un inconnu spécifique, seulement la performance, sous épreuve, de capacités génériques (largeur de l’espace restaurable, rapidité du retour, indépendance des chemins de rattrapage, marge avant l’irréversible). La gouvernabilité ne supprime pas l’incertitude sur l’inédit ; elle déplace le pari, de « avons-nous prévu cet événement ? » vers « avons-nous une machine de rattrapage assez générique, et l’avons-nous fait tourner ? ».
La capacité de récupération repose sur quatre ressources qui forment un graphe de dépendances, pas une pyramide : l’observabilité (voir ce que fait le système), l’intelligibilité (comprendre pourquoi), l’autorité (pouvoir agir sans sanction asymétrique) et la capacité d’intervention (disposer des moyens d’agir). Leurs dépendances sont croisées : sans observabilité suffisante la récupération est inutilisable, mais une forte observabilité compense une intelligibilité faible, comme on a piloté la vapeur, les antibiotiques et le deep learning bien au-delà de ce qu’on en explique. Et sans autorité, l’intervention reste fictive : un superviseur sanctionné pour avoir bloqué un flux apprend à ne plus bloquer. Ces quatre variables ne décrivent pas le système seul mais ce qu’un superviseur peut en voir, en comprendre, en décider et y faire ; c’est pourquoi elles relèvent de la gouvernabilité et non de la seule résilience.
La récupération ne disparaît pas par décision, elle s’érode par dilution, sous l’effet de quatre mécanismes qui se renforcent au lieu de s’additionner. Le mécanisme économique : l’automatisation effondre le coût marginal de la décision sans toucher celui de l’examen sérieux, et le ratio coût/bénéfice de la rigueur s’inverse sous l’effet du volume. Le mécanisme organisationnel, le plus tenace : la responsabilité est asymétrique, on sanctionne le superviseur qui bloque un flux légitime mais rarement celui qui laisse passer une erreur machine, si bien qu’il apprend que valider est sans risque. Le mécanisme cognitif : à mesure que le modèle ne se trompe pas, la validation devient réflexe, et cette complaisance d’automatisation est d’autant plus forte que le modèle est bon. Le mécanisme agentique, le plus récent : quand un système orchestre lui-même planification, délégation et exécution, l’enchaînement des décisions cesse d’être lisible et le pouvoir de défaire porte sur un objet devenu opaque.
Aucun de ces mécanismes ne suppose une intention : l’IA ne monte aucune scène, elle déplace deux contraintes, le coût et l’intelligibilité, et ce seul déplacement suffit à faire du décor l’équilibre spontané. La conséquence est que la gouvernabilité est une propriété dynamique : un dispositif récupérable aujourd’hui peut ne plus l’être demain, par simple accumulation de couches, sans qu’aucune décision n’ait jamais retiré le coupe-circuit. C’est ce qu’aucun audit ponctuel ne verra, parce qu’il certifie un état quand le problème est une trajectoire.
La gouvernabilité ne se constate pas sur pièce, elle se teste, et c’est là que tout se joue. Les textes existants, RGPD article 22, AI Act article 14, NIST AI RMF, ISO/IEC 42001, évoluent déjà vers des notions d’efficacité de la supervision ; la critique ne les vise pas, elle vise leur opérationnalisation. La cause profonde est une asymétrie de vérifiabilité : la présence d’un humain est presque gratuite à constater (une signature, un horodatage, un journal), tandis que la capacité de récupération doit être simulée, exercée et chronométrée. La signature gagne parce qu’elle est cheap to verify, non parce qu’elle est efficace.
Adopter la récupération comme indicateur déclaratif produirait des coupe-circuits sur le papier et des procédures jamais testées : c’est la loi de Goodhart, et la parade n’est pas un meilleur indicateur de présence mais un test d’effet, comme on restaure une sauvegarde au lieu de vérifier qu’elle existe. Quatre grandeurs deviennent alors opposables, à condition d’être mesurées sur un exercice réel : le temps de récupération entre détection et retour, la fraction d’états effectivement restaurés rapportée aux états visés, la marge avant le seuil irréversible, et la couverture des scénarios réellement joués. Ces chiffres ne valent rien hors du protocole qui les produit : ils prouvent qu’un rattrapage a fonctionné ici dans ce délai, non qu’il fonctionnera face à une perturbation non représentée. La thèse s’arrête à trois limites assumées : l’incertitude sur l’inédit est irréductible, le passage du superviseur individuel au collectif (RCP, conseil, comité) déplace le problème vers le politique, et concevoir un dispositif récupérable par construction relève d’un chantier distinct.
On ne gouverne pas ce qu’on surveille. On gouverne ce qu’on peut récupérer, et seulement aussi longtemps qu’on l’a éprouvé. La gouvernabilité n’est pas l’existence de mécanismes de contrôle : elle est la persistance d’un pouvoir d’action sous perturbation. Un système cesse d’être gouvernable non lorsqu’il commet une erreur, mais lorsqu’aucune intervention réaliste ne permet plus d’infléchir son évolution. À cet instant, et à cet instant seulement, la supervision devient un décor : une présence observable, sans pouvoir effectif d’orientation.
Notes doctrinales et explorations sur l’IA en systèmes régulés. Une à deux fois par mois. Désabonnement en un clic.