Les frameworks de conformité sont nécessaires. Ils ne sont pas suffisants pour rendre un système régulé structurellement gouvernable.
Un paradoxe traverse les comités exécutifs du secteur healthcare & life sciences : une majorité d’organisations déclarent avoir engagé des démarches de gouvernance de l’IA, tandis qu’une proportion équivalente exprime un sentiment d’insuffisance face aux exigences concrètes de pilotage, de traçabilité et d’audit. Ce paradoxe révèle une confusion rarement formulée avec assez de netteté : la confusion entre politique de gouvernance et architecture de gouvernance.
Ces deux objets ne relèvent pas du même registre. La politique de gouvernance organise des responsabilités, des règles et des mécanismes d’escalade depuis l’extérieur du système. L’architecture de gouvernance définit les propriétés structurelles qui rendent certains comportements traçables, bornés ou inacceptables par construction, depuis l’intérieur du système.
La thèse de cet article est que, dans les systèmes d’IA opérant en environnement régulé à fort enjeu décisionnel individuel, les frameworks procéduraux sont nécessaires mais structurellement insuffisants. Lorsque les propriétés de traçabilité et de bornage ne sont pas intégrées à la conception, la gouvernance reste rétrospective, partielle et vulnérable aux contournements que toute organisation sous tension produit mécaniquement.
La gouvernance procédurale désigne l’ensemble des règles, comités, référentiels, évaluations et processus documentaires appliqués depuis l’extérieur de la structure du système. La gouvernance architecturale désigne les propriétés structurelles qui rendent le comportement du système traçable, son périmètre de validité explicitable, et ses modes d’action contrôlables au niveau même de son fonctionnement.
Deux distinctions supplémentaires sont nécessaires. L’auditabilité rapportée reconstitue une décision après coup à partir d’artefacts produits autour du système. L’auditabilité native est la propriété d’un système dont le fonctionnement ordinaire produit lui-même les éléments nécessaires à la reconstitution fidèle du contexte d’exécution. L’auditabilité native ne signifie pas explicabilité complète du mécanisme interne — elle signifie traçabilité constitutive du contexte, des entrées, des sorties et du régime d’exécution de la décision.
Les grands cadres de gouvernance (NIST AI RMF, ISO 42001, EU AI Act) ont été construits selon un principe de neutralité technologique. Ce choix, compréhensible du point de vue réglementaire, a eu pour effet de renforcer une lecture où la gouvernance peut s’ajouter après conception, par superposition procédurale et documentaire. Cette lecture atteint une limite structurelle dans les systèmes à fort enjeu décisionnel individuel : le registre de risques ne remplace pas le mécanisme qui empêche le risque de se matérialiser ; le processus d’escalade ne peut fonctionner que si le système signale lui-même la condition qui le justifie.
L’article identifie quatre propriétés architecturales nécessaires à la gouvernabilité effective. La traçabilité native, qui enregistre contexte, entrées, sorties et transitions par le fonctionnement normal du système. La qualification du domaine de validité, qui évalue à chaque inférence si l’input appartient à l’espace de confiance du modèle. La séparation structurelle des régimes décisionnels, qui distingue par construction les zones d’automatisation, de recommandation et d’intervention humaine obligatoire. L’enregistrement constitutif, qui persiste les décisions et transitions pertinentes dans un journal immuable et auditable.
La gouvernance architecturale a un coût initial réel (temps, stockage, discipline d’ingénierie). Elle ne remplace pas la gouvernance procédurale — elle la rend plus crédible. Les modèles fondationnels tiers restent partiellement opaques. La frontière décision/recommandation se complexifie dans les systèmes agentiques multi-agents.
Deux systèmes développés au Twingital Institute illustrent la faisabilité de la gouvernance architecturale. Dans le programme Sentinelle IA / PREDICARE, le jumeau numérique du patient est modélisé comme une séquence d’événements immuables horodatés, permettant de replacer chaque décision prédictive dans une chaîne reconstituable par construction. Dans le pipeline ToxTwin V1.3, le domaine d’applicabilité est évalué pour chaque molécule soumise comme composant du pipeline d’inférence, conditionnant la présentation de l’output.
La conséquence principale est un déplacement de séquence. Les questions de traçabilité, de bornage du domaine et de séparation des régimes décisionnels doivent entrer dans les décisions d’architecture bien avant la phase de conformité. Tant que ces questions arrivent après la stabilisation des patterns d’architecture, la gouvernance reste condamnée à courir derrière des systèmes déjà trop libres pour être réellement gouvernés.
L’industrie n’a pas besoin d’opposer gouvernance procédurale et gouvernance architecturale. Elle a besoin de cesser de croire que la première peut durablement compenser l’absence de la seconde. La question centrale n’est pas seulement comment gouverner l’IA déployée — elle est comment concevoir des systèmes dont la gouvernabilité fait partie de l’architecture, et non de la documentation ajoutée autour d’elle.