Axe II · D5
Gouvernance algorithmique
Thèse. La gouvernance algorithmique est l'ensemble des mécanismes par lesquels une organisation exerce un contrôle effectif sur ses systèmes IA. La supervision humaine, pour être réelle, doit être structurelle, pas cosmétique. Le critère opérationnel n'est pas l'existence d'un comité, mais sa capacité à modifier le système, ou à le suspendre, sous contrainte de temps.
La distinction qui tranche
Supervision humaine cosmétique vs structurelle. La cosmétique signe un PV ; la structurelle peut interrompre la chaîne de production sans avoir à demander l'autorisation. Le test est temporel : combien d'heures entre la décision d'arrêter et l'arrêt effectif.
Erreur typique
Importer le modèle des comités d'éthique académiques, qui sont consultatifs, périodiques, sans pouvoir d'arrêt, dans un cadre industriel où la décision algorithmique a des effets juridiques. Cela produit un théâtre de gouvernance, coûteux et documenté, qui ne tient pas une heure devant un contentieux MDR.
Signaux de défaillance
Le comité de gouvernance n'a pas de pouvoir d'arrêt opposable au métier. Les override humains ne sont pas tracés, donc inauditables, donc inexistants en droit. Pas de séparation entre la fonction qui développe le modèle et celle qui valide son passage en production. Aucune mesure périodique du taux d'override ni de son évolution. Un override qui tombe à zéro signale soit une excellence, soit un effondrement de la supervision, et sans mesure on ne distingue pas les deux.
Référentiels mobilisés
EU AI Act art. 14 (human oversight) et art. 17 (quality management system) ; ISO/IEC 42001:2023 ; NIST AI RMF 1.0, fonction Govern ; OECD AI Principles (2019, révisés 2024) ; pour le médical, MDCG 2025-6 sur la SaMD et MDR art. 10 sur les obligations générales du fabricant.
Terrain d'implémentation
PREDICARE déploie une gouvernance GHT avec pouvoir d'arrêt explicite confié à un comité mixte clinicien/data. L'architecture de l'override est tracée, motivée, agrégée pour analyse trimestrielle. L'instance illustre la possibilité d'une supervision structurelle en environnement multi-établissements ; elle ne prouve pas que ce schéma transpose tel quel hors GHT, où la chaîne d'autorité est plus diffuse.
Articulation
Continuum direct avec D4, dont elle est l'opérationnalisation. Continuum avec D9 : une gouvernance sans capacité d'absorption organisationnelle reste une couche superposée, donc inopérante.