Axe III · D9
Transformation humaine et organisationnelle
Thèse. Les systèmes IA échouent rarement par défaut technique en environnement régulé. Ils échouent parce que l'organisation n'a pas été préparée à les absorber. La transformation humaine n'est pas l'accompagnement du changement ; elle est sa condition d'existence.
La distinction qui tranche
Adoption (l'utilisateur clique) vs absorption (l'organisation transforme ses processus). La première produit des métriques d'usage flatteuses ; la seconde produit un changement de pratique vérifiable au dossier patient ou au rapport d'incident.
Erreur typique
Importer des dispositifs de conduite du changement calibrés pour l'IT classique (formation flash, communication, key users), alors que l'IA introduit une asymétrie épistémique nouvelle. L'opérateur doit contester un système qui « sait » statistiquement mieux que lui sur le cas moyen, mais qui peut se tromper gravement sur le cas singulier. La compétence à former est moins l'usage que la contestation informée.
Signaux de défaillance
Pas de formation explicite aux limites connues du système, alors que c'est la compétence critique. Aucun protocole d'override documenté côté utilisateur. Automation bias non mesuré : le taux d'override décroît avec l'usage, sans qu'on sache si c'est par confiance justifiée ou par épuisement cognitif. Pas de mécanisme de remontée des cas où l'humain a corrigé la machine, donc pas d'apprentissage organisationnel. Charge cognitive supplémentaire ignorée. L'IA ajoute une étape de validation, donc du temps, jamais comptabilisé.
Référentiels mobilisés
Parasuraman & Riley, Humans and Automation: Use, Misuse, Disuse, Abuse (Human Factors, 1997), référence fondatrice sur l'automation bias ; Bainbridge, Ironies of Automation (Automatica, 1983), encore plus actuel qu'à sa parution ; Cabitza et al. sur le clinical workflow disruption ; AI HLEG Ethics Guidelines for Trustworthy AI (UE, 2019) pour le cadre éthique ; recommandations HAS sur les dispositifs d'aide à la décision (2020-2024).
Terrain d'implémentation
PREDICARE place la phase de validation clinicien explicitement antérieure à la mise en production, avec formation centrée sur les cas où le score se trompe (et non sur l'usage de l'interface). Le protocole d'override est un livrable contractuel, pas une option. L'instance illustre une approche où l'absorption est traitée comme architecture organisationnelle, non comme accompagnement ; elle ne prouve pas que cette approche soit transposable hors d'un cadre où le clinicien dispose d'une autorité de décision finale stable.
Articulation
Boucle avec D5, puisque sans absorption la supervision humaine reste théorique. Boucle avec D8, qui en fixe le coût souvent sous-estimé.