Le système transforme celui qui le contrôle : sur la capacité humaine indépendante minimale, et sur l'absence d'instrument pour la mesurer
Le règlement (UE) 2024/1689 exige que les systèmes d’intelligence artificielle à haut risque soient conçus pour être effectivement supervisés par des personnes physiques. Il vérifie que la capacité de contrôle est présente au moment où on la regarde. Il ne modélise jamais son évolution sous l’effet de l’usage du système. Le contrôle humain n’est pas une capacité extérieure appliquée au système : c’est une variable d’état couplée à lui.
L’affirmation ne porte pas sur la lettre du règlement, qui ne contient évidemment aucun modèle formel, mais sur son ontologie implicite. Le droit traite fonctionnellement la supervision comme un paramètre constant. La conséquence est instrumentale avant d’être normative : la gouvernance horizontale de l’IA ne définit aujourd’hui ni métrique explicite de cette variable, ni protocole standardisé permettant d’en mesurer la dépréciation et la reconstitution.
Il faut immédiatement borner le reproche, parce que sa version large serait fausse. Certains secteurs disposent de mécanismes partiels qui en tiennent lieu : proficiency testing, évaluation périodique de compétence, double lecture, accord inter-observateurs, contrôle qualité clinique, re-certification. Ce qui manque n’est pas toute mesure, c’est la mesure de la bonne chose au bon endroit. Ces dispositifs ont été construits pour surveiller la variabilité entre praticiens, pas la dérive d’un praticien exposé à une assistance algorithmique. Et le socle horizontal, celui qui s’applique à tous les systèmes à haut risque quel que soit le domaine, n’en contient aucun.
Cette lacune est d’une autre nature que le discours existentiel qui occupe la place médiatique. Une alerte sur une superintelligence hors de contrôle indexe chacune de ses affirmations sur un futur, la fin de l’année prochaine, la fin de la décennie ; aucune ne porte sur un état mesuré aujourd’hui. Ce n’est pas un défaut de rigueur, c’est la nature de l’objet : un risque dont la probabilité reste indéterminée justifie des travaux de précaution mais n’offre aucune prise à une comparaison quantitative de priorité. La substitution cognitive, elle, est déjà observable, mesurable en principe, et directement rattachée au dispositif réglementaire en vigueur.
La lecture naïve consiste à dire que l’IA rend les gens moins bons. C’est vrai, banal et inexploitable. Pour en faire un objet de gouvernance, il faut cesser de traiter la compétence de contrôle comme un bloc.
| Capacité | Ce qu’elle permet | Régime où elle est requise |
|---|---|---|
| Production | Réaliser la tâche soi-même | Dégradé |
| Vérification | Établir si une sortie est correcte par confrontation à un référentiel | Nominal |
| Récupération | Reprendre la main quand le système défaille, sous contrainte de temps | Dégradé |
| Escalade | Reconnaître que l’on ne sait pas et savoir vers qui basculer | Nominal et dégradé |
Formellement, H_nominal = f(C_V, C_E, A, T) et H_dégradé = f(C_R, C_P, C_E, A, T), où A est l’autorité formelle et T le temps disponible pour intervenir. La capacité de production ne conditionne pas le contrôle courant : on peut contredire sans savoir refaire, par détection d’incohérences internes, calibration de l’incertitude, identification des cas hors distribution, recours à un second système indépendant ou retour aux sources primaires. Savoir refaire et savoir contredire ne sont pas la même compétence. Mais la production redevient critique en régime dégradé, quand il faut non plus juger une sortie mais produire soi-même un substitut acceptable.
Cette décomposition lève une tension que la formulation courante laisse ouverte : on peut à la fois exclure la production du contrôle de routine et vouloir la mesurer comme indicateur de résilience. Elle prolonge aussi une position antérieure. Dans Le contrôle humain n’est pas une présence, la supervision était décrite non comme un état mais comme un débit, saturé par le produit du flux de décisions et de la demande de jugement. La compétence n’est qu’un facteur de ce débit, et T est celui que les organisations compriment en premier.
L’état des preuves se lit à quatre niveaux, et les confondre est exactement ce qui permet à chaque camp de citer l’étude qui l’arrange.
Le signal d’abord. En août 2025, The Lancet Gastroenterology and Hepatology publie une découverte incidente issue de l’essai ACCEPT (Budzyń K. et al., 2025;10(10):896-903). Quatre centres polonais avaient déployé fin 2021 une aide à la détection de polypes ; sur 1 443 coloscopies non assistées réparties selon la date, le taux de détection d’adénomes passe de 28,4 % à 22,4 %, soit six points d’écart absolu (IC 95 % : -10,5 à -1,6 ; p = 0,0089), avec un odds ratio de 0,69 (0,53-0,89) en multivarié. Dix-neuf endoscopistes, tous expérimentés. Une correction a depuis ajouté l’indication de la coloscopie aux covariables, sans changement d’interprétation. Ce qui rend cette étude notable n’est pas son chiffre mais son objet : la littérature sur l’assistance mesure la performance du couple humain-machine ; celle-ci mesure ce que devient la performance humaine quand l’assistance est retirée. Le déplacement d’estimand est le véritable apport.
La tentative de réfutation ensuite. Un essai pragmatique prospectif multicentrique sur registre (Pedersen et al., Endoscopy 2026;58(9):1003-1014) mesure le même phénomène avec un protocole supérieur : treize endoscopistes, 5 013 coloscopies, trois phases, avant exposition, sous assistance, après retrait. Chez les non expérimentés, le critère principal monte de 31,9 % à 39,5 % sous assistance (OR ajusté 1,43 ; 1,11-1,84) puis s’établit à 36,3 % après retrait, sans différence significative avec la phase initiale (OR 1,03 ; 0,79-1,34). Chez les six expérimentés, aucun effet significatif dans aucune phase.
Ce point est décisif et il faut le formuler sans confort. La contradiction subsiste lorsqu’on restreint la comparaison aux seuls opérateurs expérimentés. Dix-neuf experts polonais se dégradent, six experts scandinaves ne bougent pas. Les explications candidates sont nombreuses et aucune n’est tranchée : le critère diffère, adénomes contre polypes d’au moins cinq millimètres ; le design diffère, rétrospectif avant-après contre prospectif à trois phases avec retrait explicite ; la puissance du sous-groupe expérimenté est faible ; la structure de l’exposition, le cas-mix, les ajustements et la définition même du deskilling diffèrent d’un protocole à l’autre.
L’état du champ confirme l’hétérogénéité. Une revue systématique de juillet 2026 (Al-Anezi F. M., J Healthc Leadersh 2026;18:590498) a interrogé quatre bases, identifié 11 269 références et retenu 29 études selon PRISMA 2020 : biais d’automatisation dans dix, déqualification dans neuf, atteinte au raisonnement diagnostique dans neuf, avec une littérature à dominante observationnelle ou conceptuelle, trop hétérogène pour une synthèse quantitative. La préoccupation est massivement partagée ; l’appareil de preuve ne l’est pas.
Reste le niveau manquant. Établir qu’aucune mesure longitudinale des vitesses de dépréciation et de reconstitution n’existe supposerait une recherche négative dédiée et reproductible, avec bases interrogées, chaînes de recherche, date de coupure et journal de screening. Elle n’a pas été conduite. Ce texte affirme donc seulement que de telles mesures n’ont pas été identifiées, ce qui n’est pas la même chose. Transformer une absence trouvée en absence démontrée est une spécialité académique dont l’efficacité s’arrête au premier rapporteur sérieux.
Ce que les quatre niveaux établissent ensemble est plus solide que chacun pris isolément. Le problème intéressant n’est plus de savoir si la déqualification existe, c’est que nous n’avons ni estimand, ni protocole, ni horizon communs permettant de décider quand elle existe, chez qui, à quelle vitesse et avec quelle réversibilité. Une discipline dotée d’indicateurs de qualité parmi les mieux normalisés de toute la médecine n’arrive pas à décider si son outil d’assistance déprécie ses praticiens.
Le mécanisme, lui, est théorisé depuis quarante-trois ans. Lisanne Bainbridge, dans Ironies of Automation (Automatica, 19(6), 1983), établissait que l’automatisation retire à l’opérateur la conduite routinière, laquelle entretient précisément la compétence requise pour les cas exceptionnels que l’automatisation lui laisse. Avec l’IA générative, le paradoxe s’étend à des tâches linguistiques, analytiques et normatives dont la vérité de référence est souvent incomplète, coûteuse ou absente. Changement de terrain plutôt que de nature, et le terrain nouveau est celui où la mesure est la plus difficile.
L’automatisation classique déchargeait le geste en laissant intact l’instrument de mesure : le pilote automatique dévie, l’altimètre le dit. Il n’y a pas d’un côté les outils dotés d’altimètre et de l’autre l’IA générative qui en serait privée. Il y a un gradient, et il suit la tâche, pas la technologie.
| Tâche | Référentiel externe | Exposition à la substitution |
|---|---|---|
| Calcul numérique | fort | faible |
| Code testable | fort | faible à moyen |
| Extraction documentaire | assez fort | moyen |
| Diagnostic clinique | partiel | moyen à fort |
| Analyse stratégique | faible | fort |
| Raisonnement normatif, arbitrage | faible | fort |
Ce tableau décrit une exposition, pas un risque, et son ordinalité est illustrative, non mesurée. La nuance est décisive : le référentiel disponible n’est pas le référentiel consulté. Une tâche fortement vérifiable produit du deskilling massif si personne ne consulte jamais le référentiel, et le développeur qui accepte une suggestion sans exécuter le test en est l’exemple quotidien. Inversement, une tâche faiblement vérifiable peut rester saine si l’humain travaille contre le système plutôt qu’avec lui.
Le risque dépend donc de quatre termes : le taux de délégation, la vérifiabilité externe de la tâche, l’engagement effectif de vérification, et la qualité du retour reçu. Le taux de délégation lui-même recouvre des régimes opposés. La substitution, quand le système fait à la place. L’augmentation, quand il étend l’espace de raisonnement. Le tutorat, quand il produit un retour qui accroît la compétence, ce qui arrive et doit être dit. La complaisance, quand l’engagement se réduit sans que rien ne soit appris. Deux organisations utilisant le même modèle dans la même proportion peuvent produire des trajectoires opposées. La variable déterminante n’est pas le volume d’usage mais l’architecture de l’interaction, ce qui fait apparaître un objet que personne ne régule : le design de la délégation. C’est le même déplacement qu’établit L’architecture du feedback pour la fiabilité : à distribution d’erreurs égale, deux dispositifs dérivent différemment selon la manière dont le retour circule.
Sous cette réserve, la dynamique s’écrit. Soit C la capacité indépendante d’un opérateur bornée par un plafond C_max, δ la part des cas traités sans engagement autonome, λ le taux de dépréciation par non-pratique et μ le taux d’acquisition par pratique :
dC/dt = -λ δ C + μ (1 - δ) (C_max - C)
Le modèle reste un jouet sans valeur prédictive. Il rend visible ce que le raisonnement réglementaire suppose, à savoir que λ vaut zéro, et il fait surtout apparaître la bonne question. Non pas si la compétence diminue, mais à quelle vitesse elle se reconstitue rapportée à la vitesse à laquelle elle se déprécie. Si τ_recovery ≪ τ_decay, le problème est un problème de préparation avant intervention, sérieux mais gérable. Si τ_recovery ≫ τ_decay, il y a hystérésis, et c’est seulement alors qu’on est fondé à parler de dette. Aucune mesure longitudinale de ces deux constantes n’a été identifiée, ni dans la revue systématique ni dans les protocoles des deux essais qui s’opposent. C’est le trou empirique central de ce dossier, plus important que le chiffre polonais.
Reste que δ n’est pas exogène, et c’est ce qui achève de faire du dispositif un système dynamique plutôt qu’une fonction de décroissance. Un opérateur moins compétent délègue davantage, ce qui le rend moins compétent. Un expert délègue aussi davantage, mais pour la raison inverse, parce qu’il sait mieux reconnaître ce qui peut l’être. La même statistique d’usage recouvre une boucle de rétroaction positive et une allocation rationnelle, et rien dans un tableau de bord ne les distingue.
À quoi s’ajoute une seconde boucle, rarement formulée. Dans certains déploiements, et vraisemblablement de manière croissante, les validations, infirmations et corrections humaines servent ensuite à entraîner, router, ajuster ou évaluer le système. Ailleurs, ce retour est journalisé sans rien alimenter. Il s’agit donc d’une classe d’architectures, pas d’une propriété universelle. Là où la boucle se referme, le système modifie progressivement le juge qui contribue ensuite à produire les données par lesquelles sont évaluées et la qualité du système et celle de sa supervision. Si le contrôleur devient complaisant, le signal se dégrade sans que rien ne le signale. Aucune grandeur observable n’est alors identifiable isolément : un taux d’infirmation est produit conjointement par la qualité du modèle, la capacité humaine, la confiance, l’interface et la charge de travail. Ce n’est plus du deskilling, c’est une co-évolution du contrôleur et du contrôlé, dans laquelle la mesure elle-même devient endogène.
L’unité d’analyse pertinente n’est pas l’opérateur mais l’organisation, et la compétence collective n’est pas la somme des compétences individuelles : C_org ≠ Σ C_i. Une organisation peut conserver des experts parfaitement compétents et perdre sa capacité de contrôle parce qu’ils sont trop peu nombreux, plus dans la boucle, sollicités trop tard, ou présents ailleurs qu’au point de décision.
Surtout, elle dépend de deux stocks et non d’un seul : les experts en place, et le mécanisme qui produit les suivants. Ce mécanisme passe par les tâches que l’organisation vient de déléguer. Le senior reste compétent cinq ans de plus. Le junior n’a jamais eu à apprendre ce que le modèle fait désormais à sa place, et ne deviendra donc pas le senior qu’il aurait été. C’est exactement le mécanisme décrit dans L’agent fait le travail du junior, pas ses classes, rapporté ici au seuil de conformité : une organisation peut satisfaire aujourd’hui son seuil de compétence tout en ayant déjà perdu la capacité de le satisfaire demain.
La signature de ce phénomène est celle d’une dette technique invisible. La performance nominale reste constante, parfois s’améliore, et rien n’apparaît dans les indicateurs tant que le composant ancien fonctionne. Ce qui décroît silencieusement est la résilience. En vocabulaire de fiabilité : la compétence humaine devient une capacité non redondante dont le temps moyen de rétablissement augmente pendant que les opérations nominales restent excellentes, et personne ne surveille le temps moyen de rétablissement d’un savoir-faire. Quand les seniors partent, la compétence organisationnelle ne décroît pas régulièrement, elle franchit une falaise. Une dépréciation linéaire au niveau individuel produit une discontinuité au niveau collectif, et c’est la discontinuité qui fait l’accident.
Un dernier mécanisme achève le tableau et il est le plus contre-intuitif. Plus le système est performant, moins l’humain a de raisons de le contredire. Moins il le contredit, moins il exerce son jugement indépendant. Moins ce jugement est exercé, moins il est disponible pour le cas rare sur lequel le système échoue. Or c’est exactement ce cas rare qui motive l’exigence de supervision. À mesure que l’IA s’améliore, le contrôle humain devient moins souvent nécessaire et plus difficile précisément au moment où il le devient.
Le vocabulaire courant confond deux objets. Un actif se déprécie ; une dette s’accumule. La compétence est le stock, la substitution cognitive est son mécanisme de dépréciation, et la dette n’est ni l’un ni l’autre : c’est un écart entre la capacité requise et la capacité disponible.
D_t = max(0, C_requise,t - C_disponible,t)
Écrite ainsi, elle rappelle qu’elle possède deux sources et non une seule. Elle croît quand la capacité disponible baisse, ce que décrit la dynamique précédente. Elle croît aussi quand la capacité requise augmente, à compétence rigoureusement inchangée, par exemple lorsqu’un système est étendu à des cas plus critiques ou à un périmètre plus large. Une organisation peut s’endetter sans se déprécier. Le vocabulaire se stabilise alors : le test de performance non assistée devient un test de dépréciation, et la pratique récurrente une dépense de maintenance. C’est le prolongement direct de la thèse de Du produit certifié à l’autorité continue : ce qui est certifié à un instant ne reste pas vrai par inertie, et la compétence de supervision ne fait pas exception.
L’article 14 énumère ce que les superviseurs doivent pouvoir faire : comprendre les capacités et les limites du système, interpréter correctement sa sortie, décider de ne pas l’utiliser, l’écarter, la renverser, l’interrompre. Son point (b) enjoint de rester conscient de la tendance à s’en remettre automatiquement à la sortie, nommée en toutes lettres biais d’automatisation, seul endroit du règlement où un phénomène cognitif précis est désigné. L’article 26(2) exige du déployeur qu’il confie la supervision à des personnes disposant de la compétence, de la formation et de l’autorité nécessaires. Le dispositif est cohérent et repose sur une hypothèse non énoncée. Rester conscient d’un biais n’est pas conserver la capacité de le corriger.
La lacune doit être formulée avec précision. Soutenir que le règlement n’exige pas le maintien de la compétence serait imprudent : un contradicteur reconstruirait fonctionnellement une telle obligation à partir des devoirs du déployeur, du système de management ou de la surveillance après commercialisation, et il aurait de bons arguments. Ce qui manque n’est pas une norme, c’est un instrument : le règlement exige une supervision compétente sans définir de métrique de récence de cette compétence, de seuil minimal de performance indépendante, ni de test périodique établissant que la capacité de supervision demeure recouvrable.
La norme ISO/IEC 42001 ne comble pas l’écart. Sa clause 7.2 reprend l’architecture générique des systèmes de management : déterminer les compétences requises, former, évaluer l’efficacité de la formation, conserver les preuves. Ce que l’auditeur y examine, ce sont des dossiers de qualification et des relevés de formation ; rien n’appelle une mesure de la performance de l’opérateur privé de l’outil. La conformité atteste d’un titre ; elle n’atteste pas d’une aptitude actuelle.
Deux secteurs montrent que l’objet est régulable. La Société européenne d’endoscopie digestive a publié en 2026 une position issue d’un consensus Delphi formel définissant un curriculum d’acquisition et de maintien de la compétence nécessaire à l’usage de l’IA en endoscopie (Mori Y. et al., Endoscopy 2026;58:202-210) : sécuriser d’abord la compétence en endoscopie standard, acquérir les fondamentaux de l’IA, reconnaître et atténuer les biais cognitifs de l’interaction humain-machine, éviter la surconfiance, surveiller en continu les indicateurs de qualité. Le secteur a produit en dix-huit mois ce que le socle horizontal ne contient pas. C’est un contre-exemple à la version large de la critique et une confirmation de sa version étroite.
L’aéronautique, elle, a rencontré le problème quarante ans plus tôt et l’a résolu dans l’ordre inverse : elle a d’abord tenu la licence pour une aptitude, puis a constaté que non. Le paragraphe 61.57 du titre 14 du Code of Federal Regulations interdit à un pilote d’emporter des passagers s’il n’a pas effectué trois décollages et trois atterrissages dans les quatre-vingt-dix jours précédents, seul aux commandes. Ce n’est pas une exigence de diplôme, c’est une exigence de pratique récente et non assistée, opposable, datée, vérifiable. En janvier 2013, la Federal Aviation Administration a publié le SAFO 13002, qui énonce que l’usage continu des systèmes de pilotage automatique ne renforce pas les compétences de pilotage manuel et peut dégrader la capacité à récupérer rapidement l’aéronef depuis un état non désiré. En mai 2017, jugeant apparemment que le message n’était pas passé, la même administration a republié le texte sous le titre SAFO 17007 en ajoutant le mot proficiency.
L’aviation dispose d’une exigence de récence, d’une doctrine explicite sur la dégradation par automatisation et d’un dispositif périodique qui contrôle la performance non assistée. L’endoscopie digestive dispose d’un curriculum de maintien de compétence adopté par consensus. La gouvernance horizontale de l’IA dispose d’une obligation de rester conscient.
Ce que l’aéronautique a fini par admettre est que le contrôle n’est pas extérieur au système contrôlé. Le droit de l’IA raisonne en architecture statique de responsabilités : il attribue des rôles et vérifie leur existence à un instant donné. Il faudrait qu’il raisonne en système dynamique à boucle fermée, où la capacité de contrôle est un état endogène. Cela corrige une position antérieure : sous le nom d’Authority-Influence Gap, j’avais distingué l’autorité formelle du contrôle cognitif effectif comme un état constaté. C’est une trajectoire. L’autorité est stable par construction juridique, la capacité de l’exercer suit la dynamique décrite plus haut, et l’écart s’ouvre mécaniquement. Quant au contrôle humain, il figure au bilan de conformité comme un actif permanent, non amortissable, jamais soumis à test de dépréciation, et dont l’usage est exactement ce que le déploiement a pour objet de réduire.
Le règlement (UE) 2026/1744, entré en vigueur le 27 juillet 2026, a reporté au 2 décembre 2027 l’application des principales obligations pour les systèmes à haut risque autonomes de l’annexe III, sans modifier la substance de l’article 14. Dix-huit mois de délégation supplémentaire avant que l’actif ne soit inventorié.
Il faut commencer par la question qu’aucune doctrine du deskilling ne pose jamais et qui conditionne tout le reste. Rien n’oblige une organisation à préserver cent pour cent de sa capacité autonome historique : elle ne sait plus graver ses microprocesseurs, réparer ses ascenseurs ni calculer une paie à la main, et c’est parfaitement rationnel. Toute dépréciation n’est pas une dette. La dette n’apparaît qu’au franchissement d’un seuil, C_disponible < C_requise(résilience).
Six paramètres en déterminent conceptuellement le niveau, dont aucun n’est cognitif : criticité de la tâche, fréquence des défaillances du système, détectabilité de ces défaillances, temps nécessaire à la récupération, disponibilité d’alternatives indépendantes, réversibilité du dommage. Ce qu’il faut définir n’est donc pas un niveau de compétence humaine, c’est une capacité indépendante minimale de résilience : la capacité que l’organisation doit conserver pour détecter une défaillance, interrompre le système, maintenir un état sûr et restaurer un service acceptable. C’est l’analogue exact du service minimum viable en résilience informatique, transposé à la compétence.
Ce déplacement lève la plupart des objections adressées aux doctrines du maintien de compétence. Il n’oblige à conserver ni toutes les anciennes compétences ni, chez chaque superviseur, la capacité de tout refaire, puisque la compétence peut être distribuée et l’escalade organisée, et le seuil est proportionné au risque plutôt qu’uniforme. L’objectif n’est pas de préserver l’autonomie humaine maximale, c’est de préserver l’autonomie minimale nécessaire à la maîtrise du risque. Il se distingue enfin du seuil de compréhension proposé par Lin et ses coauteurs sous le nom de Capability-Comprehension Gap (arXiv:2602.00854), qui est épistémique et porte sur la contestabilité d’une sortie : le seuil de résilience est opérationnel et porte sur la capacité à tenir le système en état sûr sans lui. Les deux sont nécessaires et ne se substituent pas.
Premier renoncement, l’indicateur unique. Le taux d’infirmation semble le candidat évident et il ne vaut rien seul : une baisse peut signifier une amélioration du modèle, une dégradation du contrôleur, une confiance excessive, une charge de travail accrue, un coût organisationnel de la contradiction, une interface qui décourage le désaveu, une sélection de cas plus simples ou une pression temporelle. Un indicateur qui admet huit explications concurrentes n’est pas un indicateur. Ce qu’il faut construire est un panel, c’est-à-dire une observabilité du contrôle humain : performance non assistée en aveugle, taux d’infirmation, part des infirmations correctes, taux de faux désaveux, calibration entre confiance déclarée et exactitude, délai avant détection, capacité de justification indépendante, et performance après interruption prolongée de l’assistance, qui est le seul moyen d’estimer τ_recovery.
Deuxième point, dédoubler le protocole. Mesurer l’opérateur sans le système répond à la question de savoir s’il sait encore faire, ce qui n’est pas la question réglementaire. Savoir s’il sait superviser en conditions réelles est un autre estimand. Il faut donc un test de compétence autonome, qui mesure le stock, et un test d’efficacité de supervision, qui injecte dans un environnement contrôlé une proportion définie de sorties erronées et mesure taux de détection, taux de correction et délai avant détection. Une forme de red teaming appliquée non au modèle mais au superviseur.
Encore faut-il injecter les bonnes erreurs, faute de quoi le test mesure le trivial. Une hallucination grossière n’apprend rien. Une réponse fausse, parfaitement argumentée, correctement sourcée sauf sur une prémisse discrète, apprend beaucoup. Le protocole doit stratifier, E = {grossière, plausible, argumentée d'autorité, omission, cadrage, corrélée}, et produire non pas un score mais une probabilité de détection conditionnée à la difficulté et au type d’erreur. Une omission et une contre-vérité factuelle peuvent présenter la même difficulté nominale et solliciter des compétences différentes : ce qu’on obtient n’est pas une courbe mais une surface de performance de supervision. On obtient alors ce qui manque aujourd’hui à la conformité : non pas l’attestation qu’un humain était présent, mais la caractérisation de ce qu’il détecte et de ce qui lui échappe.
La transposition aéronautique ne doit pas pour autant être littérale. Exiger un volume de cas traités sans assistance serait prématuré : dix cas triviaux ne valent pas un cas critique, et les événements qu’il faut savoir détecter sont souvent trop rares pour être rencontrés naturellement. Ce que l’aviation enseigne n’est pas un quota brut mais une exigence de proficiency récurrente, complétée par la simulation lorsque l’exposition naturelle est insuffisante. Dont acte : cas synthétiques, scénarios rares et erreurs injectées deviennent l’instrument de maintien de la compétence humaine face à l’IA. Les populations simulées, longtemps discutées comme substitut de données, trouvent ici une fonction moins contestable.
D’où une condition que tout le raisonnement précédent rend obligatoire. Si le fournisseur du système produit également les cas de test, les erreurs injectées et le barème, on reconstitue exactement le couplage que l’on prétend mesurer : le dispositif d’évaluation devient un organe du système évalué. L’indépendance du test à l’égard du système testé est une propriété de conception, pas une bonne pratique. Elle s’obtient par des modèles ou des fournisseurs distincts, des jeux de cas validés extérieurement, une vérité de référence externe, ou une génération synthétique suivie d’une validation indépendante. À défaut, on demande au modèle de rédiger l’examen qui vérifiera si l’humain sait repérer ses erreurs, ce qui constituerait un protocole d’évaluation assez créatif.
Il faut enfin dire ce que cela coûte, puisque c’est le point sur lequel un directeur financier tranchera. Une capacité indépendante minimale n’est pas gratuite : cas traités sans assistance, simulations périodiques, doubles lectures, exercices adverses, temps d’expert, capacité de secours. Son maintien constitue une dépense récurrente de résilience, et cette dépense appartient au coût total de l’automatisation, non aux frais généraux de la conformité. C’est la même opération que celle décrite dans Déléguer n’est pas se décharger : ce que la délégation n’annule pas doit être provisionné quelque part, et l’endroit où on l’inscrit décide de qui le paie.
Quatre limites, assumées. La base empirique est mince et divergente : deux essais sérieux concluent en sens opposé y compris sur des populations expérimentées, et rien ne dit aujourd’hui lequel des deux décrit le cas général. Un résultat obtenu sur un geste perceptuel ne se transporte pas mécaniquement au raisonnement analytique, et c’est une extrapolation nommée comme telle. Les constantes de dépréciation et de reconstitution sont inconnues, les horizons observés courts alors que la thèse porte sur un phénomène cumulatif. Enfin, la position défendue est plus facile à énoncer qu’à réfuter, ce qui est exactement le reproche adressé au discours existentiel : je ne prétends pas y échapper, je prétends fournir de quoi en sortir.
Reste à ranger les objets dans le bon ordre. Extinction, dépossession et dépendance cognitive ne sont pas trois risques comparables : le premier est une conséquence, le deuxième un état, le troisième un mécanisme, et les aligner reviendrait à commettre l’erreur reprochée en ouverture. La forme correcte sépare trois niveaux. Des mécanismes, dont la dépréciation cognitive, le biais d’automatisation et la contamination du signal de supervision. Un état intermédiaire, la perte de supervision effective. Des conséquences, des erreurs non détectées jusqu’à la catastrophe. L’extinction occupe la dernière case de la troisième colonne, avec une probabilité indécidable. La substitution cognitive occupe la première case de la première, avec un mécanisme documenté depuis 1983, deux essais qui se contredisent faute de protocole commun, une revue systématique qui constate l’hétérogénéité du champ, un précédent réglementaire dans un secteur voisin et un curriculum professionnel qui prouve que la chose est régulable. Travailler sur la première colonne n’est pas renoncer à la troisième, c’est la seule façon d’y arriver.
Le contrôle humain n’est pas une garantie que l’on inscrit au dossier. C’est une variable d’état du système qu’il est censé contrôler, et la question n’est pas de savoir si elle baisse. La question est de savoir quel niveau doit être tenu, et de disposer d’un instrument pour établir qu’il l’est. Nous garderons l’autorité. Il n’est pas nécessaire que la machine prenne le contrôle si nous cessons d’entretenir ce qui nous permettrait de l’exercer.
Notes doctrinales et explorations sur l’IA en systèmes régulés. Une à deux fois par mois. Désabonnement en un clic.