C'est une capacité sous contrainte : saturation du poste, corrélation des erreurs, et sensibilité mesurée du contrôle
La doctrine française de la garantie humaine et le contrôle humain de l’article 14 du règlement (UE) 2024/1689 ne désignent pas le même objet, et le débat public les confond depuis cinq ans. La confusion a une conséquence pratique : on continue d’exiger un contrôle humain sans jamais mesurer s’il en est un.
La première doctrine s’est construite autour de l’article L. 4001-3 du code de la santé publique, créé par l’article 17 de la loi n° 2021-1017 du 2 août 2021, puis autour des avis qui l’ont entouré, de l’avis n° 130 du CCNE en mai 2019 à l’avis conjoint CCNE 141 et CNPEN 4 de novembre 2022 qui reconnaît les collèges de garantie humaine. Elle est pluridisciplinaire et différée : elle organise un regard collectif sur un dispositif, en amont et en aval de son usage.
Le contrôle humain de l’article 14 relève d’une autre logique. Il impose que les systèmes à haut risque soient conçus, interfaces comprises, pour que des personnes physiques puissent les superviser effectivement pendant leur période d’utilisation. Le règlement n’exige ni une supervision décision par décision, ni le temps réel. Mais dans la classe qui nous occupe ici, l’aide à la décision en série à cadence soutenue, l’exigence devient individuelle et synchrone : elle doit pouvoir s’exercer au poste, dans le temps utile de la décision. On a promis la première doctrine en finançant le second dispositif. Ce texte porte sur le second, et sur cette classe de systèmes seulement : il ne vaut pas pour les décisions rares à fort enjeu unitaire, où le temps de délibération existe par construction.
Le paragraphe 4 de l’article 14 énumère des capacités qui se rangent en trois familles. Agir : écarter la sortie, refuser d’utiliser le système, interrompre son fonctionnement. Comprendre : connaître les capacités et les limites du système, interpréter correctement ce qu’il produit, surveiller son fonctionnement. Et une troisième, d’une autre nature, rester conscient de sa propre tendance à se fier excessivement à la sortie produite. La première relève de l’ergonomie, la deuxième de la formation, la troisième de la métacognition.
Rien de tout cela n’est une propriété du système. Ce sont des capacités exercées par une personne, dans un poste, sous une charge. Le règlement conçoit un dispositif et n’instrumente jamais la capacité.
Ce qui sature un poste n’est pas le flux de décisions, mais le produit de ce flux par la quantité de jugement que chaque décision réclame, rapporté à la capacité cognitive réellement disponible. Deux cents dossiers par jour dont un pour cent présentent une ambiguïté réelle sont contrôlables. Vingt dossiers par jour exigeant chacun un quart d’heure d’analyse indépendante peuvent ne pas l’être. Le même poste, la même personne, deux régimes opposés.
S = (λ × J) / C, où λ est la fréquence des décisions soumises au poste, J la demande moyenne de jugement par décision, et C la capacité effective de jugement disponible. Sous 1, le poste dispose d’une réserve et la supervision peut être ce qu’elle prétend être. Vers 1, elle se fragilise sans que rien ne le signale. À 1 ou au-delà, la revue indépendante systématique n’est pas dégradée, elle est structurellement impossible, et ce qui subsiste sous ce nom est une procédure de ratification.
C’est une heuristique de conception, pas un instrument calibré emprunté à l’ergonomie cognitive : ni J ni C ne se mesurent directement, et l’écrire ainsi ne les rend pas mesurables. Le rapport est écrit sur des moyennes, alors que sa distribution importe davantage : un poste soutenable en moyenne sature sous l’effet de grappes de cas difficiles, et c’est précisément là que le contrôle serait le plus nécessaire. Ce que la notation apporte est un déplacement de la question : cesser de demander combien de dossiers l’opérateur traite, commencer à demander combien de jugements le poste réclame et combien il peut en produire.
Elle rend aussi visible une conséquence que la formulation littéraire cachait. L’introduction d’un système d’IA agit sur les trois termes, et pas dans le même sens : elle augmente λ, puisque c’est l’objet du déploiement ; elle réduit J sur les cas simples, qu’elle traite bien ; elle augmente J sur les cas résiduels, ceux qu’elle traite mal et laisse à l’humain ; et elle réduit C à long terme, par désentraînement. Un dispositif peut donc dégrader sa propre supervision sans qu’aucun de ses indicateurs ne bouge.
Lorsque le rapport approche l’unité, la supervision ne disparaît pas, elle change de nature : sa sortie ne dépend plus du contenu du cas mais de la configuration du poste. Sous charge, le contrôle converge vers l’action que le poste rend gratuite. Une alerte est une interruption, l’action gratuite est de passer outre, la charge produit du rejet massif. Un poste de revue est une station de validation, l’action gratuite est d’approuver, la charge produit de la ratification. Même mécanisme, deux réglages du défaut. La variable de conception n’est pas la vigilance, c’est le réglage de l’action par défaut et la distance qui sépare l’opérateur de la saturation.
Le contrôle effectif suppose une capacité de jugement, une indépendance épistémique, une autorité effective et une soutenabilité du désaccord. Ces conditions ne s’additionnent pas : dans l’heuristique proposée, elles se comportent de façon multiplicative, H = f(S) × I × A × D avec f décroissante. Une valeur proche de zéro sur un seul terme annule la contribution des trois autres. C’est une propriété du modèle, non une régularité mesurée, et la forme de f reste indéterminée : rien ne permet de dire aujourd’hui si la dégradation est graduelle, à seuil ou brutale.
L’autorité n’est pas le bouton. Un opérateur peut disposer du temps, détecter l’erreur, avoir sous la main une commande d’infirmation parfaitement ergonomique, et n’exercer aucun contrôle effectif si son désaccord déclenche une justification hiérarchique, dégrade ses indicateurs ou peut lui être reproché ultérieurement. Le règlement le mentionne, au considérant 48 et au paragraphe 5, dans une disposition qu’il n’applique qu’à un seul cas.
La soutenabilité du désaccord est distincte de l’autorité, avec laquelle on la confond volontiers. L’autorité est la permission de s’écarter ; la soutenabilité est ce que s’écarter consomme, et combien de fois par jour on peut le consommer. Dans le régime ordinaire, ratifier ne coûte rien tandis que s’écarter engage, documente, ralentit et se voit. Cette asymétrie n’est pas une loi de nature : elle s’inverse dès qu’une organisation demande des comptes sur les ratifications autant que sur les infirmations. Cela arrive, en général devant une commission d’enquête.
L’indépendance épistémique est la condition la plus mal comprise, parce qu’on la réduit à l’information. Un opérateur peut détecter une erreur à partir des mêmes données, par une représentation ou un modèle mental différents : l’indépendance requise peut être informationnelle, méthodologique, temporelle, organisationnelle ou causale. Le vrai problème n’est pas le partage des données, c’est la corrélation des erreurs. L’ingénierie de sûreté connaît cela sous le nom de défaillance de mode commun, et le vocabulaire des barrières successives employé ici est celui de James Reason (Human Error, Cambridge University Press, 1990).
Deux lecteurs formés à la même école ne constituent pas nécessairement deux barrières indépendantes. Deux modèles partageant leurs données d’entraînement et leur architecture non plus. Et le cas limite mérite d’être nommé, parce qu’il devient la norme d’implémentation : un opérateur qui vérifie une sortie à partir de l’explication fournie par le système qui l’a produite n’est pas une seconde barrière, c’est une pseudo-redondance. L’explication améliore la compréhension et cadre simultanément le raisonnement de celui qui la reçoit ; sa provenance appartient à l’architecture de la barrière, au même titre que son contenu. La valeur d’une seconde barrière ne dépend pas de sa performance propre, mais de la corrélation de ses erreurs avec celles de la première.
L’objection juridique doit être nommée ici, parce qu’elle est la plus solide. L’article 14 n’impose pas un résultat cognitif : il impose au fournisseur de rendre la supervision possible par conception, et au déployeur de la confier à des personnes disposant de la compétence, de la formation et de l’autorité nécessaires. Lui reprocher de ne pas garantir la vigilance revient à lui reprocher de ne pas être ce qu’il n’a jamais prétendu être. L’objection est juste, et c’est précisément là qu’est le problème institutionnel : une obligation de moyens conçus, non instrumentée, produit une conformité documentaire dont personne, y compris a posteriori, ne peut établir l’efficacité. Le texte est défendable, l’usage qui en est attendu ne l’est pas. La tension s’est d’ailleurs accentuée avec le règlement (UE) 2026/1744, entré en vigueur le 27 juillet 2026, qui a réécrit l’article 4 : soutenir la maîtrise de l’IA du personnel sans garantir un niveau déterminé. L’exigence de conception reste due, le moyen horizontal est devenu facultatif dans son intensité.
L’analogie aérienne circule dans les deux sens, et généralement mal. Elle ne prouve pas que l’humain est le maillon faible : la catégorie même d’erreur humaine reflète en partie la manière dont les systèmes sociotechniques attribuent causalité et responsabilité, ce que Madeleine Clare Elish a décrit sous le nom de zone de déformation morale (Engaging Science, Technology and Society, 2019, vol. 5, p. 40-60).
Ce que l’aviation établit est plus utile. Lisanne Bainbridge l’a formulé en 1983 dans Ironies of Automation : l’automatisation laisse à l’humain les tâches qu’il accomplit le moins bien, la surveillance prolongée et la reprise en situation anormale, tout en dégradant par le désusage les compétences dont il aura besoin le jour où elle échoue. C’est exactement le régime transitoire du rapport de saturation : le numérateur augmente là où il est le plus coûteux, le dénominateur diminue en silence. Le secteur qui investit le plus dans la vigilance humaine documente sa dégradation depuis quarante ans. C’est un argument a fortiori, pas une transposition : trafic contraint, opérateurs sélectionnés, retour d’expérience institutionnalisé, rien de comparable avec un poste qui traite des dossiers scorés à la chaîne. Et l’aviation n’a pas obtenu sa sécurité en exigeant de la vigilance : elle a cessé d’en dépendre, par l’enveloppe de vol, la redondance, les listes de vérification opposables, la double signature et les enregistreurs. Dans tout le règlement, un seul endroit procède ainsi, le paragraphe 5 de l’article 14, qui impose deux personnes physiques pour l’identification biométrique à distance. Un cas, pas une méthode.
L’affaire néerlandaise des allocations familiales montre ce que devient un contrôle non mesuré. Amnesty International y décrit un système de scoring, la nationalité comme facteur de risque, une revue manuelle requise après signalement, et l’absence d’information permettant aux agents de comprendre le score (Xenophobic Machines, 2021). L’architecture décisionnelle est celle de l’article 14 : la machine signale, l’humain examine. La causalité y est plus riche que le seul effet de charge, et notre modèle n’explique qu’une partie du mécanisme. Il éclaire en revanche l’asymétrie du coût : pendant des années, ratifier un signalement n’a rien coûté aux agents ; la démission du gouvernement en janvier 2021 a rendu ces ratifications rétrospectivement très coûteuses, pour les personnes les moins bien placées pour les contester. Ben Green, qui a passé en revue quarante et une politiques imposant une supervision humaine, en tire une conclusion plus dérangeante encore que l’incapacité empirique des opérateurs : ces politiques légitiment l’adoption de systèmes défectueux en produisant un faux sentiment de sécurité (Computer Law & Security Review, 2022, vol. 45). Le contrôle nominal ne protège pas la personne exposée à la décision. Il protège le déploiement, et il expose l’opérateur. C’est le même mécanisme que celui décrit dans Refuser le soin, détecter la fraude, à ceci près qu’il est ici exigé par le droit.
Si le contrôle nominal est le problème, la mesure est la réponse. Encore faut-il mesurer la bonne chose, et la mesure évidente ne mesure rien. Deux revues systématiques ont établi la variabilité des taux d’infirmation des alertes médicamenteuses : de 49 % à 96 % sur dix-sept publications (van der Sijs et al., JAMIA, 2006, PMID 16357358), de 46,2 % à 96,2 % sur vingt-trois études publiées entre 2000 et 2019 (JMIR Medical Informatics, 2020, PMID 32706721). À l’autre extrémité du spectre, Rosbach et ses coauteurs ont mesuré le mouvement inverse en pathologie computationnelle : chez vingt-huit pathologistes formés, l’exposition à une recommandation erronée renverse une évaluation initialement correcte dans environ 7 % des cas (arXiv:2411.00998, 2024). Ce que cette étude prouve : le biais d’automation existe chez des experts, sur une tâche où ils sont compétents, et il est quantifiable. Ce qu’elle ne prouve pas : une prévalence en routine clinique, l’effectif étant de vingt-huit et le protocole expérimental. Dans la même étude, l’intégration de l’IA améliorait significativement la performance globale.
Ces deux séries ne se cumulent pas : la première relève de la sous-confiance, la seconde de la sur-confiance. Ensemble, elles établissent qu’un taux d’infirmation élevé ne prouve pas un contrôle efficace, et qu’un taux faible ne prouve pas un système fiable. La revue JMIR va plus loin en classant les infirmations selon leur appropriation, avec une fourchette de 29,4 % à 100 % selon le type d’alerte : deux services affichant le même taux peuvent l’un exercer un contrôle pertinent, l’autre produire du bruit. Le taux ne les sépare pas ; la qualification de chaque infirmation, oui.
D’où la reformulation, qui doit être bornée pour tenir. L’article 14 attribue plusieurs fonctions à la supervision, et une seule se prête à ce traitement. Lorsqu’on lui attribue la fonction de détecter et corriger les sorties erronées, le contrôle humain devient lui-même un classificateur de ces erreurs. Et un classificateur s’évalue par croisement avec l’état réel.
| IA incorrecte | IA correcte | |
|---|---|---|
| Humain infirme | infirmation utile | infirmation inutile |
| Humain ratifie | erreur laissée passer | ratification correcte |
De cette table se déduisent les quatre grandeurs qui décrivent réellement un dispositif de supervision : sensibilité, spécificité, valeur prédictive du désaccord, valeur prédictive de la ratification. Le cadre est celui, banal, de tout test diagnostique ; son application au dispositif de supervision est la proposition centrale de cette note, et elle fait passer le contrôle humain du statut de disposition à documenter à celui de fonction dont la performance se mesure. Une précaution s’impose contre l’usage naïf de la table : une erreur de sortie n’est pas une décision incorrecte, et une décision incorrecte n’est pas un dommage. La sensibilité du contrôle mesure la performance de la supervision, pas la réduction finale du risque.
Reste la difficulté sérieuse : dans la plupart des systèmes à haut risque, la colonne de l’état réel n’est pas disponible au moment de la décision. Les réponses existent et sont connues des dispositifs de qualité : vérité terrain différée, double lecture indépendante sur échantillon, adjudication experte, cas étalons injectés dans le flux, revue systématique des désaccords. Aucune n’est gratuite ; toutes sont moins coûteuses que la démonstration a posteriori qu’un contrôle affiché n’en était pas un. C’est aussi une exigence probatoire : dans l’arrêt SCHUFA Holding du 7 décembre 2023 (C-634/21), la Cour de justice ne s’est pas demandé qui signait mais ce qui déterminait, et elle rappelle au point 67 que le responsable du traitement doit être en mesure de démontrer sa conformité. Une organisation qui ne connaît pas la sensibilité de son contrôle ne dispose d’aucune mesure de la proportion dans laquelle la sortie machine est effectivement corrigée lorsqu’elle devrait l’être. Le projet de norme prEN 18229-3:2026, préparé par le comité CEN/CLC/JTC 21 et soumis à enquête depuis cet été, décidera si l’article 14 est opérationnalisé par des exigences mesurables ou par une liste de dispositions à documenter.
Il existe un dispositif documenté qui tient, et il agit sur le rapport de saturation plutôt que sur la vigilance. L’essai MASAI, mené sur 105 934 participantes en Suède, oriente les examens scorés de 1 à 9 vers une lecture unique et ceux scorés 10 vers une double lecture. Les publications rapportent une réduction de 44,2 % de la charge de lecture (Lång et al., Lancet Oncology, 2023), une augmentation de 29 % de la détection sans hausse significative des faux positifs (Hernström et al., Lancet Digital Health, 2025), et sur le critère principal un taux de cancers d’intervalle non inférieur, 1,55 contre 1,76 pour mille, ratio 0,88 avec un intervalle de confiance à 95 % de 0,65 à 1,18 (Gommers et al., The Lancet, 2026). Ce que ces chiffres prouvent : à charge réduite de 44 %, le dispositif ne dégrade pas le résultat et détecte davantage. Ce qu’ils ne prouvent pas : une supériorité sur les cancers d’intervalle, l’intervalle de confiance recouvrant l’unité. Le protocole tient par ailleurs à un dépistage organisé, une tâche perceptive et des lecteurs experts. L’humain y reste pleinement dans la boucle interprétative : l’innovation n’est pas de retirer la supervision, c’est d’utiliser la machine pour allouer différentiellement une ressource rare.
D’où deux étages de réponse à ne pas confondre. Au niveau transactionnel, trois patrons : mesurer, c’est-à-dire connaître la sensibilité du contrôle et en faire un actif auditable ; réduire la demande de jugement pour ramener J au niveau où le jugement existe ; ou concevoir le système pour que l’humain n’ait pas à compenser une faiblesse structurelle, ce qui revient à déclarer le dispositif pour ce qu’il est. Au niveau institutionnel, autre chose : Green ne conclut pas à un meilleur contrôle humain, il conclut au déplacement du centre de gravité vers le contrôle institutionnel, c’est-à-dire l’admission du système, les populations concernées, les seuils, les conditions d’usage, la surveillance après déploiement, les conditions de suspension. Gouverner, admettre, exploiter, superviser, surveiller, suspendre. La supervision transactionnelle occupe une place dans cette séquence, et une seule : une barrière de dernier recours au niveau de la décision, pas l’architecture de sûreté elle-même. La traiter comme telle est exactement l’erreur que le règlement encourage sans la prescrire, et c’est la raison pour laquelle on ne gouverne que ce dont on peut encore modifier la trajectoire.
Cinq limites, assumées. La classe de systèmes visée est étroite et ne couvre pas les décisions rares à fort enjeu unitaire. Le corpus empirique sur les taux d’infirmation vient majoritairement de la santé et de systèmes d’alerte à base de règles, il vaut comme argument de mécanisme, pas comme mesure transposable. Le rapport de saturation est une heuristique, pas un instrument calibré. La mesure proposée a un effet en retour : un dispositif évalué sur son taux de désaccord produira du désaccord, ce qui ne se traite que par la table entière et non par sa première ligne. Enfin, et c’est la plus sérieuse, la vérité terrain n’est pas toujours ontologique : en recrutement, en crédit, en protection sociale, la bonne décision est normative et souvent contrefactuelle. La table reste un cadre d’évaluation utile, elle cesse d’être une matrice directement mesurable, et le seuil entre les deux situations n’est pas technique, il est politique.
Formulé dans le vocabulaire de la sûreté, cela donne une exigence plus dure que celle du règlement. Si M est une erreur du système, H l’échec de la supervision à la corriger et B l’échec des barrières aval, la probabilité qu’une défaillance traverse les trois s’écrit P(M ∩ H ∩ B) = P(M) × P(H | M) × P(B | MH). Cette écriture ne suppose aucune indépendance, elle rend les dépendances visibles et impose de les estimer. Elle interdit une seule chose, et c’est la pratique courante : remplacer ces probabilités conditionnelles par des taux marginaux mesurés séparément, puis les multiplier.
La question réglementaire pertinente n’est donc pas de savoir s’il y a un humain, mais quelle fonction de réduction du risque lui est attribuée, quelle est sa probabilité de défaillance dans les conditions réelles d’exploitation, et quelles barrières indépendantes subsistent lorsqu’il échoue. Poser la question ainsi évite de faire du contrôle humain la nouvelle divinité réglementaire après avoir démonté l’ancienne. La présence humaine n’est pas une barrière de sûreté : elle ne le devient que si sa fonction est définie, si ses modes de défaillance sont mesurables, et si ses défaillances ne sont pas corrélées à celles du système qu’elle est censée contrôler. Un contrôle qui ne produit jamais de désaccord n’est pas nécessairement un contrôle. Un contrôle dont on ignore la sensibilité n’est même pas évalué.
Notes doctrinales et explorations sur l’IA en systèmes régulés. Une à deux fois par mois. Désabonnement en un clic.