Ce qu'une preuve d'évaluation peut réutiliser, pour quels usages, sous quelles hypothèses, et ce qui la rend caduque.
Les modèles spécialisés en santé, ceux qui prédisent une toxicité, engendrent une cohorte synthétique ou estiment une survie, n’auront jamais le classement transversal dont bénéficient les grands modèles de langage. Ils vivent de dossiers, et chaque dossier pose la même question préalable : pourquoi croire l’instrument qui a produit ces chiffres ? L’article soutient que la crédibilité d’un modèle ne peut excéder celle du banc d’essai qui l’évalue, et que la crédibilité du banc se construit par des démonstrations qui ne vieillissent pas au même rythme. Une part du coût actuel de la preuve tient à ce que l’on ne sait pas encore organiser leur réutilisation conditionnelle.
Le périmètre est volontairement étroit. Deux objets sont visés : le dispositif médical intégrant de l’IA que l’AI Act classe à haut risque par son article 6 et son annexe I, et l’outil computationnel dont les résultats soutiennent une décision réglementaire dans le développement du médicament. Un modèle généraliste qui appuie une décision clinique définie partage les exigences de méthode, représentativité, indépendance de l’évaluation, pertinence des seuils, sans hériter de la même qualification réglementaire.
Un classement ordonne des systèmes sur un protocole donné. Un dossier demande qu’un résultat soit accepté pour une décision donnée. Les deux ne sont pas concurrents ; ils répondent à des questions différentes. La comparaison publiée en 2026 dans Nature Medicine par Vishwanath et al., où trois modèles généralistes surpassaient deux outils cliniques commerciaux, et le Matters Arising de Beaulieu-Jones et Nemati qui l’a suivie, en offrent l’illustration récente la plus nette, déjà discutée dans Même performance au benchmark, soin opposé : le classement renseigne, et c’est en l’étirant vers l’achat, le remboursement ou la régulation qu’il cesse de porter. Ce qui a produit le chiffre est une autre question, traitée dans Un benchmark mesure une performance, un décideur doit gouverner sa provenance ; celle-ci porte sur ce qui rend crédible l’instrument producteur.
Le mot benchmark est surchargé. L’article parle de banc d’essai : choix d’évaluation, données de test et de référence, protocole, outillage d’exécution, et domaine d’applicabilité hors duquel le banc ne dit plus rien. Uberti-Bona Marin et ses coauteurs ont identifié en 2026 les quatre choix normatifs que suppose l’exactitude au sens de l’AI Act : les métriques, leur arbitrage, les données représentatives, les seuils.
La première coupure sépare l’intégrité de la validité. Scellement, versionnage et journalisation disent ce qui a tourné, sur quoi, dans quel ordre. Ils ne disent rien de la propriété mesurée. La reproductibilité qualifie la procédure ; la validité qualifie la relation entre la procédure et le monde. Un banc peut être irréprochable sur la première et faux sur la seconde, indéfiniment et de façon reproductible.
En prolongeant la distinction entre vérification et validation d’ASME V&V 40, et le cadre V3 de Goldsack et al. pour les mesures numériques en santé, l’article exige cinq démonstrations séparées. Exactitude du calcul : le logiciel calcule la métrique annoncée. Validité de la mesure : la métrique renseigne la propriété revendiquée. Qualité de la référence : labels, événements et comparateurs sont assez fiables pour servir d’étalon. Capacité discriminante : le banc repère des défauts pertinents, y compris introduits volontairement. Pertinence décisionnelle : le résultat soutient la décision envisagée, et non une décision voisine.
La capacité discriminante est désignée comme la plus négligée et la plus facile à rendre opposable. Un banc qui n’a jamais affronté de contrôles négatifs, de cas de référence connus, de défauts injectés ou de méthodes naïves de comparaison n’a pas montré qu’il sait rejeter un modèle défaillant. Pour les cohortes synthétiques, l’épreuve est concrète : détecter un générateur qui conserve les marges tout en détruisant les relations entre variables, et un générateur qui mémorise des patients réels. Détecter des défauts injectés établit une capacité sur ces défauts, pas une couverture exhaustive, d’où l’obligation pour le banc de documenter ses propres limites, de même qu’un jumeau numérique ne se valide pas en miroir de sa propre distribution d’apprentissage.
La métaphore du thermomètre a un plafond, et le texte le nomme. Un banc combine fidélité, utilité, confidentialité et acceptabilité ; une partie relève de la mesure, une autre d’un choix sur ce qui compte et sur le risque acceptable. Ce choix ne se démontre pas. Il se déclare et se justifie.
La coupure la plus délicate concerne les systèmes qui engendrent leurs propres modèles. Sur le terrain d’implémentation TweenMe, plusieurs dizaines de modèles relèvent de familles de tâches hétérogènes, et certains sont produits par un agent d’optimisation qui hybride des architectures et propose des compromis entre critères. Les scores du banc remontent alors vers la construction des modèles, et le banc devient un composant d’optimisation plutôt qu’un juge final.
Un jeu de données peut rester scellé et inchangé tout en étant progressivement surajusté par les décisions prises à partir de ses scores, le biais de sélection documenté par Cawley et Talbot en 2010. Un journal exhaustif rend l’adaptation visible ; il ne la supprime pas. Trois fonctions doivent donc rester séparées : l’entraînement, la sélection d’architectures et l’arbitrage des compromis, l’évaluation confirmatoire protégée des deux. Sur de petites cohortes, il ne s’agit pas de couper les patients en trois, mais de maîtriser les flux d’information par validation imbriquée, données externes ou données prospectives. Le critère opératoire tient en une formule : l’indépendance informationnelle prime sur l’antériorité chronologique.
La puissance statistique relève aussi de la qualification. Sur la cohorte de 184 patients atteints de CBNPC métastatique BRAF V600E mobilisée dans des travaux acceptés à ISPOR Europe 2026, l’effectif brut dit peu ; ce sont les événements et la structure de censure qui gouvernent la précision, laquelle s’effondre en sous-groupes. Générer davantage de patients synthétiques ne crée pas davantage d’information clinique indépendante. Pour un bras de contrôle externe, la fidélité ne suffit pas davantage : comparabilité des populations, temps zéro, mesure des événements, censure et hypothèses autorisant une lecture causale doivent être examinés, car un générateur peut reproduire une base observationnelle avec ses biais.
L’absence de banc universel n’impose pas de tout reconstruire à chaque dossier. L’article distingue trois niveaux. L’infrastructure (outillage d’exécution, scellement et versionnage des données de test, traçabilité, contrôle d’accès) se démontre une fois et se maintient. La famille de tâches (protocoles de survie, censure, analyses de calibration, tests de confidentialité des données synthétiques, batteries de contrôles négatifs et de défauts injectés) se démontre par famille et s’y réutilise. L’usage précis (population cible, comparateur, seuils, conséquences des erreurs, conditions de déploiement) se démontre à chaque fois, et doit l’être, puisque c’est là que vit la décision. Le débat glisse d’un thermomètre contre plusieurs vers une question plus utile : quelle part de la preuve survit au dossier suivant.
La qualification d’outils existe et sert précisément à mutualiser. L’avis de l’EMA de mars 2025 sur AIM-NASH qualifie une IA comme instrument de mesure pour la lecture de biopsies hépatiques, non comme évaluateur d’autres IA. L’article 15 de l’AI Act exige des niveaux d’exactitude et des indicateurs déclarés, et charge la Commission d’encourager des benchmarks avec les autorités de métrologie ; ses véritables instruments communs sont les normes harmonisées et, à défaut, les spécifications communes (articles 40 et 41). En septembre 2026, les parties CEN-CENELEC consacrées à l’exactitude et à la robustesse n’avaient pas atteint l’enquête publique, et le Digital Omnibus (règlement (UE) 2026/1744) a reporté au 2 août 2028 l’échéance pour l’IA embarquée dans un dispositif médical, issue de l’arbitrage discuté dans Trilogue Annexe I : le rail signe le dossier, pas le système.
Côté américain, les chiffres mesurent un débit plutôt qu’une capacité : 7 outils de mesure clinique qualifiés sur 86 inscrits, en six ans en moyenne (Yang et al., 2025), et 21 outils MDDT qualifiés depuis 2017, aucun présenté comme une IA. Le catalogue des Regulatory Science Tools de la FDA, non qualifiés mais réutilisables, propose déjà des briques de niveau famille de tâches pour l’évaluation de l’IA, et le projet de guidance de janvier 2025 sur l’IA dans les décisions réglementaires du médicament proportionne l’exigence à l’influence du modèle et à la gravité de l’erreur. Repère daté des pratiques : 126 des 130 dispositifs d’IA autorisés par la FDA entre 2015 et 2020 n’avaient été évalués que sur données rétrospectives (Wu et al., 2021).
Un organisme notifié objecterait à juste titre que l’ISO 13485, paragraphe 7.6, impose déjà la validation des logiciels de surveillance et de mesure. Cela couvre l’exactitude du calcul au niveau infrastructure, pas la validité de la mesure ni la qualité de la référence ; quand cet outillage est revalidé à chaque dossier, c’est souvent que les éditeurs ne l’ont pas logé là où le système qualité l’attend. L’expérience d’éditeur qui sous-tend l’article suggère que le coût de preuve ne décroît pas sensiblement d’un dossier à l’autre lorsque les finalités diffèrent, et qu’une part non négligeable se situe au niveau infrastructure : un périmètre potentiellement mutualisable, explicitement pas une économie démontrée.
D’autres industries font croître la confiance dans un outil plutôt que de la reconstruire : ISO 26262 partie 8 (confiance accrue par l’usage), DO-178C avec DO-330 (qualification proportionnée à ce que la sortie de l’outil dispense de vérifier), guidance FDA de 2023 sur la crédibilité des modèles computationnels adossée à ASME V&V 40. Ce sont des analogies de méthode, pas des obligations transposables. Le niveau de l’usage ne se mutualise pas automatiquement, et il ne faut pas l’attendre. L’article condense l’asymétrie : le coût de la preuve d’usage suit la diversité des décisions ; la dette d’infrastructure ne suit que le retard de la profession.
Un écosystème hétérogène de modèles a déjà atteint la recevabilité réglementaire sans classement commun. L’OCDE adoptait en novembre 2004 cinq principes de validation des (Q)SAR : critère défini, algorithme sans ambiguïté, domaine d’applicabilité défini, mesures d’ajustement, de robustesse et de prédictivité, interprétation mécanistique lorsque c’est possible. REACH acceptait ces résultats sous conditions dès 2006 ; ICH M7, en 2014, permettait à deux méthodologies complémentaires, règles d’expert et statistique, de conclure sur les impuretés mutagènes sans essai complémentaire. Chaque producteur a gardé ses modèles. Ce qui a été mis en commun, ce sont des critères de recevabilité. Le banc commun, l’épreuve en aveugle de l’institut japonais NIHS sur plus de 12 000 substances, est venu ensuite et servait l’amélioration comparative, non la qualification.
La transposition a des limites que l’article énonce : la mutagénicité est un critère étroit, presque binaire, et les délais se sont comptés de deux à dix ans. Ce qui se transpose est une forme, des exigences de qualification partagées par famille de tâches, une règle de méthode, une revue d’expert. Et puisque les éditeurs qui produisent des modèles en série ont intérêt à voir leurs critères devenir la norme, ces propositions doivent être publiées, contestables et instruites par un tiers au financement connu, qui accède aussi aux essais infructueux. Publier n’empêche pas la captation par les acteurs dominants ; cela la rend visible.
La mutualisation a un prix : elle concentre les défaillances. Une erreur de calcul ou une référence inadéquate dans un banc partagé peut invalider des dizaines de modèles d’un coup. Il faut donc savoir quels modèles dépendent de quelle version du banc, quelles preuves un défaut découvert invalide, quelles modifications imposent une réévaluation, et quand un jeu de test est devenu trop connu. Les régulateurs s’outillent : AIM-NASH qualifie un outil figé, et les plans de modification prédéterminés de la FDA, guidance finale de décembre 2024 mise à jour en août 2025, fixent à l’avance les modifications couvertes. Une preuve réutilisable n’est pas une preuve figée ; c’est une preuve dont on connaît les dépendances, qu’on peut révoquer et recalculer. Ce qui devient caduc n’est pas toujours le résultat, parfois seulement son interprétation ou son droit de réemploi. Versionner protège l’intégrité ; seule la réévaluation des hypothèses dit si la validité tient.
La preuve vieillit aussi en mois d’exploitation. Sous l’AI Act, la responsabilité est répartie : le fournisseur rend le système journalisable (article 12), déclare dans la notice exactitude, indicateurs et mécanismes d’interprétation des journaux (article 13) et assure la surveillance après commercialisation (article 72) ; le déployeur surveille, informe et suspend l’usage dans les situations prévues (article 26). Les textes n’obligent pas à remettre un banc complet à l’exploitant et ne permettent pas de transférer la surveillance en lui remettant une méthode. La traduction industrielle défendable est un banc de service livré avec le système : propriétés à surveiller et données requises, indicateurs avec références et limites, fréquences d’analyse et effectifs, déclencheurs d’investigation, de réévaluation ou de suspension, répartition des rôles.
La journalisation reconstitue les événements, la télémétrie recueille les signaux, l’évaluation leur donne un sens. Trois angles morts en découlent. Surveiller en continu n’est pas mesurer en continu la performance clinique : une calibration de survie ou une performance sur événement rare exigent des issues observées, parfois des mois plus tard, et un suivi biaisé dessine une image biaisée. Le banc de service doit lui-même être évalué sur ce qu’il détecte, avec quel délai, avec combien de fausses alertes, et ce qu’il laisse passer, entre des mains et sur des populations que son auteur ne contrôle pas. Enfin, la surveillance est un coût récurrent légitime, pas une dette : elle dure autant que l’usage. Le produit livré comprend donc les preuves initiales, l’instrumentation de la surveillance et les règles pour agir sur ses signaux. Une évaluation qui ne sort pas de l’usine ne prouve que la sortie d’usine.
Le terrain principal est celui d’un seul éditeur, et les données qui fondent l’argument économique ne sont pas publiées : il se lit comme une hypothèse argumentée. Un coût qui ne décroît pas entre modèles de finalités différentes n’établit pas, à lui seul, une absence d’apprentissage. Les normes industrielles citées sont payantes et paraphrasées à partir de synthèses produites par des acteurs intéressés à la qualification d’outils. Une norme harmonisée ou une spécification commune sur l’exactitude, si elle était adoptée, déplacerait une partie de l’argument vers son adéquation aux modèles concernés.
Séparer la sélection de l’évaluation confirmatoire. Démontrer la validité du banc, niveau par niveau. Rendre toute preuve réutilisable révocable. Livrer avec le système de quoi savoir quand ses conclusions cessent d’être étayées. Un classement dit qui arrive premier sur un protocole donné ; une conclusion doit dire ce qui la rend caduque.
Argumentation complète, références réglementaires, précédent QSAR et bibliographie dans le PDF ci-dessous (13 pages).
Voir aussi : Même performance au benchmark, soin opposé · Un benchmark clinique est une décision de périmètre, pas une mesure · Les benchmarks publics ont perdu le droit de décider seuls · Quand l’évaluation devient l’infrastructure de concentration · Un domaine d’applicabilité mesure une proximité, pas une capacité · La preuve est une promesse conditionnelle · Du produit certifié à l’autorité continue · Le port de promotion contractualisé · Performance sur benchmark n’est pas déployabilité
Notes doctrinales et explorations sur l’IA en systèmes régulés. Une à deux fois par mois. Désabonnement en un clic.