Et elle nous coûte des vies — l'anthropocentrisme comme obstacle à la sécurité des patients
Nous exigeons des algorithmes médicaux qu’ils « s’expliquent ». L’AI Act le grave dans le marbre, les comités d’éthique le psalmodient, les conférences académiques lui consacrent des tracks entiers. Les start-ups d’IA en santé s’en gargarisent : « Notre IA est explicable : elle repose sur de l’IA symbolique et des réseaux bayésiens. » Sous-entendu : elle saurait ce qu’elle fait. Mieux que nous. Traçable, oui — au prix d’un surcoût computationnel que personne ne chiffre dans les démos. Compréhensible, peut-être. Mais une question suffit à ébranler l’édifice : pouvez-vous m’expliquer votre dernière décision importante ? Pas la version lissée et cohérente construite après coup. Le vrai processus — l’activation réelle de vos circuits neuronaux, la séquence causale depuis le stimulus jusqu’à l’acte. Personne ne peut.
Imaginez un IRM hypothétique capable d’imager en temps réel l’activité de chaque neurone, chaque synapse, chaque gradient électrochimique de votre cerveau au moment d’une décision clinique difficile. Auriez-vous expliqué cette décision ? Non. Vous auriez une carte — exhaustive, précise, spectaculaire. Mais une carte n’est pas une loi. Savoir ce qui s’est passé physiologiquement n’est pas savoir pourquoi ces activations produisent ce choix et pas un autre. C’est la distinction entre syntaxe et sémantique, entre le comment et le pourquoi, entre l’observation et la compréhension. Les ingénieurs IA, sommés de trouver une réponse technologique, répondent par la traçabilité — comme si documenter le chemin équivalait à comprendre pourquoi ce chemin. Traçabilité et explicabilité ne sont pas synonymes.
Le mot « explicable » n’existe pas dans l’absolu. Il existe pour quelqu’un, selon un modèle mental, dans un contexte donné. Explicable pour un radiologue senior ? Un interne ? Un patient de 72 ans ? Un juge administratif ? Un régulateur de l’ANSM ? Un expert IA ? Ces six personnes n’ont pas le même espace conceptuel pour recevoir une explication. Toute explication est une projection — un passage vers un espace de dimension inférieure, calibrée sur le destinataire, jamais sur le processus réel. Ce que la XAI produit (LIME, SHAP, cartes d’attention, contrefactuels) sont des approximations locales d’un comportement global. Des études le démontrent : des explications mécanistiquement incorrectes génèrent de la confiance. L’explication remplit une fonction rhétorique, pas épistémique.
Le double standard n’est pas une erreur scientifique. C’est une posture anthropocentrique défensive. On impose à la machine un standard de justification parce qu’on est profondément mal à l’aise avec une idée simple et dérangeante : une entité non-consciente peut prendre de meilleures décisions que nous sans avoir à s’en expliquer. Un cardiologue expert qui rate 25 % des NSTEMI sur ECG en racontant une belle histoire clinique est objectivement moins fiable qu’un algorithme de deep learning atteignant des performances comparables ou supérieures sur la même tâche. La méfiance envers la décision algorithmique a des décennies ; l’algorithme capable de surpasser le clinicien n’en a que cinq. Nous avons choisi de faire confiance au cardiologue non par rationalité, mais par confort ontologique. Par coquetterie. Cinq décennies de neurosciences cognitives ont méthodiquement démoli le présupposé que les humains seraient capables d’expliquer rationnellement et sans biais leurs décisions.
Si l’objectif réel est la sécurité des patients, la question n’est pas « pourquoi l’algorithme a-t-il décidé ça » mais « dans quelle mesure peut-on s’y fier, et quand peut-il se tromper ». Ce sont des questions mesurables, auditables, actionnables : variance inter-runs sur input identique, calibration de l’incertitude (le modèle sait-il quand il ne sait pas ?), stabilité face aux perturbations non-significatives, stratification des erreurs par populations et conditions cliniques, détection de dérive — une surveillance post-commercialisation exactement comme pour un médicament, des concepts de pharmacovigilance appliqués aux dispositifs médicaux IA.
La vraie transparence n’est pas mécanique, elle est systémique. Elle ne demande pas à l’algorithme d’expliquer chacune de ses décisions. Elle demande aux développeurs de documenter les données d’entraînement, les limites connues, les populations de validation ; aux intégrateurs de vérifier l’adéquation au contexte clinique ; aux cliniciens d’assumer la décision finale, informés par le système. C’est un modèle de responsabilité distribuée — le même qui prévaut dans l’aviation, le nucléaire, la pharmacologie. La meilleure analogie n’est pas le pilote automatique (déterministe, formellement vérifiable). C’est le médicament : on ne comprend pas toujours son mécanisme d’action au niveau moléculaire, on le valide cliniquement, on surveille ses effets post-commercialisation, on cartographie ses contre-indications. De la même manière que calculer l’énergie libre de liaison entre un ligand et son récepteur ne permet pas d’évaluer l’efficacité clinique d’un médicament, tracer les états successifs des pondérations d’un réseau de neurones ne permet pas de l’expliquer. Dans les deux cas, ce sont des phénomènes émergents qui gouvernent. C’est tout ce qu’on devrait exiger de l’algorithme : non pas l’explicabilité, mais la fiabilité mesurée, auditée, surveillée.