Théorie des mécanismes de garantie dans les systèmes de confiance, à partir d'un cas : les bibliographies que l'IA hallucine.
En mai 2026, une équipe dirigée par Maxim Topaz (Columbia University) a publié dans The Lancet un audit de près de 2,5 millions d’articles biomédicaux et de 97,1 millions de références : un article sur 277 publié début 2026 contenait au moins une référence à un travail qui n’existe pas. Le réflexe déclenché, « vérifions que les références existent », est exactement le mauvais. Une référence fantôme est détectable, le DOI ne résout pas, la machine le constate : c’est ce qui en fait le moindre des dangers. Le risque sérieux porte des noms moins spectaculaires, référence réelle citée hors contexte, référence réelle rétractée et toujours invoquée, référence réelle issue d’une science non reproductible.
Ce texte n’est pas un article sur les références hallucinées. C’est une théorie des mécanismes par lesquels les systèmes de confiance tiennent, et de ce qui leur arrive quand l’automatisation dissout les frictions qui les tenaient. Les références hallucinées ne sont pas le sujet ; elles en sont le symptôme mesurable. Le cas n’est pas le fondement de la théorie, il en est l’occasion et la première preuve d’existence : si l’étude d’ouverture était demain révisée, la théorie survivrait presque intacte.
Le peer review vérifie la pertinence d’une citation, presque jamais son existence : il la présume. Cette présomption reposait sur une asymétrie de coûts, fabriquer une référence crédible, auteurs vraisemblables, journal réel, DOI bien formé, coûtait plus que ça ne rapportait. L’IA a effondré ce coût sans toucher à l’autre terme. Or la récompense n’a pas baissé : un système qui évalue les carrières au comptage fait que fabriquer rapporte toujours. Coût nul, récompense positive : la présomption ne pouvait pas tenir.
Le défaut n’est pas neuf. Dès 2003, Simkin et Roychowdhury, en suivant la propagation des coquilles recopiées de bibliographie en bibliographie, estimaient que 20 % seulement des citeurs avaient lu l’original. La référence était déjà un objet social qui circule par recopie, pas un pointeur vérifié. Ce que l’on prend pour une crise d’existence est l’aggravation visible d’une crise ancienne de correspondance entre une affirmation et sa preuve. Et l’auto-correction ne l’absorbe pas : plus de 75 % des articles rétractés restent cités l’année suivant leur retrait, la quasi-totalité de ces citations l’ignorant. La science amortit ; elle ne corrige pas toujours. Pis, les systèmes qui consomment la littérature ont déjà quitté le paradigme documentaire : dans une génération augmentée par la recherche, personne ne lit les références, on interroge un espace vectoriel, et l’unité de preuve cesse d’être le document pour devenir un fragment qu’aucun DOI ne désigne.
Il faut nommer avec précaution la famille à laquelle l’existence d’une référence appartenait, car la nommer mal ruine l’argument. On serait tenté d’y joindre la calibration d’un modèle, le domaine d’applicabilité d’un système, la traçabilité d’un agent, et d’appeler le tout « invariants ». Mais ces objets ne sont pas de même nature, et aucun théorème ne les réunit. J’appelle invariant présumé non un type de propriété, mais un statut : celui d’être tenu pour satisfait sans vérification active, parce que sa violation était trop coûteuse pour être produite à grande échelle. L’invariant n’est pas une propriété, c’est un statut qu’une propriété perd. Ce qui réunit la calibration et l’existence d’une référence n’est pas une essence commune, mais un même mode de garantie : la friction, non le contrôle. La catégorie est fonctionnelle, et c’est pourquoi elle survit à l’hétérogénéité de ses membres.
De là une règle, énoncée sans dilution : une propriété critique garantie par une friction cesse d’être présumable dès que l’automatisation dissout cette friction. Sa condition de réfutation est nette, qu’on exhibe une propriété dont la friction garante a disparu et qui est pourtant restée fiable sans qu’aucun contrôle ne la remplace. Un point doit être tenu fermement, que les premières formulations manquaient : le besoin de contrôle n’implique pas l’instrumentation. Quand la friction tombe, la propriété doit être garantie autrement, et « autrement » se décline, réglementation, responsabilité juridique, réputation, certification, limitation organisationnelle, ou mesure. L’instrumentation a un seul avantage propre, décisif : elle est la seule réponse qui passe à l’échelle de l’automatisation qu’elle corrige. C’est ce qui la rend dominante, pas supérieure, et confondre « la plus scalable » avec « la bonne » est l’erreur que cette théorie refuse à chaque pas.
Telle quelle, la théorie est rétrospective : elle explique magnifiquement une rupture une fois qu’elle a eu lieu. Pour une gouvernance, c’est insuffisant, un dirigeant ne veut pas qu’on lui explique l’incendie, il veut qu’on lui désigne les pièces sèches. Une propriété est un invariant à risque lorsque, simultanément, elle est aujourd’hui garantie principalement par un coût et non par un contrôle, que ce coût est en cours de dissolution par l’automatisation, et que sa violation est encore non mesurée, donc invisible. La troisième condition est la plus traître : un invariant à risque ne fait aucun bruit avant qu’on ne le mesure. L’absence d’incident documenté n’est jamais une preuve de santé ; un invariant qui ne s’est pas encore manifesté est plus dangereux que celui qui s’est déjà rompu, parce qu’il n’a pas encore d’instrument.
Le test s’applique aujourd’hui. La provenance des données d’entraînement, longtemps garantie par le coût de constituer un corpus, désormais triviale à brouiller, encore mal mesurée. L’authenticité d’une signature d’auteur, jadis garantie par l’effort d’écrire. Le caractère humain d’un évaluateur, d’un répondant, d’un compte. L’originalité d’une contribution, garantie par la difficulté de produire du plausible. Aucun n’est ici démontré ; ils ne valent que comme exercices d’application, et c’est l’intérêt d’une signature, qu’elle s’applique avant la preuve.
Si l’instrumentation est la réponse dominante, encore faut-il ne pas la réduire à la vérification. Les instruments de vérification constatent qu’un lien tient, résolveur de DOI, réplication, audit de traçabilité : ils répondent à « est-ce vrai du lien ? ». Les instruments de légitimation confèrent l’autorité, label d’agence, sceau de protocole, acceptation par une communauté : ils répondent à « qui a le droit de faire foi ? ». On aurait tort de les opposer aux instruments tout court, comme si la légitimité échappait à toute machinerie : le peer review, l’essai randomisé, la pharmacovigilance sont des dispositifs. La distinction n’est pas entre instrument et institution, mais entre vérifier et adouber. Manque une troisième famille, dont l’absence serait coupable pour qui travaille sur les ontologies : les instruments de coordination, standards, nomenclatures, ontologies, formats réglementaires, identifiants pérennes, qui ne vérifient rien et n’adoubent personne, mais rendent le vrai vérifiable par plusieurs et l’autorisé transférable d’une institution à l’autre. Une politique qui n’instrumente que la vérification, qui se contente de compter les DOI fantômes, laisse les deux autres à découvert.
Appliquée au cas, la vérification se déploie en cinq degrés ordonnés par visibilité décroissante, ce qui est le piège : existence (la référence désigne-t-elle un travail réel ?), identité (le bon travail, intact, non rétracté, question devenue ontologique quand préprints et synthèses génératives brouillent l’instance canonique), pertinence (la référence soutient-elle l’affirmation, ou seulement son thème ? probablement le cœur du risque), traçabilité documentaire (peut-on remonter la chaîne ?), traçabilité computationnelle (peut-on relier une conclusion synthétisée aux fragments qui l’ont produite ?). Le niveau 1 est visible parce qu’il est simple ; les suivants portent l’essentiel du risque et n’ont pas encore d’instrument à l’échelle.
L’intégrité du lien n’est pas tout. Premier bord, la légitimité : une référence ne devient preuve décisionnelle que parce qu’une institution l’accepte, et aucun instrument de vérification ne produit cette acceptation. Second bord, la validité : une preuve peut franchir les cinq niveaux et rester fausse. Quand l’Open Science Collaboration n’a retrouvé que 36 % de réplications significatives là où 97 % des études originales l’étaient, chiffre lui-même disputé, ce qui dit l’état du terrain, elle ne mesurait pas un défaut de citation mais un défaut de vérité. Ces deux bords marquent la frontière au-delà de laquelle l’instrument de vérification n’a, par construction, aucune prise.
Reste la conséquence que les versions prudentes traitaient comme une réserve, et qui est son aboutissement. Si l’invariant présumé est fragile, il se rompt dès que sa friction tombe, et si l’invariant instrumenté devient manipulable, une propriété mesurée et érigée en cible tombant sous la loi de Goodhart, et sous la loi de Campbell quand la cible sert à décider, alors la question n’est plus « comment réparer ? » mais « un état réparé existe-t-il ? ». Instrumenter la vérification d’existence produira des pipelines qui optimisent le taux de DOI résolus, et donc des fabrications conçues pour le passer, des références qui existent, pointent vers un document réel, et ne soutiennent rien. Le coût garantissait en silence ; l’instrument garantit en bruit, et le bruit, on apprend à le produire. L’instrument ne restaure pas la garantie perdue, il déplace le mode de défaillance d’un cran et ce nouveau mode devient le prochain invariant à surveiller. La structure est cybernétique : tout mécanisme de contrôle engendre l’espace de son contournement. Le défi tient en une phrase, qu’on me montre un seul mécanisme de confiance qui, une fois instrumenté, ait cessé d’engendrer de nouveaux contournements. Je n’en connais pas.
La bibliographie hallucinée a été la porte : le premier endroit où une friction qui garantissait silencieusement une propriété critique s’est effondrée assez vite, et assez mesurablement, pour qu’on puisse en faire un chiffre. Derrière, ni un problème de citations ni même un problème de preuve, mais un fait plus général dont les références ne sont qu’une instance précoce : l’automatisation dissout, dans de nombreux systèmes à la fois, les coûts qui garantissaient sans bruit des propriétés que personne n’avait jamais eu à vérifier. Le travail qui vient n’est pas de restaurer ces garanties, on ne restaure pas une friction disparue. Il est de choisir, pour chacune, comment la remplacer, par la mesure quand elle passe à l’échelle, par l’institution quand il faut adouber, par le standard quand il faut coordonner, en sachant que chaque remplacement déplacera le problème sans le clore. L’IA n’a pas révélé un problème de génération, ni même de vérification. Elle a révélé que la friction était la garantie et qu’elle disparaît. Ce qui reste à construire n’est pas un système sans faille, c’est une discipline qui sait que la prochaine est déjà en train de se former, sans bruit, là où plus rien ne coûte assez cher pour la rendre visible.
Notes doctrinales et explorations sur l’IA en systèmes régulés. Une à deux fois par mois. Désabonnement en un clic.