Ce que l'apprentissage prédictif latent autorise à inférer sur le monde, et ce qu'il rend irrécupérable en aval
Quatrième volet de la série « Encodage, transduction et modèles du monde ». Fait suite à la partie 3/3 (chapitres 6-9) et prolonge « Apprendre ce qui ne peut pas varier ». L’article intégral, avec ses 31 références et son diagnostic d’architecture en sept axes, est disponible dans le PDF ci-contre.
Une représentation apprise ne décrit pas un monde. Elle décide quelles différences survivent au préentraînement et lesquelles disparaissent. Sous un objectif prétexte — prédire un target masqué, minimiser une distance dans un espace latent appris conjointement — le dispositif fixe une politique de conservation. Ce qu’il ne conserve pas, aucune tête supervisée ne le récupère en aval : elle projette ce qui a survécu, elle ne ressuscite pas ce qui a été détruit. Cette irréversibilité, et non la qualité des invariances apprises, est le fait dont dépendent les décisions d’architecture en environnement régulé. JEPA sert de cas d’étude parce que son objectif est explicitement un objectif de prédictibilité, ce qui expose la politique de conservation au lieu de la dissimuler.
Quatre ensembles suffisent à localiser le problème : I(X), l’information de l’observation ; I_pred, ce que le dispositif rend prédictible ; I_Z, ce que la représentation conserve ; I_Y, ce qui importe pour la décision. Le préentraînement pousse I_Z vers I_pred, puisque rien dans l’objectif n’incite à préserver ce qui ne contribue pas à la prédiction latente. Trois régions en résultent, dont une seule est dangereuse : I_Y ∖ I_pred, l’information décisionnellement essentielle mais faiblement prédictible depuis son contexte. En médecine, cette configuration est structurelle, non accidentelle. L’événement sentinelle, la présentation atypique, la lésion de faible prévalence sont exactement ce que le contexte ne permet pas d’anticiper. Ce qui est bruit pour le problème prétexte est parfois le signal du clinicien. Et le facteur discriminant n’est pas la rareté mais le poids dans l’objectif espéré : un risque de queue représentationnel, aujourd’hui absent de toutes les métriques rapportées.
Une structure prédictive peut être parfaitement stable et causalement fausse : le raccourci de site survit à l’objectif d’invariance, un artefact d’appareil étant précisément ce qui varie le moins à l’intérieur d’un site. La discrimination causale n’est pas une affaire de volume de données mais de dispositif expérimental — environnements distincts, hypothèses d’identifiabilité déclarées. À cela s’ajoute la dérive endogène : un modèle qui oriente le triage modifie la population examinée, donc la distribution ultérieure ; il n’observe plus le monde qu’il a appris mais celui qu’il a contribué à produire. La conséquence de gouvernance est une exigence que les pratiques de validation actuelles ne couvrent pas : documenter ce que le préentraînement a rendu irrécupérable, par sondage ciblé de la représentation gelée sur des distinctions critiques connues. L’intelligence d’un système déployé ne réside ni dans ce qu’il observe ni dans ce qu’il stabilise, mais dans la justesse des différences qu’il a choisi de ne pas détruire. Ce choix n’est pas une propriété du modèle. C’est une décision d’architecte, et elle doit être documentée comme telle.
Le volet suivant, « Une mémoire persistante n’est pas une mémoire biographique », traite les axes de persistance mnésique et de modèle de soi laissés vides ici.
Notes doctrinales et explorations sur l’IA en systèmes régulés. Une à deux fois par mois. Désabonnement en un clic.