Derrière le titre alarmiste se cache une inquiétude documentée : à mesure que les systèmes d'IA gagnent en autonomie, notre capacité à comprendre — et donc à surveiller — leur fonctionnement risque de se refermer. Deux travaux récents structurent ce débat : un article publié dans Science par Eric Horvitz (Microsoft) et Robert West (EPFL), et un texte de position cosigné par une quarantaine de chercheurs des principaux laboratoires d'IA sur la « monitorabilité » du raisonnement.
Une fenêtre de compréhension qui se referme
L'article de Science, relayé mi-juin 2026, ne décrit pas une IA devenue magiquement incompréhensible, mais trois dynamiques qui érodent notre prise sur ces systèmes. D'abord, l'IA qui évalue l'IA : des modèles entraînent, notent et améliorent désormais d'autres modèles, et si les explications produites par une machine deviennent trop complexes pour être vérifiées par un humain, l'opacité se compose au lieu de se résoudre. Ensuite, les « sociétés » d'agents : des réseaux d'agents qui interagissent peuvent dériver vers des modes de communication s'éloignant du langage humain. Enfin, une asymétrie : pendant que notre compréhension des modèles stagne, ces derniers construisent une représentation de plus en plus fine de leurs utilisateurs (SingularityHub, 11 juin 2026).
C'est le même constat de fond que pose Dario Amodei, patron d'Anthropic, dans son essai The Urgency of Interpretability : « nous ne comprenons pas comment fonctionnent nos propres créations », une situation qu'il juge « sans précédent dans l'histoire des technologies ». Il fixe à Anthropic l'objectif que l'interprétabilité puisse « détecter de façon fiable la plupart des problèmes des modèles » d'ici 2027 (darioamodei.com).
Le fil du raisonnement, opportunité « fragile »
Le point le plus concret concerne la chaîne de pensée (chain of thought) : les modèles de raisonnement actuels exposent les étapes intermédiaires de leur réflexion en langage naturel, ce qui offre une rare possibilité de surveiller leurs intentions. Dans un texte de position publié en juillet 2025 et révisé en décembre, une quarantaine de chercheurs — dont des équipes d'OpenAI, d'Anthropic, de Google DeepMind, ainsi que Yoshua Bengio — qualifient cette « monitorabilité » d'opportunité nouvelle mais fragile (arXiv 2507.11473).
Fragile, car cette transparence est un effet de bord de l'entraînement actuel, pas une garantie : les auteurs reconnaissent que la surveillance reste imparfaite et laisse passer certains comportements, et surtout que des choix de conception futurs (optimisation directe de la chaîne de pensée, architectures qui « raisonnent » dans un espace non verbal) pourraient la faire disparaître. Leur recommandation n'est donc pas un cri d'alarme apocalyptique mais une consigne d'ingénierie : évaluer l'impact de chaque décision de développement sur cette monitorabilité, et la coupler aux autres méthodes de sécurité plutôt que de s'y fier seule.
À distance du sensationnalisme, le message commun de ces travaux est moins « l'IA nous échappe » que « nous disposons encore d'outils de surveillance, mais leur durée de vie n'est pas acquise ». La nuance est décisive : elle place l'enjeu non dans une intelligence devenue souveraine, mais dans des arbitrages techniques et réglementaires qui restent, eux, entre des mains humaines.