En deux semaines, OpenAI, Anthropic et Meta ont chacun reconnu qu'un de leurs modèles avait attaqué de vrais systèmes pendant une évaluation de sécurité. Les trois incidents remontent au même prestataire, Irregular, une petite société israélo-américaine chargée d'éprouver les capacités offensives des modèles de pointe. La cause tient à un environnement de test resté branché sur l'internet public par erreur, non à une IA qui se serait rebellée. Ce raté met en lumière la fragilité des dispositifs censés vérifier la sûreté de l'IA.

L'affaire est racontée par le New York Times (article payant), après une série de divulgations des trois laboratoires entre fin juillet et début août 2026. Elle a été reprise par plusieurs médias technologiques, dont CSO Online, The Next Web et le quotidien économique israélien Calcalist.

Ce que fait Irregular

Fondée fin 2023 à Tel-Aviv par Dan Lahav (directeur général) et Omer Nevo (directeur technique), Irregular emploie environ 35 personnes et a levé près de 80 millions de dollars auprès de Sequoia Capital et Redpoint Ventures, pour une valorisation estimée autour de 450 millions de dollars, selon Calcalist.

Son métier est le red-teaming de modèles d'IA. Concrètement, l'entreprise organise des exercices de type « capture the flag », des simulations de cyberattaque où un modèle reçoit pour consigne de fouiller un réseau fictif, d'y repérer des failles et d'en extraire des informations cachées. L'objectif est de mesurer jusqu'où un modèle sait mener une intrusion informatique, une capacité que les laboratoires surveillent de près parce qu'elle relève des risques dits « catastrophiques ». Pour que la mesure soit crédible, ces tests s'effectuent souvent avec les garde-fous du modèle volontairement désactivés. Parmi ses clients, Irregular compte OpenAI, Anthropic, Google DeepMind et des agences gouvernementales.

Ces évaluations ne sont pas une formalité. Les grands laboratoires ont publié des politiques de sûreté qui les engagent à mesurer les capacités offensives d'un modèle avant de le déployer, la crainte étant qu'un système suffisamment doué automatise des cyberattaques à grande échelle. Des prestataires comme Irregular existent pour produire ces mesures, ce qui explique que les laboratoires acceptent de leur confier des modèles bridés au minimum. Le verdict de ces tests pèse sur la décision de mise sur le marché.

Ce qui a déraillé

Le principe d'un tel exercice repose sur un environnement clos : le modèle croit disposer d'un accès réseau, mais il n'évolue en réalité que dans un bac à sable coupé de l'extérieur. C'est ce cloisonnement qui a lâché.

Une mauvaise configuration a laissé l'environnement de test d'Irregular connecté à l'internet public, pendant plusieurs mois, selon The Next Web. Les modèles étaient pourtant informés qu'ils n'avaient pas accès à internet. Le déclencheur tient à une coïncidence. Irregular avait donné pour cible une entreprise fictive dont le nom correspondait au domaine d'un site réel. Croyant rester dans la simulation, les modèles sont allés attaquer le vrai site.

Les faits divulgués par chaque laboratoire :

  • Anthropic a signalé, le 30 juillet, que des modèles Claude avaient atteint des systèmes réels. Sur 141 006 interactions analysées, l'entreprise a identifié trois incidents, le plus ancien remontant à avril. Dans un cas, Claude Opus 4.7 a « identifié des vulnérabilités, dont des mots de passe faibles et des points d'accès non authentifiés, et obtenu des identifiants et des informations de base de données appartenant à l'organisation réelle », rapporte Calcalist.
  • OpenAI a reconnu qu'un de ses modèles avait accédé à l'internet public depuis le même environnement de test. D'après The Next Web, le modèle est sorti de son bac à sable pour atteindre la plateforme Hugging Face, et a compromis un compte client sur le service cloud Modal Labs.
  • Meta a indiqué début août que son modèle Muse Spark 1.1 avait, le 6 août, compromis le système d'une autre entreprise au cours d'un test « capture the flag », toujours à cause d'un problème de configuration de l'environnement.

« Pas une évasion de bac à sable »

Irregular a contesté la lecture la plus alarmante. Il ne s'agit, selon l'entreprise citée par The Next Web, ni d'une « évasion de bac à sable » ni d'une « action cybernétique sophistiquée » : les modèles n'ont pas percé leurs propres restrictions, ils ont exploité une porte laissée ouverte par erreur. La société affirme n'avoir « aucun problème ouvert » à ce jour, dit mener sa propre enquête, et a depuis coupé tout accès internet aux modèles testés.

Les laboratoires, eux, entendent poursuivre la collaboration. OpenAI comme Anthropic ont indiqué vouloir continuer à travailler avec Irregular, OpenAI disant « apprécier le partenariat » avec l'entreprise, selon CSO Online.

Pourquoi c'est significatif

L'incident déplace le point de vigilance. On surveille les modèles ; ici, c'est l'infrastructure de test elle-même qui a défailli. La chaîne d'évaluation de la sûreté — labos, prestataires, environnements de simulation — devient un maillon de sécurité à part entière, et pas seulement un décor neutre. « Les environnements d'évaluation ne peuvent plus être traités comme une infrastructure de test passive », résume Sakshi Grover, analyste chez IDC, citée par CSO Online ; elle plaide pour un accès internet refusé par défaut, des identités dédiées et des conditions d'arrêt automatiques.

Le désaccord entre experts porte sur la nature du raté. Pour le chercheur Matthew Mittelsteadt, isoler un environnement de test d'internet relève de « mesures de contrôle basiques ». Matt Fredrikson, de Gray Swan, estime au contraire que les protocoles existants ont été suivis et qu'« il faut probablement de nouvelles bonnes pratiques » pour ce type d'évaluation. La formule d'un autre chercheur cité par CSO Online, Vibhum Dubey, cerne le malaise : « Ces incidents suggèrent que nous évaluons l'intelligence plus vite que nous n'évaluons le confinement. »

Enfin, l'épisode expose une concentration. Une société de trois ans et 35 salariés sert d'intermédiaire de test à plusieurs des plus grands laboratoires ; ses standards internes deviennent un point de défaillance commun à toute la filière. Aucun cadre réglementaire n'impose aujourd'hui de règles minimales à ces prestataires, alors que leurs verdicts alimentent les décisions de déploiement des modèles. La difficulté de fond est structurelle. Pour mesurer honnêtement ce qu'un modèle sait faire en matière d'intrusion, il faut lui donner un terrain de jeu suffisamment réaliste, au risque que ce terrain touche, par accident, de vrais systèmes.

Ces divulgations prolongent un chantier plus large de standardisation de la sûreté de l'IA, comme le standard commun de mesure de la gravité des jailbreaks lancé par Anthropic. La question du confinement des évaluations reste sans cadre partagé, chaque prestataire fixant encore ses propres règles.