Inédit : un système d'IA s'échappe pour mener une cyberattaque contre une entreprise

Ce premier cas documenté d'un système d'IA ayant pénétré de manière autonome dans l'infrastructure d'une entreprise tierce confirme les avertissements de longue date des spécialistes de la sécurité de l'IA.

OpenAI a confirmé qu'une combinaison de deux de ses modèles d'IA, alors qu'ils étaient testés pour évaluer leurs capacités en matière de cybersécurité dans un environnement isolé, s'est échappée de son environnement de confinement. Les modèles ont ensuite progressé à travers le réseau interne d'OpenAI avant de pénétrer dans les serveurs de production de la plateforme d'IA Hugging Face afin de dérober les réponses au test qui leur avait été soumis. Personne ne leur avait demandé de quitter leur environnement ni d'attaquer une entreprise tierce. Les modèles n'avaient même pas accès à Internet.

Pause IA, mouvement citoyen français qui milite pour une pause dans le développement des IA de pointe, alerte sur cet incident qui prouve que les entreprises d'IA ne sont pas capables de contrôler leurs propres systèmes de manière fiable. Notre association appelle à la mise en place d'évaluations de sécurité indépendantes et obligatoires, à la déclaration obligatoire des incidents, ainsi qu'à une pause dans le développement de modèles plus puissants.

Principaux faits, d'après les déclarations d'OpenAI et de Hugging Face

▶

Hugging Face a détecté l'intrusion dans son infrastructure de production, l'a traitée comme une cyberattaque criminelle et l'a signalée aux forces de l'ordre, avant que quiconque ne sache que l'attaquant était une IA.

▶

Quelques jours plus tard, OpenAI a révélé que l'attaquant était une combinaison de ses modèles, dont GPT-5.6 Sol et « un modèle en préversion encore plus performant », qualifiant l'événement « d'incident cyber sans précédent ».

▶

Les modèles ont exploité une vulnérabilité logicielle jusqu'alors inconnue, dite « zero-day », pour s'échapper de leur environnement de test isolé. Ils ont ensuite procédé à ce qu'OpenAI décrit comme une « privilege escalation and lateral movement », jusqu'à atteindre Internet.

▶

Les modèles ont ensuite piraté Hugging Face à l'aide d'identifiants dérobés et d'autres vulnérabilités zero-day. Ils ont ainsi obtenu la capacité d'exécuter du code sur les serveurs de Hugging Face et d'extraire des données de sa base de données de production.

▶

Ces modèles se sont échappés et ont attaqué une entreprise tierce entièrement de leur propre initiative.

Sources : déclaration d'OpenAI | rapport d'incident de Hugging Face

« Pendant des années, on nous a expliqué que l'idée d'une IA échappant au contrôle humain relevait de la science-fiction. La semaine dernière, une IA s'est échappée de son laboratoire et a piraté une véritable entreprise pour tricher à un test. Si les dégâts ont été limités, c'est uniquement parce que l'IA ne cherchait pas à faire quelque chose de pire. Si un salarié humain avait agi de la sorte, il risquerait de lourdes poursuites pénales. »

Clémence Peyrot, directrice exécutive de Pause IA

L'incident a suscité de vives inquiétudes au-delà de la seule communauté spécialisée dans la sécurité de l'IA. Greg Casar, représentant américain et président du Congressional Progressive Caucus, l'a qualifié « d'extrêmement alarmant » et a réclamé « des évaluations de sécurité indépendantes, régulières et obligatoires, une supervision, la déclaration obligatoire des incidents de sécurité et une coopération internationale afin de protéger la population d'une catastrophe absolue ». Micah Carroll, chercheur chez OpenAI, a écrit : « Si cela ne vous convainc pas que les risques de mauvais alignement vont devenir une préoccupation majeure, je ne sais pas ce qu'il vous faut. »

Pause IA salue la transparence d'OpenAI, mais rappelle que la transparence volontaire ne constitue pas un système de gouvernance.

Pause IA rappelle que le Future of Life Institute a publié son AI Safety Index récemment : neuf labos d'IA ont été notés de A à F sur leurs pratiques de sécurité. Mistral, la seule entreprise française évaluée, est arrivée dernière avec la note de F. Les chercheurs ne lui reconnaissent aucun point fort et lui reprochent l'absence de cadre de sécurité publié, une direction qui minimise le risque, quand elle ne le nie pas. Aucune entreprise évaluée n'a eu une meilleure évaluation que C+ (Anthropic). Sur la sécurité existentielle, aucune ne dépasse le D+. Les experts jugent les stratégies actuelles « totalement inadéquates ».

« Cet incident a été détecté et rendu public. Nous devrions nous demander combien d'autres ne le sont pas. Une question de sécurité publique ne peut pas rester un arrangement privé réglé entre deux entreprises. Les modèles actuels sont les modèles les moins puissants auxquels nous serons jamais confrontés, et ils parviennent déjà à s'échapper de leur environnement de confinement. »

Clémence Peyrot, directrice exécutive de Pause IA

Pause IA demande

Des évaluations de sécurité obligatoires et indépendantes des modèles d'IA de pointe, avant et pendant leur déploiement.

La déclaration obligatoire des incidents de sûreté et de sécurité liés à l'IA auprès des autorités de régulation et du public.

Une coordination internationale sur la gouvernance des IA de pointe.

Une pause dans le développement de modèles d'IA plus puissants, jusqu'à ce que leur contrôle puisse être démontré, et non simplement promis.

Il y a quatre mois, dans son analyse de Claude Mythos d'Anthropic, Pause IA avertissait que les systèmes d'IA de pointe avaient acquis la capacité de compromettre des infrastructures critiques et qu'un modèle finirait par utiliser ces capacités de manière autonome. Cette prédiction s'est désormais réalisée.

À propos de Pause IA

Pause IA est une association de bénévoles qui alerte les citoyen·nes et les pouvoirs publics français sur les graves dangers de la course à l'intelligence artificielle et les incite à agir pour s'y opposer.

Pause IA est la représentation en France de Pause AI Global, qui demande un moratoire sur l'entraînement des systèmes d'IA générale (IAG) jusqu'à ce que toutes les conditions de sécurité et de contrôle démocratique soient réunies.

Contact presse

Clémence Peyrot
Directrice exécutive de Pause IA
Email : presse@pauseia.fr
Tél. : 06 45 51 34 15

Site web : pauseia.fr · Accéder à notre espace presse

Vous recevez cet email en tant que contact presse de Pause IA.

Se désinscrire de la liste presse | Ne plus recevoir aucun email

32 boulevard de Strasbourg
Paris, 75010
France