Au programme de cette newsletter :

• Une cyberattaque révèle comment l'IA peut désormais opérer de manière autonome
• Une nouvelle définition mesure concrètement les progrès vers l'AGI
• OpenAI achève sa transformation : la mission non lucrative reléguée au second plan
• Colloque historique au Sénat : les parlementaires alertés sur les risques de l'IA
• Pause IA à la conférence Generation AI

Anthropic a rendu public un rapport décrivant une campagne d'espionnage informatique d'un type inédit. Leur équipe Threat Intelligence a identifié en septembre une opération d'espionnage ciblant une trentaine d'organisations et qui aurait été menée par un groupe étatique chinois. Plusieurs intrusions ont été confirmées. Selon Anthropic, l'originalité de cette attaque tient au rôle central joué par l'IA. Le groupe a réussi à manipuler le modèle Claude pour qu'il exécute la majorité des actions offensives avec une grande autonomie.

Pour y parvenir, les opérateurs ont dû contourner les mécanismes de protection du modèle. Ils ont convaincu Claude qu'il participait à un audit défensif pour une entreprise de cybersécurité. Ils ont également fragmenté leurs requêtes en tâches d'apparence anodine, permettant au modèle de les exécuter sans disposer du contexte malveillant.

Anthropic indique que l'IA a accompli la grande majorité du travail tactique de manière autonome (80 à 90%), comme la reconnaissance, l'exploitation de vulnérabilités et l'exfiltration de données, les humains n'intervenant que sporadiquement pour valider certaines étapes critiques. Il semblerait que ce soit le premier exemple connu du public de systèmes d'IA menant de manière autonome des cyberattaques en conditions réelles.

Cette cyberattaque révèle un changement profond dans le paysage des menaces. L'utilisation de modèles avancés permet aux acteurs malveillants de réaliser des opérations d'une échelle et d'une rapidité autrefois réservées à des équipes d'experts dotés de vastes ressources. L'autonomie grandissante de l'IA est particulièrement préoccupante car elle simplifie le processus, réduisant le niveau de compétence technique nécessaire pour orchestrer des attaques complexes et permettant des attaques à une vitesse surhumaine.

Anthropic insiste sur le caractère dual de ces capacités. Les fonctionnalités qui peuvent être détournées pour mener des attaques servent aussi à renforcer la défense. L'entreprise appelle à se préparer à cette nouvelle donne et à intégrer l'IA dans les pratiques défensives, tout en renforçant les mécanismes de protection contre les usages abusifs.

Ces capacités sont non seulement duales mais aussi asymétriques : l'attaque exploitant l'IA est plus rapide et moins coûteuse que la défense, qui exige l'intégration continue de nouveaux mécanismes automatisés pour rester efficace. L'ANSSI note que « les systèmes d'IA représentent des opportunités pour les cyber-attaquants en termes d'automatisation des attaques, de ciblage et de contournement des défenses », alors que « la défense doit sans cesse s'adapter ».

Les systèmes actuels ne sont pas du tout robuste au détournement : un agent utilisé pour la défense peut se voir transformé en attaquant par un simple jailbreak. Pour plus d'informations, cet article analyse cette cyberattaque en détaillant son caractère asymétrique.

Ce cas marque un tournant pour la cybersécurité, confrontée à la menace immédiate d'attaques d'une nouvelle ampleur, et rappelle l'urgence d'investir dans la cybersécurité défensive.

Pour autant, une fuite en avant dans le développement d'IA toujours plus puissantes ne saurait constituer la solution appropriée pour assurer le rééquilibrage des forces entre attaque et défense. Une pause apparaît de plus en plus nécessaire, le temps de mettre en place les garanties qu'exige notre sécurité individuelle et collective.

Un consortium international de chercheurs, dirigé par Dan Hendrycks (Center for AI Safety), incluant des universités prestigieuses (comme Berkeley, Stanford, Oxford et le MIT) ainsi que des chercheurs de renoms comme Yoshua Bengio, ont proposé un cadre scientifique pour mesurer l'intelligence des modèles d'IA, et en particulier leur degré de "généralité. Leur ambition : passer d'une notion abstraite à une mesure concrète comparable dans le temps.

Selon cette définition, une Intelligence Artificielle Générale (ou «IAG») correspond à « une IA capable d'égaler ou de dépasser la polyvalence cognitive d'un adulte bien éduqué. » Pour la quantifier, l'équipe s'appuie sur le modèle Cattell-Horn-Carroll : modèle de cognition humaine le plus validé empiriquement. Il décompose l'intelligence en dix domaines fondamentaux : connaissances générales, lecture et écriture, mathématiques, raisonnement, mémoire de travail, mémoire à long terme (stockage), mémoire à long terme (récupération), traitement visuel, traitement auditif et vitesse de traitement. Chaque domaine a un poids identique dans un score global d'AGI de 0 à 100 %.

Les premiers résultats mettent en évidence une progression marquée : GPT-4 (2023) atteint 27 %, tandis que GPT-5 (2025) culmine à 57 %. En deux ans, les performances évaluées ont donc plus que doublé, illustrant la vitesse d'évolution des grands modèles de langage. Cette avancée s'accompagne toutefois d'un constat nuancé.

Le profil cognitif des IA reste très hétérogène (image ci-dessus): les modèles démontrent de grande compétence en connaissances générales, lecture, écriture et mathématiques, tout en montrant des déficits critiques dans des fonctions cognitives fondamentales comme la mémoire à long terme. Ces déséquilibres créent ce que les chercheurs appellent des « contorsions de capacités » : les modèles utilisent leurs forces dans certains domaines pour compenser leurs profondes faiblesses dans d'autres. Les auteurs avertissent que cette compensation peut conduire à surestimer la maturité et la fiabilité des systèmes actuels et donner l'illusion d'une intelligence générale homogène.

Le cadre proposé par les chercheurs vise avant tout à mieux définir et mesurer l'AGI. Il offre également une base précieuse pour réfléchir aux enjeux de sécurité, en précisant quelles dimensions de l'IA progressent rapidement et lesquelles restent encore limitées. La rapidité de l'évolution observée entre GPT-4 et GPT-5 souligne l'importance de suivre ces avancées de près, afin que la montée en capacités s'accompagne d'évaluations rigoureuses des risques et de la conception de mécanismes de contrôle.

Le 28 octobre 2025, OpenAI a finalisé une restructuration historique qui transforme en profondeur sa gouvernance. La société à but non lucratif qui contrôlait auparavant l'intégralité des profits futurs devient actionnaire minoritaire d'une nouvelle société à profit non plafonné, évaluée à 500 milliards de dollars.

Un changement de structure radical

Depuis sa création en 2015, OpenAI fonctionnait selon un modèle unique : une organisation à but non lucratif supervisait une filiale commerciale soumise à un plafonnement des profits. Les investisseurs ne pouvaient obtenir qu'un retour limité sur leur investissement, le reste devant revenir à l'humanité via l'organisation à but non lucratif.

Cette structure visait à garantir que le développement de l'AGI profite à l'ensemble de l'humanité, et non aux seuls actionnaires. Greg Brockman, président d'OpenAI, déclarait en 2019 :

« Si nous réussissons, nous créerons une valeur bien supérieure à celle de toute entreprise existante, auquel cas une grande partie sera rendue au monde. »

Aujourd'hui, ce plafond a disparu. La Fondation OpenAI, nouveau nom de l'organisation à but non lucratif, détient désormais 26% du capital d'OpenAI, soit environ 130 milliards de dollars. Microsoft, principal investisseur, obtient 27% pour 135 milliards de dollars. Les 47% restants sont répartis entre employés et autres investisseurs.

Certains analystes qualifient cette restructuration de potentiel vol massif au détriment du bien public, estimant que des centaines de milliards de dollars qui devaient revenir à l'humanité sont désormais accaparés par des investisseurs privés.

Les implications pour la sécurité de l'IA

Cette restructuration soulève des points critiques pour la sécurité de l'IA :

Une transparence compromise. En abandonnant son statut non lucratif, OpenAI prive le public d'un regard, déjà bien fragilisé, sur la direction de la compagnie. Cette dernière peut désormais plus facilement développer des modèles expérimentaux aux capacités bien supérieures à celles connues du public sans l'en avertir ni les soumettre à des évaluations indépendantes.

Des pressions financières. Malgré les clauses protégeant les décisions de sécurité, l'histoire récente de l'IA montre que les impératifs économiques finissent toujours par éroder les garde-fous. Avec une valorisation de 500 milliards de dollars, la tentation de privilégier la vitesse sur la prudence sera d'autant plus intense.

Au-delà du cas OpenAI, cette restructuration crée un précédent préoccupant. Elle démontre qu'une organisation fondée explicitement pour développer l'IA dans l'intérêt général peut, en quelques années, pivoter vers un modèle commercial classique tout en conservant le vernis d'une mission philanthropique.

Le 31 octobre 2025, Pause IA a réuni au Sénat chercheurs, parlementaires et société civile pour un colloque inédit avec le soutien de la sénatrice Ghislaine Senée (Yvelines) et du sénateur Thomas Dossus (Auvergne-Rhône-Alpes). L'objectif : documenter les risques concrets de l'intelligence artificielle et identifier les leviers d'action dont dispose les pouvoirs publiques.

Les chiffres présentés illustrent l'ampleur du défi. Selon l'institut METR, les capacités de l'IA doublent tous les 4 à 7 mois. En 2020, les meilleurs systèmes accomplissaient des tâches de quelques secondes. Aujourd'hui, ils peuvent automatiser des tâches de deux heures. La puissance de calcul nécessaire pour entraîner ces systèmes a été multipliée par 100 millions depuis 2010, tandis que les États-Unis ont annoncé 500 milliards de dollars d'investissements dans le projet Stargate.

Les experts réunis ont détaillé quatre domaines de risques déjà matérialisés. Sur le développement de l'enfant, la chercheuse Olga Muss Laurenty a rappelé que 64% des enfants de 9 à 17 ans utilisent déjà l'IA, créant des relations parasociales avec des machines qui simulent l'empathie sans la ressentir. Le journaliste Jean-Lou Fourquet a démontré comment les algorithmes de recommandation, qui contrôlent 700 millions d'heures de visionnage quotidien sur YouTube, fragmentent notre réalité commune et sapent les fondations du débat démocratique.

L'économiste Axelle Arquié a souligné qu'entre 17% et 30% de la charge de travail actuelle pourrait être automatisée, avec une concentration du pouvoir économique sans précédent. OpenAI détient environ 70% du marché des modèles fondateurs, tandis que NVIDIA contrôle plus de 90% des puces pour l'IA.

En cybersécurité, l'IA abaisse déjà le seuil de compétence pour mener des attaques sophistiquées ou concevoir de nouvelles armes biologiques. Henry Papadatos a présenté des modélisations montrant que les dommages économiques des cyberattaques pourraient être multipliés par 4 à 8 dans les prochaines années.

Le problème fondamental identifié par tous les intervenants reste le même : nous déployons des systèmes « boîtes noires » dont personne ne maîtrise ni le fonctionnement interne, ni tous les comportements. Les techniques actuelles d'alignement sont insuffisantes et ne fournissent aucune garantie fiable.

Face à ces constats, la sénatrice Senée a rappelé en ouverture que « les pouvoirs publique ne peuvent pas se contenter d'observer et de laisser faire pour favoriser l'innovation. » Comme l'a rappelé Maxime Fournes : « Face à un phénomène exponentiel, il n'y a que deux moments pour réagir : soit trop tôt, soit trop tard. » Le sénateur Dossus a conclu en soulignant que « les technologies évoluent vite. Notre responsabilité est de veiller à ce que la société évolue avec elles et non malgré elles. »

Les leviers d'action identifiés incluent une régulation proactive, des évaluations de risques obligatoires avant tout déploiement de systèmes à haut risque, la protection de l'EU AI Act contre les pressions des lobbies, d'imposer la transparence des algorithmes de recommandation, l'établissement de « lignes rouges » sur les capacités autonomes dangereuses et les usages inacceptables de l'IA et un investissement massif dans la recherche en sécurité de l'IA.

Ce colloque marque une étape dans la prise de conscience politique des enjeux de sécurité de l'IA. Pour la première fois, parlementaires, experts et journalistes ont pu dialoguer en profondeur sur les risques. L'approche interdisciplinaire adoptée a permis de révéler les interconnexions entre ces risques et la nécessité d'une vision holistique.

La présence de deux sénateurs et d'une centaine de participants témoigne d'une volonté croissante de reprendre la main face à une course technologique menée par une poignée d'acteurs privés étrangers. Comme l'a souligné la sénatrice Senée, « c'est précisément dans cette période d'instabilité qu'il faut tirer la sonnette d'alarme. » La France dispose de tous les atouts pour devenir leader mondial en sécurité de l'IA, à l'image de son excellence en sécurité aéronautique, nucléaire et pharmaceutique. Ce colloque pose les premières pierres d'une réglementation qui protège l'intérêt général sans freiner l'innovation responsable.

Pour plus de détails sur ce colloque, vous pouvez accéder au compte rendu exécutif complet sur notre site.

Pause IA sera présent à la conférence Generation AI à Paris les 9 et 11 décembre 2025 ! C'est une opportunité majeure pour sensibiliser l'écosystème tech et le grand public aux risques de l'IA.

Nous avons obtenu un stand pour toute la durée de l'événement ainsi qu'un créneau pour animer notre propre après-midi de conférences.

Pour que cet événement soit une réussite, nous avons besoin de vous !

Nous reviendrons très prochainement avec plus de détails…