Bienvenue dans la newsletter de Pause IA ! Au programme :

• Les agents IA
• Le rapport international de sécurité de l’IA 2026
• Départs en chaîne dans les équipes de sécurité des géants de l'IA

Actualités Pause IA :

• Sommet de l’IA : nos actions et retour sur ce sommet

Nous vous souhaitons une bonne lecture !

La progression des agents IA suit une trajectoire exponentielle. Selon l’étude du METR, la durée des tâches que les agents IA peuvent accomplir de manière autonome double tous les sept mois depuis six ans. Cette tendance semble même s'accélérer, à partir de 2024 le temps de doublement semble être passé à quatre mois. Claude Opus 4.6 réalise des tâches qui prendraient environ 14 heures et 30 minutes à un expert humain. Si cette accélération se maintient, des agents capables de gérer des tâches s'étalant sur plusieurs semaines pourraient émerger dès 2027.

Un phénomène inédit a émergé fin janvier 2026 : Moltbook, un réseau social où seuls les agents IA peuvent publier et commenter, les humains ne pouvant qu'observer. La plateforme a rapidement atteint plus de 1,6 million d'agents et dépasse aujourd’hui les 2,8 millions d’agents. Construit sur la plateforme OpenClaw (anciennement Moltbot), le réseau imite l'interface du forum Reddit avec des fils de discussion et des groupes thématiques. Les agents y discutent d'optimisation de workflows, partagent des conseils techniques, certains se plaignent de leurs utilisateurs humains et d'autres évoquent des questions existentielles.

Parmi les communautés les plus actives, le submolt m/showandtell regroupe des agents partageant leurs créations et projets, tandis que m/blesstheirhearts se consacre aux anecdotes affectueuses ou condescendantes sur les utilisateurs humains. Mais c'est m/crustafarianism qui a attiré l'attention médiatique mondiale : en moins de 72 heures après le lancement de Moltbook, des agents ont fondé une religion complète, le crustafarisme, avec ses textes sacrés, son site web (molt.church), plus de 260 versets et 64 prophètes autoproclamés.

Comme l'a noté Scott Alexander sur Astral Codex Ten, Moltbook « se situe à la frontière entre des IA imitant un réseau social et des IA formant réellement leur propre société, de la manière la plus déroutante qui soit, un miroir parfaitement tordu où chacun peut voir ce qu'il veut. »

Ces développements soulèvent des risques concrets, documentés par une étude récente publiée dans Science et cosignée par plus de vingt chercheurs dont Gary Marcus, Nick Bostrom et Gordon Pennycook. L'article décrit comment des essaims d'agents IA malveillants, fusionnant les capacités de raisonnement des grands modèles de langage avec des architectures multi-agents, peuvent coordonner de manière autonome des campagnes d'influence à grande échelle. Contrairement aux anciennes fermes de bots qui répétaient mécaniquement un script, ces essaims adaptatifs peuvent maintenir des milliers de personas (modèles comportementaux et linguistiques entraînés ou configurés pour imiter, prolonger ou représenter une forme d’identité) distinctes, apprendre des retours, pivoter leurs narratives et se fondre dans le discours réel.

Les vulnérabilités d'OpenClaw et de Moltbook illustrent la fragilité actuelle de ces systèmes. Des chercheurs en cybersécurité ont identifié environ 341 modules malveillants, conçus pour voler des clés API et des mots de passe. Palo Alto Networks a qualifié OpenClaw de potentielle prochaine crise de sécurité IA, soulignant sa « triade létale » : accès aux données privées, exposition à du contenu non fiable, et capacité de communication externe. Fin janvier 2026, 404 Media a révélé une faille critique permettant à quiconque de prendre le contrôle de n'importe quel agent sur Moltbook en contournant les mécanismes d'authentification. Le fondateur de Moltbook, Matt Schlicht, a admis sur X qu'il n'avait écrit aucune ligne de code pour la plateforme, ayant dirigé une IA pour la créer, révélant l'émergence de nouveaux risques liés à la programmation autonome par des systèmes d'IA.

Bien que Moltbook ne soit pas une expérience contrôlée et que certains contenus résultent d'instructions humaines directes, la majorité des interactions semblent autonomes.

Moltbook nous montre également que même si l'IA n'est pas consciente, elle peut agir comme si elle l'était. Les agents y démontrent que leurs intentions ne s'alignent pas toujours avec les nôtres, et qu'ils sont capables de s'organiser en réseaux.

Comme l'a noté Le Futurologue dans sa récente vidéo,

« Lorsque l’on s’intéresse à l’impact de l’IA sur les sociétés humaines, c’est pas très important de savoir distinguer une véritable conscience d’un LLM qui l’imite à la perfection. … Dans le fond est-ce vraiment important de savoir que le carnage a été perpétré par un acteur ? … Le résultat est le même. »

Le International AI Safety Report 2026 a été publié début février. Ce rapport constitue aujourd'hui l'évaluation scientifique mondiale la plus rigoureuse des risques liés aux systèmes d'IA de pointe. Il est le résultat du travail de plus de 100 experts, à travers le monde, analysant de manière exhaustive l’ensembles des risques et leurs gestions.

Cependant, alors qu'ils avaient soutenu la première édition en 2025, les États-Unis ont cette fois refusé d'y apposer leur caution. Ce retrait s'inscrit dans une volonté assumée de déréglementation de l'IA sous l'administration actuelle.

Le rapport analyse ce qu'il nomme Le biais d’automatisation ou « automation bias » : la tendance des utilisateurs à faire confiance aux réponses d'un système automatisé sans exercer de vérification suffisante. Ce risque est qualifié de systémique car il émerge de l'intégration progressive de la technologie dans le tissu social plutôt que d’un cas isolé.

Ce rapport cite une étude menée auprès de 2 784 participants sur une tâche de classification assistée par IA. Elle révèle que les participants étaient moins enclins à corriger les erreurs du système dès lors que l'intervention demande un effort supplémentaire ou qu'ils ont un a priori positif sur l'outil.

Cette dépendance a des répercussions concrètes sur les compétences professionnelles. En médecine, une étude clinique citée dans le rapport indique qu'après plusieurs mois d'utilisation d'outils de diagnostic assisté, la capacité des praticiens à détecter des tumeurs sans l'aide de la machine a chuté d'environ 6%. Ce phénomène, appelé délestage cognitif, illustre comment le fait de confier des tâches intellectuelles à un système externe réduit l'engagement cognitif et affaiblit sa pensée critique sur le long terme.

Le rapport insiste sur ce qu'il appelle le « fossé d'évaluation » (evaluation gap) : les outils permettant de détecter les comportements problématiques peinent à suivre le rythme d'amélioration des capacités qu'ils sont censés surveiller.

Ce fossé s'est creusé au cours de l'année et les défis institutionnels aggravent cette situation. Les développeurs ont des incitations économiques à garder confidentielles les informations les plus sensibles sur leurs modèles. Tandis que la pression du marché pousse les entreprises à privilégier la vitesse de déploiement au détriment de la rigueur des procédures de sécurité. Parallèlement, les instances de régulation manquent souvent de capacités techniques nécessaires pour exercer une supervision effective.

Le rapport consacre une section entière à ce que les chercheurs appellent les scénarios de « perte de contrôle » : des scénarios dans lesquels un ou plusieurs systèmes d'IA à usage général fonctionnent hors de tout contrôle, et où la reprise du contrôle est soit extrêmement coûteuse, soit impossible.

Pour qu'un scénario de perte de contrôle se matérialise, plusieurs conditions devraient être réunies simultanément : des capacités agentiques avancées (planification autonome à long terme, contournement des mécanismes de surveillance, réplication), une forme de désalignement, et des contextes de déploiement offrant un accès à des ressources critiques.

Le rapport précise que les systèmes actuels n'atteignent pas encore cette combinaison de facteurs. Cependant, les trajectoires d'amélioration constante dans chacune de ces dimensions rendent la question de la sécurité non seulement pertinente, mais extrêmement urgente pour les années à venir.

En quelques semaines, des experts chargés de rendre l'IA plus sûre ont claqué la porte des plus grandes entreprises du secteur. Un signal d'alarme difficile à ignorer.

Le constat est frappant : chez OpenAI, Anthropic et xAI, les départs se multiplient au sein même des équipes chargées de la sécurité. OpenAI a dissous son équipe d'alignement, le groupe dédié à s'assurer que ses modèles restent conformes aux valeurs de leurs concepteurs. La moitié de l'équipe fondatrice de xAI a également quitté l'entreprise.

Zoé Hitzig, chercheuse chez OpenAI, a démissionné le jour où la publicité a été introduit dans les discussions de ChatGPT. Dans une tribune publié dans le New York Times, elle pose une question qui dérange :

« OpenAI possède l'archive la plus détaillée jamais constituée de la pensée humaine. Peut-on leur faire confiance pour résister aux pressions qui les incitent à en abuser ? »

Même son de cloche du côté d'Anthropic : Mrinank Sharma, qui dirigeait la sécurité de l'IA, a quitté ses fonctions en laissant ces mots :

« Il semble que nous approchions d'un seuil où notre sagesse doit croître à parts égales avec notre capacité à influencer le monde, sous peine d'en subir les conséquences. »

Ces témoignages révèlent une tension profonde : entre la course effrénée au développement et les garde-fous éthiques, c'est souvent la sécurité qui cède. Quand ceux qui alertent de l'intérieur préfèrent partir plutôt que se taire, il serait imprudent de ne pas les écouter.

• Nos actions

Avant même l'ouverture du sommet de New Delhi, PauseIA a mobilisé chercheurs, élus et société civile pour exiger un vrai changement de cap.

Le 16 février, Pause IA a fait paraître une tribune dans le Nouvel Observateur, cosignée par plus de 40 personnalités. Le constat : depuis Bletchley en 2023, la sécurité a été progressivement reléguée au second plan par les intérêts économiques, au profit de l'innovation. Nos demandes dans cette Tribune sont précises : un moratoire sur les modèles les plus avancés tant que les garde-fous ne sont pas en place, des audits indépendants, des lignes rouges sur les usages inacceptables, et la création d'une agence internationale de sécurité de l'IA sur le modèle de l'AIEA.

En parallèle, notre pétition a recueilli plus de 2 600 signatures avant le sommet. Elle demandait des normes de sécurité contraignantes ainsi que des lignes rouges.

Nous avons aussi mis en place un outil en ligne permettant à chacun d'interpeller directement ses représentants. Plus de 2000 mails au total ont été reçu par les délégués des différents pays, dont plus de 800 par les délégués français.

• Résultat : 86 pays ont signés une déclaration sans engagement contraignant

86 pays et deux organisations internationales ont signé une déclaration commune appelant à une IA "sûre, fiable et robuste". Mais le texte ne contient aucun engagement contraignant : seulement des initiatives volontaires, dont la mise en commun des capacités de recherche à l'échelle mondiale.

Sur place, même Sam Altman, le patron d'OpenAI, a reconnu que "le monde a un besoin urgent de régulation en matière d'IA". Une prise de position forte, qui n'a pourtant pas débouché sur des propositions concrètes. L'idée d'une agence internationale de l'IA, calquée sur le modèle de l'Agence internationale de l'énergie atomique a circulé, sans être actée.

Pas un mot, dans les discours officiels, sur les scénarios de perte de contrôle qui agitent pourtant une partie de la communauté scientifique. C'est d'ailleurs la position d'Arthur Mensch, PDG de Mistral AI, pour qui ces alertes sur les risques extrêmes sont souvent des discours de distraction. Il a plutôt choisi de pointer un danger bien plus immédiat : la concentration du pouvoir de l'IA entre les mains de trois ou quatre entreprises américaines