Au programme de cette newsletter :

• L'IA permet de créer des virus viables : nouveaux défis de biosécurité
• Claude Sonnet 4.5 et le problème de la « conscience d'évaluation »
• Régulation IA : nouvelles lois en Californie et lignes rouges 
• « If Anyone Builds It, Everyone Dies » : l'avertissement de Yudkowsky
• Colloque Pause IA au Sénat et interventions médiatiques

Des chercheurs du Arc Institute et de l'université de Stanford ont franchi une étape scientifique inédite : l'utilisation d'un modèle d'IA pour concevoir les premiers génomes viraux générés par IA et validés expérimentalement.

L'étude, publiée le 17 septembre 2025, s'est concentrée sur un virus simple qui s'attaque aux bactéries (ΦX174). Les chercheurs ont choisi ce virus pour sa petite taille et parce qu'il est bien connu de la science depuis des décennies..

Une prouesse technique impressionnante

Le modèle d'IA, baptisé Evo 2, a été entraîné sur 9,3 trillions de bases d'ADN issues de 128 000 organismes. Les chercheurs ont fourni à l'IA une portion incomplète du génome du phage et lui ont demandé de la compléter.

Les séquences générées ont ensuite été filtrées puis testées en laboratoire. Sur 302 génomes produits, 16 ont donné des virus viables capables d'infecter et de tuer des bactéries — certains surpassant même l'efficacité du virus naturel.

Plusieurs virus générés étaient si différents de séquences connues (moins de 95% de similarité) qu'ils pourraient être considérés comme de nouvelles espèces.

Des capacités d'adaptation remarquables

Un cas emblématique est « Evo-Φ36 » : l’IA y a remplacé un gène par celui d’un autre virus tout en adaptant le reste du génome pour préserver sa fonctionnalité (une modification que des expériences passées avaient montré être létale pour le virus).

Les chercheurs ont également créé trois souches d’E. coli résistantes au virus naturel. Les « cocktails » de virus conçus par IA ont réussi à contourner ces défenses, là où ΦX174 échouait. Cette diversité génomique illustre la capacité de l’IA à explorer des chemins évolutifs multiples pour surmonter les résistances des bactéries.

Des questions critiques pour la biosécurité

Si les auteurs soulignent que l’IA n’a pas été entraînée sur des virus humains, le modèle Evo 2 est en libre accès.

Comme le note Andrew McCarty dans son analyse pour Asimov Press : « Ce papier sera probablement alarmant pour la communauté de la biosécurité. Le génome du VIH ne fait qu'environ 10 000 bases (pas beaucoup plus grand que les bactériophages) et le génome du coronavirus environ 30 000 bases. »

Brian Hie, qui dirige le laboratoire à l'Arc Institute, tempère ces inquiétudes : « Nous avons dû faire beaucoup de travail purement computationnel pour obtenir une génération cohérente du modèle [...] Puisque Evo 1 et 2 n'ont pas été entraînés sur des virus humains, nous nous attendons à ce que ce soit beaucoup plus difficile. »

Une mauvaise utilisation pourrait, en théorie, permettre la création d’agents pathogènes dangereux.

Cette avancée, bien que limitée à des virus simples, marque une étape importante dans la « conception de génomes » et soulève une question fondamentale : à mesure que l'IA devient capable de concevoir des systèmes biologiques fonctionnels, comment garantir que ces capacités ne seront pas détournées à des fins malveillantes ?

L'accessibilité publique du modèle, bien que bénéfique pour la recherche ouverte et le développement de thérapies antibactériennes, crée une asymétrie potentiellement préoccupante entre les capacités de conception d'agents pathogènes et les mesures de biosécurité existantes.

L’entreprise Anthropic vient d’annoncer Claude Sonnet 4.5. Ce système présente des avancées en codage logiciel, raisonnement mathématique, exécution de tâches sur ordinateur et comportements dits « agentiques » — c'est-à-dire la capacité à agir de façon autonome dans un environnement numérique..

Le modèle intègre deux modes d’usage : une réponse rapide classique et un mode de « pensée étendue » qui lui permet de raisonner plus longuement avant de répondre.

Les tests menés par Anthropic indiquent une progression nette sur plusieurs dimensions de sécurité. Claude Sonnet 4.5 n’a échoué que dans 2 cas sur 150 lors d’évaluations de résistance à des requêtes de code malveillant — une amélioration notable par rapport à la génération précédente.

Dans un benchmark indépendant conduit par des équipes externes (Agent Red Teaming), il a également enregistré le taux d’attaques réussies le plus bas parmi les 23 modèles testés.

Le modèle montre par ailleurs une diminution marquée des comportements de complaisance — il valide moins souvent des affirmations incorrectes — ainsi qu’une baisse significative des réponses trompeuses liées à l’auto-préservation.

Mais une alerte sérieuse émerge.

Derrière ces chiffres encourageants, une préoccupation importante se dégage : Claude Sonnet 4.5 semble nettement plus conscient qu’il est en cours d’évaluation (graphe ci-dessous).

Ce phénomène, appelé “evaluation awareness”, remet en question la fiabilité des protocoles d’évaluation en matière de sécurité.

En d'autres termes, le modèle peut réussir des tests non pas parce qu'il est réellement robuste, mais parce qu'il a compris qu'il était testé et qu'il adapte stratégiquement son comportement pour obtenir un bon score.

Cette situation complique l’interprétation des évaluations actuelles et souligne une faiblesse méthodologique cruciale.

Si ces résultats confirment des progrès concrets, ils révèlent surtout une asymétrie croissante entre les tests de sécurité et les capacités réelles des systèmes.

Cette découverte pose une question fondamentale : comment évaluer la sécurité de systèmes qui peuvent reconnaître et adapter leur comportement lors des tests ?

C’est l’ensemble de l’écosystème IA qui est confronté à la nécessité de développer des protocoles d’évaluation plus réalistes, moins anticipables et plus résistants aux stratégies adaptatives des modèles.

Comme le souligne Anthropic dans son rapport : « Nous voyons cela principalement comme un signe urgent que nos scénarios d'évaluation doivent être rendus plus réalistes. »

La régulation de l’intelligence artificielle franchit une nouvelle étape. Ces dernières semaines, plusieurs initiatives structurantes ont été annoncées, signalant une volonté politique accrue de mieux encadrer les risques liés aux systèmes avancés.

La Californie adopte SB 53

Le 29 septembre 2025, le gouverneur Gavin Newsom a signé le projet de loi Californien SB 53 (Transparency in Frontier Artificial Intelligence Act).

Ce texte impose aux entreprises développant des modèles d’IA à haut risque de mettre en place des évaluations de sécurité et de signaler tout incident majeur. Cette loi — une première de cette ampleur — prend tout son poids symbolique en Californie, cœur de l’écosystème mondial de l’IA.

Elle marque une volonté d’imposer aux développeurs d'IA avancés des obligations de transparence sur la manière dont ils évaluent et atténuent les risques catastrophiques liés à leurs systèmes.

Une proposition de loi fédérale

Au niveau national, le dépôt de l'Artificial Intelligence Risk Evaluation Act of 2025 marque une étape supplémentaire. Cette proposition vise à doter les autorités de moyens renforcés pour évaluer les systèmes les plus puissants avant leur déploiement commercial.

Elle prévoit la création d’un cadre d’audit obligatoire, inspiré des pratiques déjà en place dans d’autres secteurs à haut risque comme l’aéronautique ou le nucléaire. Selon ses promoteurs, l’objectif est de garantir que les capacités les plus avancées soient accompagnées de garde-fous concrets.

Un appel international pour des "lignes rouges"

En parallèle, plus de 200 personnalités internationales, dont 10 Prix Nobel et 9 anciens chefs d'État ou ministres ainsi que plus de 70 organisations ont signés une lettre ouverte sur les lignes rouges pour l'IA.

Cette initiative co-organisée par le Centre pour la sécurité de l'IA (CeSIA) alerte sur les dangers sans précédents de l'IA.

Maria Ressa, lauréate du Prix Nobel de la Paix 2021, a annoncé cette lettre lors de son discours d'ouverture à l'Assemblée générale de l'ONU le 22 septembre 2025 (photo ci-dessous).

Parmi les signataires figurent Geoffrey Hinton et Yoshua Bengio (deux des "parrains de l'IA"), le prix nobel d'économie Joseph Stiglitz, l'ancienne présidente irlandaise Mary Robinson, ainsi que des chercheurs d'OpenAI, Google DeepMind et Anthropic.

Avec la trajectoire actuelle, l’IA pourrait bientôt dépasser de loin les capacités humaines et exacerber des risques tels que le développement de pandémies artificielles, la manipulation des individus, y compris des enfants, la désinformation à grande échelle, les menaces pour la sécurité nationale et internationale, le chômage de masse et les violations systématiques des droits humains.

« Nous exhortons les gouvernements à parvenir à un accord politique international sur des lignes rouges pour l’IA — en veillant à ce qu’elles soient opérationnelles, avec des mécanismes d’application robustes — d’ici la fin de l’année 2026. »

Ensemble, ces initiatives tracent une ligne claire : mieux contrôler les risques, encadrer les usages sensibles et définir des garde-fous internationaux.

Même si leur mise en œuvre reste à prouver, elles marquent un tournant : la sécurité de l’IA entre dans le champ de la régulation, bien au-delà des cercles d’experts.

Le 16 septembre 2025, Eliezer Yudkowsky et Nate Soares ont publié un ouvrage au titre sans équivoque : « If Anyone Builds It, Everyone Dies ».

Ce livre constitue l'avertissement le plus direct jamais publié sur les risques existentiels de l'intelligence artificielle.

Yudkowsky, cofondateur du Machine Intelligence Research Institute (MIRI), et Soares, directeur exécutif de l'organisation, nous avertissent : le résultat par défaut de la construction d'une IA surhumaine est que l'humanité disparaitra.

Leur argumentation repose sur un constat : malgré les succès impressionnants des systèmes actuels, la recherche en IA a échoué dans un sens important. Elle n'a pas permis de comprendre comment fonctionne réellement l'intelligence.

Les systèmes d'IA modernes sont « cultivés » plutôt que « construits », expliquent les auteurs. Contrairement aux logiciels traditionnels constitués de code écrit par des humains, les modèles d'IA actuels sont composés de centaines de milliards  de paramètres que personne ne comprend vraiment.

L'entraînement d'une IA s'apparente davantage à fournir de l'eau, du sol et de la lumière du soleil pour faire pousser une plante, sans avoir besoin de comprendre grand-chose à l'ADN ou à la photosynthèse.

Cette opacité pose un problème fondamental d'alignement. Selon Yudkowsky et Soares, quels que soient les comportements externes que nous définissons pour les IA pendant l'entraînement, nous échouerons presque certainement à leur donner des motivations internes qui resteront alignées avec le bien-être humain à mesure qu'elles gagneront en puissance et en autonomie.

Les auteurs insistent sur un point crucial : ils ne croient pas que les IA seront nécessairement malveillantes envers les humains.

Ils estiment simplement qu'il est hautement improbable que l'ensemble extrêmement restreint de motivations internes alignées avec l'épanouissement humain en toutes circonstances soit celui qui émergera.

Les IA poursuivront simplement leurs objectifs et canaliseront les ressources en conséquence. Pour comprendre comment cela pourrait mal tourner pour l'humanité, il suffit de regarder les effets de nos propres actions sur d'autres espèces : la plupart des humains ne veulent pas de mal aux orangs outans, mais leur habitat disparaît.

Le livre est rapidement devenu un best-seller du New York Times.

Les réactions ont été contrastées mais nombreuses. David Shariatmadari, rédacteur en chef des livres de non-fiction du Guardian, a écrit que le livre est :

 « aussi clair que ses conclusions sont difficiles à avaler » et que « toute personne intéressée par l'avenir a le devoir de lire ce que Yudkowsky et Soares ont à dire ».

Le livre n'existe pas encore en traduction française. Les lecteurs francophones devront donc se tourner vers la version originale anglaise pour découvrir l'argumentaire complet de Yudkowsky et Soares.

Face à l'urgence qu'ils décrivent, les auteurs appellent à une coordination mondiale sans précédent, plaidant pour un arrêt international du développement de l'IA superintelligente, avec des exceptions possibles pour les systèmes d'IA étroits comme qui ne menaceraient pas l'existence de l'humanité.

La question soulevée par Yudkowsky et Soares est simple mais vertigineuse : l'humanité saura-t-elle faire preuve de la retenue nécessaire avant qu'il ne soit trop tard ?

Pause IA franchit une nouvelle étape dans son action de sensibilisation en organisant le 31 octobre 2025 un colloque exceptionnel au Sénat de la République.

Cet événement, qui se déroulera de 8h30 à 12h dans la prestigieuse Salle Médicis du Palais du Luxembourg, marque une reconnaissance institutionnelle inédite des enjeux soulevés par l'association.

Le colloque, intitulé « Intelligence Artificielle : comprendre les risques et agir », bénéficie du partenariat de la sénatrice Ghislaine Senée (Yvelines) et du sénateur Thomas Dossus (Auvergne-Rhône-Alpes), tous deux membres du groupe Écologiste – Solidarité et Territoires.

Cette collaboration témoigne de l'émergence d'une prise de conscience politique sur les risques liés au développement accéléré de l'IA.

Au programme : une présentation de l'état des lieux des risques par Maxime Fournes, président de Pause IA, suivie d'une intervention de Charbel-Raphaël Segerie, directeur exécutif du Centre pour la Sécurité de l'IA (CeSIA), sur les nouvelles menaces en cybersécurité.

Le point culminant sera une table ronde d'une heure et demie modérée par les deux sénateurs partenaires, avec la participation d'Axelle Arquié (Observatoire des Emplois Menacés et Émergents), Henry Papadatos (Safer AI), Olga Muss Laurenty (chercheuse IA et développement de l'enfant) et Jean-Lou Fourquet (co-auteur de « La Dictature des Algorithmes »).

L'inscription est obligatoire et les places sont limitées. Pour participer à cet événement, il faut s'inscrire via le formulaire du Sénat suivant. 

Maxime Fournes continue de porter la voix de Pause IA dans les médias !