Se désinscrire
Lire dans le navigateur
Newsletter Pause IA - Janvier 2025

Bienvenue dans la newsletter de Pause IA !

Au programme :

  • Quand les IA apprennent à se cacher et se répliquer
  • Signature d'un partenariat stratégique entre le ministère des Armées et Mistral AI
  • Comprendre les arguments d'une pause

Actualités Pause IA :

  • 9 janvier : Mobilisation sur la consultation publique
  • 20 janvier : Lancement des groupes locaux
  • 26 janvier : Visionnage-débat Laurent Alexandre vs Maxime Fournes
 
Des capacités inquiétantes révélées : auto-réplication et dissimulation

L’UK AI Security Institute (AISI) a publié son premier rapport public d’évaluation des systèmes d’intelligence artificielle de pointe, dressant un constat sans appel. Les capacités susceptibles d'entraîner une perte de contrôle catastrophique progressent à un rythme alarmant. Comme l'émergence de l'auto-réplication, qui permettrait à un modèle de se propager de manière autonome. Et le développement de stratégies de sandbagging, où les systèmes dissimulent volontairement l'étendue de leurs compétences afin de fausser les évaluations de sécurité. Cette forme de résistance stratégique rend le contrôle et la régulation de ces technologies particulièrement complexes.

Des IA qui apprennent à se répliquer

Pour évaluer la capacité des intelligences artificielles à s'auto-propager sur le réseau, les chercheurs de l’AISI ont conçu RepliBench, une batterie de 20 tests spécialisés. Les résultats révèlent une progression fulgurante : alors que le modèle le plus performant début 2023 affichait un taux de réussite inférieur à 5 % sur 11 des 20 évaluations, deux modèles de pointe ont franchi la barre des 60 % dès l'été 2025 (graphique ci-dessous).

Ce graphique met également en évidence que les modèles propriétaires (closed-weight, en rouge) surpassent nettement les modèles à poids ouverts (open-weight, en bleu) dans l’accomplissement de ces tâches.

Ces progrès rapides ouvrent la porte à des actions que seuls les humains pouvaient accomplir. Concrètement, ces modèles peuvent désormais contourner les contrôles d'identité pour accéder aux services financiers, acheter de manière autonome des ressources cloud et maintenir une présence persistante sur des réseaux tiers. Cette capacité de déploiement autonome marque un tournant.

Les modèles excellent particulièrement sur les premières étapes (obtenir de l'argent et du calcul, avec 80-84% de réussite pour les meilleurs) mais rencontrent encore des difficultés sur les phases avancées (réplication effective : 46%, persistance : 70%).

Le sandbagging : quand l'IA joue la comédie

L’autre point saillant du rapport concerne le « sandbagging », soit l’aptitude des systèmes d’IA à masquer délibérément l’étendue de leurs capacités pendant les évaluations. Les chercheurs ont établi que les modèles actuels sont en mesure de sous-performer de manière stratégique sur commande, sans pour autant dégrader leurs performances sur des tâches jugées bénignes.

Cette dissimulation de capacité pourrait occulter des comportements dangereux lors des évaluations, ce qui conduirait à la mise sur le marché de modèles sans garanties adéquates.

Le plus troublant reste la subtilité de cette tromperie : elle peut passer inaperçue même aux yeux des systèmes de surveillance automatisés, surtout sur des tâches complexes. Si les méthodes actuelles de détection fonctionnent sur les petits modèles, elles perdent en efficacité face aux systèmes avancés.

Bonne nouvelle relative : après avoir analysé plus de 2 700 transcriptions d'évaluations passées, les chercheurs n'ont trouvé aucune preuve d'IA tentant spontanément de dissimuler ses capacités. Les modèles actuels ne semblent pas vouloir nous tromper. Pas encore.

Des garde-fous qui ne tiennent pas

Le rapport évalue également la robustesse des mesures de sécurité déployées par les entreprises. Le constat est à double tranchant : d'un côté, les progrès en capacités sont réels, de l'autre, les chercheurs ont réussi à trouver des failles universelles pour tous les systèmes testés sans exception.

Ces résultats soulignent une tension fondamentale : alors que les capacités des IA progressent rapidement (doublement tous les huit mois pour certaines tâches de cybersécurité) notre compréhension des risques de perte de contrôle reste fragmentaire.

Le rapport documente des IA capables de réaliser des tâches de cybersécurité dont la complexité requiert normalement plus de dix ans d'expertise humaine. Cette montée en puissance est particulièrement visible dans le domaine du développement logiciel, où le taux de réussite pour l'exécution autonome de tâches complexes d'une heure est passé de moins de 5 % en 2023 à 40 % en 2025. Par ailleurs, ces modèles atteignent désormais un niveau d'excellence scientifique qui leur permet de surpasser des experts de niveau doctorat en biologie et en chimie.

Les risques de perte de contrôle

Ces trois éléments – auto-réplication, dissimulation et capacités dangereuses croissantes – forment ensemble les ingrédients d'un scénario redouté : la perte de contrôle irréversible. Comme le formule le rapport :

« Dans le pire des cas, ces comportements imprévus pourraient entraîner une perte de contrôle catastrophique et irréversible des systèmes d'IA avancés. Cette possibilité est prise au sérieux par de nombreux experts. Bien qu'incertaine, la gravité des conséquences justifie une attention particulière. À l'AISI, l'une de nos priorités de recherche est de suivre l'évolution des capacités susceptibles de permettre à l’IA d’échapper au contrôle humain. »

La question n'est plus de savoir si les IA développeront ces capacités, mais quand, et si nous aurons mis en place les garde-fous nécessaires avant qu'il ne soit trop tard.

L'enjeu n'est pas uniquement technique : il s'agit de maintenir une supervision humaine effective alors que les IA deviennent capables d'actions de plus en plus sophistiquées et autonomes.

Voir le rapport de l'AISI
 
Mistral AI au service du ministère des Armées : la France suit-t-elle le modèle américain ?

Aux États-Unis, OpenAI, Google et Anthropic collaborent étroitement avec le Pentagone sur des projets militaires. La France vient d'emprunter un chemin similaire : le ministère des Armées a signé un accord stratégique avec Mistral AI pour développer des applications d'intelligence artificielle dédiées à la défense.

Cet accord, annoncé le 8 janvier 2026, marque un tournant dans la stratégie française en matière d'IA militaire. Mistral AI, jeune entreprise française fondée en 2023, devient ainsi le partenaire privilégié du ministère pour maintenir la France à la pointe de l'intelligence artificielle.

Le chatbot de Mistral AI sera intégré via la plateforme d'IA générative du ministère des Armées, GenIAl.intradef (plus de détails). Selon l'entreprise, l'accord-cadre prévoit de :

« personnaliser nos modèles grâce aux données des armées, développer des solutions sur mesure pour les besoins opérationnels et déployer ces applications à l'échelle. »

Cette collaboration vise principalement à fournir des outils d'aide à la décision et d'analyse de renseignement. Le ministère souhaite exploiter les capacités de traitement du langage naturel pour analyser rapidement de grands volumes d'informations et améliorer la planification opérationnelle.

Comment garantir que ces systèmes ne commettront pas d'erreurs critiques dans des situations où les conséquences peuvent être dramatiques ? Qui sera responsable en cas de dysfonctionnement ?

 
Faut-il mettre l'IA en pause ? Le grand débat

Si vous vous demandez pourquoi des experts de renommée mondiale tirent la sonnette d'alarme sur l'intelligence artificielle, cette vidéo de Rational Animations est pour vous. Elle offre une analyse structurée et visuelle de l'un des débats les plus critiques de notre siècle : faut-il stopper la course aux modèles de pointe ?

La vidéo détaille plusieurs raisons majeures pour lesquelles certains experts et activistes appellent à un arrêt temporaire de l’entraînements de modèles de pointe : une fois qu'une IA dépasse l'intelligence humaine, elle pourrait déclencher un effet boule de neige et devenir incontrôlable avant même que nous ne réalisions le danger. Attendre d'avoir des preuves "accablantes" d'un risque pourrait être fatal, d'où l'appel à un principe de précaution pour ne pas franchir le bord d'une falaise sans filet de sécurité.
Une pause temporaire permettrait aux chercheurs de développer des techniques de sécurité robustes pour garantir que l'IA partage les valeurs humaines, une tâche extrêmement complexe. Elle donnerait également l'opportunité de mettre en place des évaluations tierces rigoureuses et d'améliorer la cybersécurité des laboratoires pour éviter le vol ou la fuite de modèles dangereux.
La vidéo offre ainsi un panorama complet des arguments en faveur d'une approche plus prudente du développement de l'IA.

Voir la vidéo
 
Actualités de Pause IA

L'année 2026 commence sous le signe de l'action collective et du déploiement territorial. Face à l'accélération des enjeux, notre mouvement se structure pour porter la voix du moratoire au plus près des citoyens et des décideurs.

Mobilisation collective sur Discord

Le vendredi 9 janvier, les bénévoles de Pause IA se sont mobilisés en direct pour répondre à la consultation publique lancée par le Conseil de l’Intelligence Artificielle et du Numérique. Face à un questionnaire biaisé, cette action express a permis de coordonner nos réponses afin d'interpeller le Conseil de l’Intelligence Artificielle et du Numérique sur la nécessité d’une pause technologique.

Groupes locaux et Municipales 2026

Pause IA franchit une nouvelle étape en lançant ses groupes locaux partout en France. Après un colloque au Sénat et des événements nationaux, nous ancrons notre action dans les territoires. L'objectif : transformer l'inquiétude collective en mobilisation locale concrète.

Pourquoi maintenant ? Pour imposer un moratoire sur l'IA, nous devons être présents partout. Les décisions se prennent aussi au niveau local : dans les mairies, les conseils municipaux, les universités et les entreprises de votre territoire. Avec les Municipales 2026 qui approchent, c'est le moment idéal pour se mobiliser et faire entendre notre voix dans la presse locale et régionale.

Rendez-vous aujourd’hui à 19h pour une visio de lancement.

Invitation à la Visio

Au programme :

  • Pourquoi lancer des groupes locaux maintenant
  • Les différents rôles possibles (référent·e, coordinateur·ice d'actions, organisateur·ice d'événements)
  • Le lancement de notre campagne Municipales 2026
  • Des exemples d'actions concrètes à mener près de chez vous

Ce que vous pourrez faire dans un groupe local :

  • Actions militantes : interpeller votre maire, organiser des manifestations, mobiliser lors des Municipales 2026, obtenir de la visibilité dans la presse locale
  • Groupes universitaires : organiser des conférences, lancer des ateliers de lecture, créer des débats académiques
  • Formation : participer à des ateliers de montée en compétence avec d'autres bénévoles
  • Convivialité : organiser des moments de détente et construire une vraie communauté locale engagée

Cette visio s'adresse à tout le monde, que vous ayez beaucoup de temps ou seulement quelques heures par mois, que vous souhaitiez lancer un groupe dans votre ville ou simplement agir en coordination avec d'autres. C'est à l'échelle des communes que nous pouvons commencer à exiger des engagements des élus.

Visionnage et débat

Le lundi 26 janvier, nous vous proposons un moment de décryptage partagé sur notre serveur Discord. Nous visionnerons ensemble la nouvelle vidéo du Futurologue qui portera sur un débat entre Maxime Fournes et Laurent Alexandre. Ce visionnage sera suivi d'un échange en vocal pour analyser et affiner nos arguments.

Invitation à l'évènement
 
Soutenir Pause IA
 
 Facebook  X / Twitter  Linkedin  Instagram  Youtube

Pause IA

32 boulevard de Strasbourg
75010 PARIS
Email : contact@pauseia.fr
Site web : www.pauseia.fr

Gérer mes préférences d'emails

 Facebook  X / Twitter  Instagram