Les IA trop puissantes à poids ouverts devraient être interdites

Les modèles d’IA à poids ouverts les plus avancés sont trop dangereux et le mois d’août 2026 vient de le démontrer

Au-delà d’un certain niveau de capacités, tout modèle d’IA fait peser une menace sur l’humanité entière, qu’il soit ouvert ou fermé. Dans cet article, nous expliquerons pourquoi les modèles d’IA avancés à poids ouverts sont particulièrement dangereux et devraient être interdits.

Poids ouverts, poids fermés : de quoi parle-t-on ?

Les « poids » d’un modèle d’IA sont ses paramètres internes : quelques centaines voire plusieurs milliers de milliards de nombres qui déterminent son comportement. Deux régimes coexistent.

Poids fermés (ou propriétaires). Le modèle fonctionne sur les serveurs de l’entreprise. Vous y accédez par une interface ou une API. L’entreprise peut voir les requêtes, en refuser certaines, les filtrer, modifier le modèle et, si nécessaire, le retirer.

Poids ouverts. Le modèle est téléchargeable et peut être exécuté sur votre propre machine. Une fois diffusé, personne ne voit nécessairement ce que vous en faites, ne peut imposer une modification à toutes ses copies ni le retirer de la circulation.

Un modèle à poids fermés est un service : il peut être interrompu. Un modèle à poids ouverts peut être vu comme un fichier : une fois copié des milliers ou des millions de fois, il n’existe aucun mécanisme, technique ou juridique, permettant de le supprimer.

Une précision de vocabulaire est importante. On parle souvent d’IA « open source » mais cette formulation est trompeuse. Dans le logiciel libre, « open source » signifie notamment que le code est accessible, lisible et modifiable selon les conditions de la licence. Or, publier les poids d’un modèle ne garantit ni cette lisibilité, ni cette possibilité de modification. Un modèle à poids ouverts est plus proche d’un logiciel propriétaire à code source fermé. Employer « open source » pour désigner cela revient à pratiquer une forme d’open-washing : donner une apparence d’ouverture à ce qui ne l’est pas vraiment. Nous parlerons donc de « poids ouverts » dans cet article.

Les deux semaines d’août 2026 qui résument le problème

Le 4 août 2026, l’ONG française SaferAI, basée à Paris, a publié son évaluation de GLM-5.2, un modèle chinois librement téléchargeable sorti en juin. Trois résultats préoccupants méritent qu’on s’y arrête.

Ses capacités en cybersécurité et en biologie se situent à seulement deux à quatre mois derrière celles de GPT-5.5 et Claude Opus 4.7, les meilleurs modèles fermés occidentaux. Sur LAB-Bench, un test portant sur les connaissances de laboratoire, GLM-5.2 égale ou dépasse les experts humains sur l’ensemble des sous-tâches. Et sur les tâches de cybersécurité évaluées, GLM-5.2 n’a refusé aucune requête dangereuse.

Ainsi, en 2026, un modèle à poids ouverts n’est plus un modèle de second rang : l’écart de capacités avec les meilleurs modèles fermés se compte désormais en mois.

Une semaine plus tôt, le 27 juillet, une lettre ouverte demandait aux pouvoirs publics de ne pas restreindre les modèles à poids ouverts. Vingt-cinq signataires au départ, environ quatre-vingts quelques jours plus tard, dont Nvidia, Meta, ou encore Mistral.

Voilà où nous en sommes : les capacités dangereuses se diffusent de plus en plus, et l’industrie demande qu’on la laisse faire.

Partager les poids d’un modèle est irréversible - et les garde-fous sont fragiles

Lorsqu’un modèle à poids ouverts est diffusé, il devient impossible de revenir en arrière. Plus personne n’est en mesure de retirer le modèle, de corriger son comportement ou de déployer une nouvelle version de ses protections si les poids du modèle ont été téléchargés. Si une société estime dans deux ans que la publication d’un modèle était une erreur, il n’y aura rien à faire. Aucune loi, aucune amende et aucun accord international ne permettra de faire retirer le modèle à poids ouverts.

Ce n’est pas seulement un problème technique, c’est un problème de droit. Une réglementation ne peut pas s’appliquer à un fichier qui circule sur internet partout dans le monde. Personne ne peut être tenu responsable des accidents ou des usages malveillants.

Par ailleurs, même si au moment de la sortie du modèle, celui-ci possède plusieurs garde-fous, ceux-ci ne sont pas forcément inébranlables. Des chercheurs ont montré en 2024 qu’il est possible de modifier les poids d’un modèle ouvert afin qu’il réponde plus souvent à des requêtes dangereuses, sans réentraînement et en quelques minutes de calcul. La méthode, appelée « abliteration », est aujourd’hui appliquée régulièrement : sur Hugging Face, des versions débridées de Qwen, Gemma ou Llama sont publiées par des contributeurs indépendants, souvent dans les jours qui suivent la sortie du modèle d’origine. Au-delà des poids, personne n’est en mesure de maintenir des garde-fous de sécurité pour chaque copie du modèle.

La différence avec un modèle fermé, comme ChatGPT, est importante : contourner un refus demande de ruser à chaque conversation, et l’entreprise peut corriger la faille dès qu’elle est identifiée. Avec des poids ouverts, il n’y a rien à contourner : il suffit de modifier le modèle une seule fois pour supprimer définitivement le refus. La version ainsi débridée peut ensuite être redistribuée sur Internet, sans que les frontières nationales puissent réellement empêcher sa diffusion.

Les dommages ne sont pas hypothétiques

Les risques des modèles à poids ouverts ne concernent pas un avenir lointain. Commençons à nous pencher sur ce qui s’est passé il y a quelques semaines.

Entre le 1er et le 4 juillet 2026, des agences gouvernementales taïwanaises ont été attaquées par un système d’agents d’IA fonctionnant en quasi-autonomie. L’affaire a été révélée à la mi-août par les chercheurs de Dream Labs.

Le bilan de l’attaque est considérable. Après quatre jours d’attaque, plus de 21 systèmes gouvernementaux ont été cartographiés, et 2 500 dossiers de personnel ont été exfiltrés. Parmi les cibles figurent sept entreprises du secteur de l’énergie, dont l’agence taïwanaise de sûreté nucléaire.

Les agents ne se contentaient pas d’exécuter un script. Ils cherchaient des failles dans le code des sites visés, contournaient les CAPTCHA, testaient des identifiants en masse, et quand une méthode échouait, ils apprenaient de nouvelles techniques d’intrusion pour recommencer autrement.

Les attaquants n’ont pas eu besoin de prouesse technique. Ils ont présenté l’opération comme un test d’intrusion autorisé. Une phrase de cadrage a suffi.

Ce que cet incident montre, c’est que les modèles à poids ouverts peuvent causer et causent déjà des dommages réels, et ces dommages seront de plus en plus graves si on laisse des modèles à poids ouverts de plus en plus performants proliférer.

À cela s’ajoute un effet plus diffus, et peut-être plus grave. La publication des poids intensifie la compétition : chaque laboratoire est incité à sortir plus vite un modèle plus performant pour ne pas se laisser distancer. Plus les capacités progressent rapidement, moins il reste de temps pour les rendre sûres, et plus les acteurs sont nombreux à être tentés de négliger la sécurité.

Alors pourquoi l’industrie y tient-elle tant ?

Si le risque est si flagrant, pourquoi certaines entreprises ou gouvernements défendent-ils les modèles à poids ouverts ?

Certains gouvernements européens invoquent la question de la souveraineté : dépendre des interfaces d’entreprises américaines, c’est dépendre de leurs tarifs et de leur disponibilité. Quand l’administration américaine a restreint cette année l’accès des non-Américains aux modèles les plus avancés d’Anthropic, la démonstration a été faite en quelques jours ; c’est dans ce contexte que Mistral a annoncé, au G7 d’Évian en juin, l’ouverture des poids de ses prochains modèles. Une inquiétude liée à la souveraineté est celle de la concentration du pouvoir. Si les IA les plus puissantes du monde entier ne sont détenues que par une poignée d’entreprises, elles pourraient contrôler l’essentiel de la valeur économique mondiale. Publier les poids ouverts serait ainsi un moyen de refuser cette concentration de pouvoir et rendre à des milliers d’acteurs - chercheurs, États, associations, entreprises - les moyens d’exister face à elle.

Bien que les bénéfices soient réels, ils ne suffisent pas à compenser les risques que les modèles d’IA à poids ouverts peuvent faire peser sur l’humanité. En tant que société, nous acceptons que les couteaux puissent être utilisés à des fins malveillantes parce que leur utilité pratique peut compenser ce risque. Les couteaux présentent un niveau de risque acceptable. Mais certaines technologies peuvent présenter un niveau de risque inacceptable. C’est le cas par exemple des plans détaillés de la bombe nucléaire. Si demain un modèle d’IA ouvert présente le risque de provoquer l’extinction humaine, accepterions-nous de le concevoir et de le diffuser largement ?

Ce que nous demandons

Pause IA ne demande pas d’interdire l’open source, le logiciel libre ou la recherche ouverte. Nous ne demandons pas non plus d’interdire les petits modèles, les modèles de traduction, de transcription, de vision industrielle ou d’aide au diagnostic, ni les modèles spécialisés que des milliers d’organisations exécutent localement - souvent, d’ailleurs, pour de bonnes raisons de confidentialité et d’indépendance. La très grande majorité de l’écosystème ouvert n’est pas concernée par ce que nous défendons ici.

Nous demandons que les modèles les plus capables - ceux dont les évaluations montrent qu’ils peuvent fournir par exemple une aide significative en cyberattaques ou dans la synthèse d’agents pathogènes dangereux, ou dont on ne sait pas démontrer qu’ils n’en sont pas capables - ne soient pas publiés en poids ouverts.

Le droit européen sait déjà faire une distinction de ce type. L’AI Act distingue les modèles d’IA à usage général « à risque systémique » et retire explicitement à ces modèles le bénéfice de certaines exemptions accordées à l’open source. Concrètement, au-delà d’un certain niveau de capacité, le fournisseur d’un modèle à poids ouverts reste par exemple tenu d’évaluer le modèle et d’identifier et atténuer les risques systémiques. Ce qu’il faut, c’est rendre ce principe pleinement effectif : si un modèle est trop dangereux pour être déployé sans garde-fous, il est trop dangereux pour que ses poids soient publiés en libre accès.

Pause IA est d’ailleurs tout aussi opposée à ce que les grandes entreprises d’IA continuent de développer des modèles toujours plus puissants et toujours plus dangereux. Notre position n’est pas « fermé plutôt qu’ouvert », elle est « arrêter la course vers le précipice ».