Les auteurs d’AI 2040 recommandent de ralentir
En 2025, des chercheurs ont publié AI 2027, des scénarios sur la course à la superintelligence. Parmi eux, Daniel Kokotajlo, cet ancien d’OpenAI prêt à renoncer à près de deux millions de dollars d’actions pour rester libre de parler. Leurs conclusions : cette course mène à l’extinction ou à une concentration permanente du pouvoir. Ces mêmes chercheurs reviennent aujourd’hui avec AI 2040. Ils passent du diagnostic à la prescription : ils ne décrivent plus seulement des futurs possibles, ils désignent celui qu’il faut viser. Leur recommandation tient en un mot : ralentir.
AI 2040 décrit cinq façons dont les États-Unis pourraient réagir à l’arrivée d’une IA plus intelligente que l’humain dans tous les domaines. Chaque scénario reçoit deux notes : sa probabilité de se produire, et sa probabilité de conduire à un bon futur. Le scénario jugé le plus probable est aussi celui que les auteurs jugent le pire.
Ce scénario probable, c’est la course. Les laboratoires courent après la superintelligence et consacrent une part infime de leurs moyens à la sécurité. C’est la trajectoire par défaut : celle qui advient si personne ne décide rien. Les auteurs lui accordent une chance sur dix de bien finir.
Deux scénarios tentent de corriger le tir sans y parvenir. Dans le premier, le laboratoire en tête sacrifie une petite part de son avance à la sécurité. Il ralentit d’un mois. Trop peu. Dans le second, les États-Unis sabotent la Chine pour creuser leur avance, puis dépensent cette avance sur la sécurité. Le sabotage va des cyberattaques aux frappes de drones. Il installe une ambiance de guerre, pousse à la nationalisation des laboratoires et concentre le pouvoir entre quelques mains. La mesure censée nous protéger reproduit le danger qu’elle prétendait écarter : la concentration du pouvoir.
Reste le scénario recommandé : le Plan A. Il repose sur un accord international de ralentissement dont chaque pays peut vérifier le respect parce que la recherche en IA devient presque entièrement publique. Au lieu de deux ou trois acteurs lancés seuls en tête, des dizaines d’entreprises réparties dans plusieurs pays progressent ensemble au niveau de pointe. Un garde-fou verrouille l’accord : les moyens de calcul sont placés sous un régime de destruction mutuelle assurée, où aucun camp ne peut trahir sans tout perdre. L’IA continue alors de progresser, mais lentement et sous contrôle, jusqu’au niveau des meilleurs experts humains, atteint en 2035. La progression y est alors suspendue pour préserver le contrôle humain, et ne reprend qu’en 2040, cette fois vers la superintelligence.
Un dernier scénario va plus loin : le Plan S, l’arrêt indéfini. Partout dans le monde, la recherche et le développement des IA de pointe s’interrompent, pour des années. La reprise reste soumise à une condition : des progrès réels sur le contrôle des IA, des détecteurs de mensonge fiables, ou d’autres garanties. Ce moratoire mondial, les auteurs ne le retiennent pas comme recommandation officielle. Mais ils accordent leur sympathie pour cette voie : ils la comptent parmi les rares qu’ils jugent à la hauteur du Plan A.
Qu’est-ce qui sépare alors le ralentissement du Plan A de la pause du Plan S ? Un pari. Les auteurs misent sur une IA presque aussi capable qu’un expert humain, mais maîtrisée : un tel système, selon eux, accélère la recherche sur le contrôle, la vérification et la compréhension des IA. Les deux plans visent le même but. Tout dépend de ce pari : miser sur l’IA maîtrisée pour bâtir la sécurité, ou le refuser au nom de la prudence.
Aujourd’hui, aucun laboratoire n’a de plan sérieux pour garder le contrôle d’une IA plus intelligente que l’humain. L’industrie s’est convaincue qu’elle réglerait le problème en cours de route. Et même si elle y parvenait, le résultat serait une concentration de pouvoir sans précédent : une poignée de personnes, peut-être une seule, à la tête de la seule armée de superintelligences du monde.
Le constat des auteurs rejoint le nôtre : la course actuelle est intenable. Faire la course à la superintelligence, c’est jouer à la roulette russe avec l’humanité. Les auteurs s’arrêtent au bord du moratoire. Pause IA demande sans détour un arrêt mondial des IA de pointe, le temps de bâtir les garanties qui manquent.
|