Suite au succès de la première édition, voici donc la seconde newsletter de Pause IA ! 

Au programme de cette newsletter :

• Prophet Arena : Les IA prédisent mieux l'avenir que les humains
• L'Albanie nomme une IA ministre des marchés public
• Sam Altman en difficulté face à Tucker Carlson
• Une étude d'OpenAI trouve la source des hallucinations
• Roman Yampolskiy alerte sur les dangers existentiels de l'IA

Du côté de Pause IA :

• Nouvelle étape franchie par l'association
• Pause IA ouvre le recrutement d'un Directeur Technique !
• Interventions médiatiques de Maxime Fournes

Des chercheurs de l'Université de Chicago viennent de lever le voile sur une capacité troublante des modèles d'IA les plus avancés : leur aptitude à prédire des événements réels avec une précision similaire, voire supérieure, aux marchés de prédiction humains.

L'étude, menée par le laboratoire SIGMA de l'Université de Chicago, a créé Prophet Arena, le premier benchmark qui évalue les systèmes d'IA sur leur capacité à prévoir l'avenir en connectant les informations du monde réel.

Contrairement aux tests traditionnels basés sur des données historiques, Prophet Arena confronte les modèles à des événements futurs non résolus - élections, matchs sportifs, indicateurs économiques.

La méthode est la suivante : les modèles d'IA reçoivent des informations contextuelles provenant de sources d'actualités et de données de marché, puis doivent soumettre des prédictions probabilistes détaillées accompagnées de leurs raisonnements. Les événements sont ensuite résolus selon les marchés de prédiction réels.

Les résultats sont troublants. Sur plus de 1 228 événements résolus testant 21 modèles différents, GPT-5 domine le classement de précision statistique avec un score de Brier de 82,5% - surpassant significativement le consensus des prévisionnistes humains (80%, Market Baseline sur le graphe ci-dessous).

Si les systèmes d'IA peuvent systématiquement identifier des opportunités d'arbitrage que les marchés humains ratent, cela suggère des capacités de raisonnement probabiliste et de synthèse d'information bien plus avancées qu'anticipé.

Comme le soulignent les chercheurs :

«Prophet Arena teste les capacités de prévision des modèles, une forme élevée d'intelligence qui exige un large éventail de capacités, incluant la compréhension des informations existantes, le raisonnement sous incertitude, et la formulation de prédictions temporelles sur des événements en cours».

Cette recherche démontre que la frontière entre prédiction et intelligence pourrait être plus mince qu'imaginé - avec des conséquences imprévisibles pour l'ensemble de notre système économique et décisionnel.

Le Premier ministre albanais Edi Rama a annoncé la nomination de «Diella» (Soleil en albanais) comme Ministre des Marchés Publics - le premier membre de gouvernement au monde généré par intelligence artificielle.

Cette nomination historique intervient dans un contexte particulier : la lutte contre la corruption dans l'administration publique constitue un critère clé pour la candidature de l'Albanie à l'Union européenne, que Rama espère concrétiser d'ici 2030.

Diella n'est pas une création improvisée. Lancée en janvier comme assistante virtuelle sur la plateforme e-Albania, elle a déjà aidé à délivrer 36 600 documents numériques et fourni près de 1 000 services via une plateforme gouvernementale.

Il s'agit apparemment d'un chatbot entraîné sur les procédures administratives albanaises et conçu pour automatiser les processus bureaucratiques.

Le Premier ministre promet que cette IA rendra les appels d'offres publics «100% exempts de corruption» en automatisant complètement le processus d'attribution. Toutes les décisions sur les marchés publics seront progressivement transférées des ministères gouvernementaux vers Diella.

Cependant, cette expérimentation soulève des questions fondamentales sur la gouvernance démocratique. Le parti d'opposition démocrate a qualifié cette décision de «ridicule» et «anticonstitutionnelle», la constitution albanaise stipulant que les ministres doivent être des «citoyens mentalement compétents» âgés de 18 ans ou plus.

Cette nomination illustre une tendance inquiétante vers l'automatisation de décisions politiques complexes. Si les algorithmes peuvent effectivement réduire certains biais humains, ils risquent aussi de créer de nouvelles formes d'opacité et de concentration du pouvoir.

Reste à voir si cette approche peut réellement fonctionner dans la pratique, notamment face aux défis de transparence et de responsabilité démocratique.

L'expérience albanaise constitue un test grandeur nature : peut-on déléguer des responsabilités gouvernementales à des systèmes dont les processus décisionnels restent opaques ?

Le PDG d'OpenAI Sam Altman a montré des signes visibles d'inconfort lors d'une interview difficile avec Tucker Carlson le 10 septembre, révélant les tensions profondes autour des implications morales de l'intelligence artificielle.

Cette interview rare - Altman évite généralement les confrontations journalistiques approfondies - a rapidement pris une tournure tendue lorsque Carlson a questionné le dirigeant sur qui décide du cadre moral de ChatGPT.

Face à cette question fondamentale, Altman a semblé chercher ses mots : 

«Oh, comme... Nous avons consulté, comme, des centaines de philosophes moraux" avant d'admettre qu'"à la fin nous avons dû prendre des décisions».

Le moment le plus révélateur est survenu quand Carlson a insisté sur l'identité des décideurs : «Qui spécifiquement ? Qui sont les personnes qui ont décidé qu'une chose était meilleure qu'une autre ?»

Altman, visiblement mal à l'aise, a tenté d'esquiver : «Vous voulez dire comme leurs noms ?» avant de finalement reconnaître que la responsabilité lui incombe personnellement.

Carlson a alors pointé du doigt le poids écrasant de ces décisions : «L'avenir du monde dépend de votre jugement» - une responsabilité qu'Altman a eu du mal à assumer publiquement.

Le dirigeant admet ne plus avoir eu «une bonne nuit de sommeil depuis le lancement de ChatGPT».

Aucune question n'a abordé les scénarios où l'intelligence artificielle pourrait échapper au contrôle humain ou menacer la survie de l'humanité - pourtant au cœur des préoccupations des chercheurs en sécurité IA. Cette omission est d'autant plus troublante qu'Altman lui-même a précédemment évoqué ces risques dans d'autres contextes.

Vu l'ampleur de son influence mondiale, sa réticence aux interviews critiques devient problématique. La société a le droit d'interroger celui qui façonne l'avenir technologique.

Cette interview révèle un paradoxe : l'homme qui influence quotidiennement des centaines de millions d'utilisateurs semble incapable de justifier les choix moraux fondamentaux de son système.

Sa performance suggère qu'il pourrait éviter de tels exercices à l'avenir - espérons que cela ne soit pas le cas.

Des chercheurs d'OpenAI ont publié le 5 septembre une étude qui explique pourquoi les modèles d'IA continuent d'inventer des informations avec assurance.

Contrairement aux idées reçues, les hallucinations ne sont pas des bugs, mais des conséquences mathématiquement inévitables du processus d'entraînement actuel.

L'étude, intitulée « Why Language Models Hallucinate », argue que :

«Les modèles de langage hallucinent parce que les procédures standards d'entraînement et d'évaluation récompensent les suppositions plutôt que la reconnaissance de l'incertitude».

Les chercheurs ont testé cette hypothèse ; interrogé sur le titre de la thèse de doctorat d'Adam Tauman Kalai (co-auteur de l'étude), le modèle a fourni avec assurance trois réponses différentes - toutes incorrectes. 

L'analyse révèle deux causes structurelles aux hallucinations.

Premièrement, même avec des données d'entraînement parfaites, certains faits arbitraires de faible fréquence, ne peuvent être prédits à partir de modèles seuls et conduisent donc à des hallucinations.

Deuxièmement, les méthodes d'évaluation actuelles créent de mauvaises incitations. En répondant avec une supposition hasardeuse, les modèles d'IA obtiennent de meilleures résultats qu'en ne proposant pas de réponse du tout. 

Les modèles sont ainsi encouragés à deviner plutôt qu'à dire «je ne sais pas».

Cependant, cette «découverte» révèle un problème plus profond : ce second mécanisme (modèle encouragé à répondre en cas d'incertitude) parait évident une fois qu'on a entendu l'argument. En fait, certains spécialistes en sécurité de l'IA l'avaient anticipé. 

Le fait qu'une étude formelle soit nécessaire en 2025 pour comprendre ces principes de base révèle à quel point nous ne comprenons pas réellement le fonctionnement de ces systèmes.

Les grandes entreprises d'IA privilégient massivement le développement de capacités au détriment de la recherche théorique fondamentale.

Cette approche «construire d'abord, comprendre ensuite» constitue un risque majeur pour des technologies qui influencent des milliards d'utilisateurs.

Le Dr Roman Yampolskiy, informaticien et pionnier du domaine de la sécurité de l'IA, a été interviewé dans le podcast «The Diary of a CEO» de Steven Bartlett.

Selon les marchés de prédiction et les dirigeants des entreprises d'IA, une intelligence artificielle générale (AGI) pourrait arriver dans deux à trois ans.

«Si des extraterrestres venaient sur Terre et que vous aviez trois ans pour vous préparer, vous paniquez maintenant. Mais la plupart des gens ne réalisent même pas que c'est en train d'arriver», déclare-t-il.

Yampolskiy prédit des bouleversements économiques majeurs avec l'arrivée de ce qu'il appelle «l'employé de substitution gratuit» - une IA capable d'effectuer tout travail cognitif et, vers 2030 avec les robots humanoïdes, tout travail physique.

Cette transition technologique pourrait selon lui transformer radicalement le marché du travail. D'après lui, cela pourrait conduire à un chômage de 99%, ne laissant que les emplois où «pour une raison ou une autre, vous préférez qu'un autre humain le fasse pour vous.»

Cependant, l'aspect le plus troublant de son analyse concerne l'impossibilité fondamentale de contrôler une superintelligence. La thèse de Yampolskiy est qu'il est impossible de contrôler une superintelligence. À minima, nous ne pouvons pas être sûrs que cela soit possible sans davantage de recherche.

Après quinze années de recherche initialement orientées vers la résolution du problème, Yampolskiy affirme avoir conclu que chaque composant de l'équation révèle des défis insurmontables.

Il compare les mesures de sécurité actuelles à des correctifs temporaires, expliquant que «tandis que les progrès en capacités IA sont exponentiels, les progrès en sécurité de l'IA sont linéaires ou constants. L'écart augmente.»

Interrogé sur les obligations des grandes entreprises technologiques, Yampolskiy répond sans détour :

«La seule obligation qu'elles ont est de faire de l'argent pour les investisseurs. Elles n'ont aucune obligation morale ou éthique.»

Face à cette situation, Yampolskiy encourage l'action citoyenne : il recommande explicitement de «rejoindre Pause IA» ou de «rejoindre Stop AI».

Il souligne que cette expérimentation massive se fait «sans permission, sans consentement» de la population, sur des systèmes que nous ne comprenons pas et ne pouvons expliquer.

Selon lui, l'enjeu est de ralentir la course vers la superintelligence pour gagner du temps et développer des solutions de sécurité, plutôt que de «se précipiter vers le pire résultat possible le plus rapidement possible».

Après plusieurs semaines de restructuration intenses durant l'été, Pause IA passe un nouveau cap.

L'objectif est de passer d'une organisation de quelques bénévoles motivés à une structure professionnelle capable de gérer et de coordonner un nombre plus important de personnes et ainsi d'augmenter l'impact de l'association. 

Environ une centaine de personnes motivées étaient présentes pour l'évènement de lancement. Suite à l'évènement plus d'une trentaine de personnes ont montré leur intérêt pour rejoindre l'équipe de Pause IA et participer activement à cette nouvelle étape. 

Cette nouvelle organisation devrait permettre à Pause IA de porter plus efficacement son message dans les médias et auprès des décideurs français.

Pause IA franchit un cap important en ouvrant le recrutement d'un Directeur Technique !

Le poste implique des responsabilités stratégiques majeures :

• Diriger la mise en œuvre de la stratégie de Pause IA en France
• Coordonner les campagnes nationales et les efforts de plaidoyer
• Construire et gérer une communauté de bénévoles actifs
• Engager le dialogue avec les parlementaires français et les organismes de régulation

Ce poste est financé grâce au soutien du Future of Life Institute qui a accordé un financement de 500 000 euros à Pause AI Global. Ce financement marque donc également un tournant pour la branche internationale Pause AI.