|
Jacob Coxon, chercheur ayant travaillé pendant trois ans sur le pré-entraînement des modèles d'intelligence artificielle chez OpenAI puis Anthropic, vient d'annoncer sa démission d'Anthropic et son départ de l'industrie de l'IA.
Dans son message de départ, il accuse les deux entreprises de ne pas agir de manière responsable et de se lancer dans une course vers une intelligence artificielle capable de s'auto-améliorer, en jouant avec nos vies.
Evan Hubinger, responsable de l'alignement chez Anthropic, lui a publiquement donné raison. Il affirme estimer personnellement à plus de 10 % la probabilité que l'intelligence artificielle puisse tuer tous les humains au cours de la prochaine décennie.
Il reconnaît également qu'Anthropic, malgré ses efforts en matière de sécurité, ne dispose pas aujourd'hui d'un plan permettant de résoudre le problème de l'alignement d'une intelligence artificielle superintelligente et n'est pas en voie d'y parvenir.
« Pause IA alerte sur ces risques depuis plusieurs années, et nous ne nous réjouissons pas de voir ces avertissements confirmés de l'intérieur de l'industrie. Le responsable de l'alignement d'Anthropic dit lui-même estimer à plus de 10 % le risque que l'IA puisse tuer tous les humains dans la prochaine décennie et reconnaît que son entreprise ne dispose pas encore d'un plan pour garantir le contrôle de systèmes superintelligents.
Lorsque les personnes qui construisent cette technologie considèrent elles-mêmes que les conséquences pourraient être aussi graves et reconnaissent ne pas savoir encore comment maîtriser ces systèmes, nous devons les écouter. On ne peut pas demander à quelques entreprises privées de décider seules du niveau de risque acceptable pour l'ensemble de l'humanité. »
Clémence Peyrot, directrice exécutive de Pause IA France
|