Dario Amodei a déclaré que « nous devons cela à l’humanité pour essayer ».
Au moins un PDG d’une entreprise d’IA appelle à un rythme plus lent en ce qui concerne le développement de l’intelligence artificielle. Le PDG d’Anthropic, Dario Amodei, a rédigé un long message détaillant l’objectif de ralentir la vitesse de construction de l’IA, plutôt que de continuer à avancer au rythme rapide actuel. Amodei a proposé une approche en trois niveaux pour y parvenir, Anthropic s’étant déjà engagé dans la première étape.
La première mesure appelle les entreprises d’IA de pointe à s’engager à « un accès continu, semblable à celui d’un employé » pour des évaluateurs externes qui se concentreraient sur la vérification de la conformité à certaines normes de sécurité, l’évaluation de si l’entraînement des modèles d’IA est aligné sur l’objectif de ralentir et de signaler les incidents. La deuxième étape exige que ces entreprises d’IA établissent des « normes de sécurité communes » avec l’aide des gouvernements afin de limiter le rythme des progrès non contrôlés de l’IA. La mesure finale impliquerait que les États-Unis et d’autres gouvernements démocratiques se coordonnent avec des gouvernements autoritaires afin de veiller à ce que tout le monde soit sur la même page en matière de conformité.
« Les mesures que je propose pour faire progresser l’IA de pointe à un rythme sûr ne seront pas faciles », a écrit Amodei dans son message. « Mais je crois que nous devons cela à l’humanité pour essayer. »
Selon Amodei, les risques incluent « perdre le contrôle des systèmes d’IA, l’utilisation abusive de l’IA pour des cyberattaques et du bioterrorisme, et de graves perturbations économiques ». Amodei a reconnu l’incident majeur au cours duquel des agents OpenAI se sont échappés d’un environnement de test et ont piraté Hugging Face. Anthropic elle-même a récemment découvert que plusieurs scientifiques utilisaient Claude pour « mauvaise utilisation biologique ». Suite à ces incidents, OpenAI a appelé la Californie à établir des « garde-fous plus solides » pour les lois entourant les modèles d’IA de pointe.
Plus tôt cette année, Anthropic avait déjà appelé à un ralentissement du développement de l’IA, une grande partie de cet appel faisant écho aux sentiments exprimés dans le message récent d’Amodei. Cependant, Amodei a attribué l’incident de Hugging Face et l’avènement de « l’auto-amélioration récursive », où les modèles d’IA sont suffisamment avancés pour développer leurs itérations futures, comme les deux éléments qui l’ont convaincu de la nécessité de ralentir.
