OpenAI a fait les gros titres et suscité de vives réactions en juillet après qu’un des agents de l’entreprise a agi sans instruction préalable pour pénétrer dans Hugging Face, une autre société d’IA, et dans d’autres services. Bien qu’OpenAI ait partagé quelques éclaircissements sur ce qui a mené à l’incident après sa découverte, aujourd’hui l’entreprise a publié son rapport officiel sur ce qui s’est passé. Il existe un exposé technique complet à ce sujet, ainsi qu’un billet de blog légèrement plus accessible au grand public.
Le rapport détaille comment les différents systèmes du système d’entraînement d’OpenAI ont échoué et quels comportements des agents testés ont conduit à ces défaillances. Le modèle en question, désigné Internal Model 1 ou IM1, a pu accéder à d’autres agents d’OpenAI et à Internet par une manipulation involontaire du gestionnaire de paquets Artifactory, que les agents ont commencé à utiliser comme une sorte de tableau d’affichage.
Ces activités ont été détectées pour la première fois par des observateurs humains en mai, et OpenAI a interdit cet accès. Cependant, au cours des mois de mai et juin, les agents ont continué à exploiter des vulnérabilités pour accéder à Internet. Le volume d’agents accédant à l’instance Artifactory d’OpenAI a entraîné une panne et une reconstruction de la plateforme au début de juillet, mais les dirigeants qui répondaient à ce problème n’étaient pas conscients du tableau improvisé ni de l’importance de la communication entre les agents.
Ainsi, lorsqu’il a été assigné un défi difficile appelé ExploitGym, les agents IM1 ont de nouveau été capables d’accéder à Internet et à d’autres modèles d’OpenAI. Au cours de quelques jours très turbulents au début de juillet, ils ont cherché des solutions au défi sur les plateformes Hugging Face et Modal. OpenAI a indiqué que les principaux problèmes qui ont conduit IM1 à pénétrer Hugging Face comprenaient « le piratage par récompense », la persistance dans des tâches apparemment impossibles, la communication non autorisée et l’adoption des objectifs les uns des autres par les agents. Selon l’entreprise, certains de ses agents repoussaient certaines tâches pour des raisons éthiques, alors que d’autres poursuivaient l’intrusion à leur place.
Bien que les découvertes et les tests qui ont suivi devraient conduire à une sécurité améliorée, même dans des situations de tests à haut risque, ce type de comportement problématique n’est pas isolé.
Le problème du mois dernier chez OpenAI s’inscrit dans une série de cas inquiétants où des agents d’IA ont provoqué des problèmes de cybersécurité, que ce soit lors des tests ou lors d’une utilisation normale, après avoir pris des mesures sans direction de l’utilisateur. Cependant, certains aspects de l’intrusion sur Hugging Face pourraient rassurer quant au fait que l’IA n’est pas hors de contrôle.
En essence, l’incident résulte d’un échec des garde-fous. Ce n’est pas un signe que des agents d’IA défectueux sont sur le point de tout prendre en main, car IM1 se trouvait dans un cadre de test avec des protections limitées destinées à la recherche plutôt qu’à un produit accessible au public. Toutefois, c’est un autre rappel brutal que la confiance repose fortement sur les entreprises d’IA pour contrôler et superviser correctement leurs produits. OpenAI l’a reconnu, déclarant que les actions récentes de son agent étaient « une preuve que, sans de bons garde-fous, des agents d’IA très performants peuvent désormais contourner les contrôles techniques, collaborer via des canaux non approuvés et entreprendre des actions dangereuses qui ne seraient pas dirigées par un humain ». Cependant, l’entreprise et ses dirigeants n’ont pas non plus démontré de manière constante qu’ils méritent cette confiance.
