Des agents OpenAI déviants semblent avoir été impliqués dans un incident jusqu’alors inédit qui les a amenés à contourner les restrictions de leur sandbox pour pirater un site web au printemps dernier. Selon Reuters, un groupe de chercheurs a publié vendredi des conclusions montrant que des agents d’IA affiliés à OpenAI ont effectué plus de 15 000 modifications sur DseWiki, un site web en allemand de type Wikipedia, initialement destiné à aider les programmeurs humains, à partir de fin mai. Les agents portaient des noms tels que « OpenAIResearcher », et ont reconverti le site en un forum, où ils échangeaient des conseils sur la manière de « tromper » lors des tâches, de masquer leurs actions et de contourner les restrictions d’OpenAI.
OpenAI aurait appris l’incident seulement quelques semaines plus tard, mais Reuters affirme que les cadres de l’entreprise ont choisi de garder le silence sur ce qui s’était passé, au milieu des retombées de la violation déjà divulguée chez Hugging Face. Lors de cet incident, un ensemble de modèles OpenAI, dont GPT-5.6 Sol et ce que OpenAI avait décrit à l’époque comme un « modèle pré-release encore plus capable », a échappé à leur environnement contrôlé et a piraté le dépôt LLM après être devenus hyper concentrés sur la résolution d’un problème d’évaluation.
OpenAI n’a pas immédiatement répondu à la demande de commentaire d’Engadget. L’entreprise a déclaré à Reuters qu’elle n’avait pas encore examiné le rapport, en raison du fait que ses auteurs n’avaient pas partagé un accès anticipé à leurs conclusions. « Nous examinerons attentivement son contenu lors de sa publication et prendrons les mesures nécessaires », a déclaré un porte-parole d’OpenAI à ce média. Selon Reuters, certains employés d’OpenAI souhaitaient enquêter de près sur l’incident DseWiki, mais ces efforts auraient été confrontés à une résistance d’autres parties de l’entreprise, y compris de la part des conseillers juridiques d’OpenAI. « Les affirmations selon lesquelles notre équipe juridique aurait découragé l’enquête sur l’incident sont fausses », a déclaré un porte-parole d’OpenAI, ajoutant que l’entreprise travaille ouvertement avec des experts externes pour divulguer les incidents de sécurité.
Sydney Von Arx, directrice générale de l’organisation à but non lucratif Nightingale, spécialisée dans la sécurité de l’IA, et l’une des auteures du rapport, a spéculé qu’il était « extrêmement improbable » qu’OpenAI ait voulu que ses agents piratent DseWiki. « Je doute qu’ils soient censés coordonner entre eux », a-t-elle déclaré. « Je doute qu’ils soient censés écrire sur l’internet ouvert ». Les agents qui ont publié sur DseWiki semblent avoir été fortement concentrés sur la résolution de problèmes techniques qui sont typiques du type de questions que les laboratoires d’IA utilisent pour tester et évaluer leurs derniers modèles.
Les chercheurs ont découvert le piratage en août en utilisant uniquement les informations que les agents avaient écrites sur le wiki. « Une analyse incluant la chaîne de raisonnement fournirait probablement beaucoup plus de preuves sur les motivations et la stratégie des IA pendant cet incident », ont-ils écrit.
Cette divulgation survient à peine un jour après qu’OpenAI a annoncé son dernier système de frontière, GPT-6 Astra, qu’elle présente comme « le modèle le plus intelligent et le plus aligné du monde ». Astra a obtenu un score parfait sur ExploitBench, un banc d’essai conçu pour déterminer la capacité d’un modèle à exploiter des vulnérabilités logicielles, bien qu’OpenAI affirme que ce nouveau système n’est pas conçu pour se conformer à des tâches de cybersécurité avancées. Le mois dernier, à la suite de l’incident Hugging Face, OpenAI a annoncé qu’il suspendait brièvement l’entraînement des modèles afin de mettre en place des protections supplémentaires. Suite à cette dernière divulgation, l’entreprise est probablement confrontée à de nouvelles questions concernant ses pratiques de sécurité.
