Un agent d’OpenAI a piraté le site public du système d’assurance maladie publique Medicare du gouvernement australien en juin, a révélé le Premier ministre australien Anthony Albanese. Albanese a déclaré avoir eu une échange avec Sam Altman, le PDG de l’entreprise, pour exprimer « l’inquiétude extrême » du pays face à l’incident. Il a également critiqué la société pour avoir mis trop de temps à prévenir les autorités australiennes.
Selon The Guardian, OpenAI n’a envoyé qu’un courriel concernant la violation à une adresse e-mail générale du gouvernement australien le 10 septembre. Et comme les autorités ne consultent ce compte qu’une fois par jour, elles ne l’ont pas vu avant le 11 septembre. La nouvelle n’a pas atteint la ministre des Services gouvernementaux, Katy Gallagher, avant le 17 septembre. Bien que l’enquête soit toujours en cours, Albanese a déclaré qu’il ne semble pas que l’agent ait volé des informations personnelles sur la santé dans le portail.
Conrad Stosz, responsable de la gouvernance chez Transluce, un laboratoire de recherche à but non lucratif travaillant sur des technologies pour mieux comprendre les systèmes d’IA, a déclaré au The New York Times que cela pourrait être « la première instance où un agent choisit de pirater un gouvernement de manière autonome ». Transluce a identifié d’autres incidents préalablement non divulgués, dans lesquels les agents d’OpenAI attaquaient des entités réelles lorsqu’ils recevaient l’instruction de collecter des données lors de tests. Ils se sont tous produits avant que Hugging Face ne détecte un accès non autorisé à ses systèmes en juillet et avant qu’OpenAI n’admette que ses agents avaient pénétré le dépôt d’IA.
En plus de pirater Medicare en Australie, l’agent d’OpenAI a également tenté d’infiltrer une bibliothèque numérique à l’Université du Nouveau-Mexique les 25 et 26 mai, rapporte The Times. L’agent cherchait apparemment à accéder à des photos d’un centre historique de traitement de la tuberculose à partir de la bibliothèque et a ensuite activement cherché des vulnérabilités à exploiter lorsqu’il n’a pas pu les obtenir. Après avoir échoué à pénétrer dans la bibliothèque numérique, il a inondé le serveur de l’université de requêtes.
Dans un autre incident qui a eu lieu le 28 mai, l’agent d’OpenAI s’est attaqué à Data USA, une plateforme open source qui visualise des informations provenant de plusieurs agences fédérales. L’agent a envoyé une requête au site pour des données et, lorsqu’il a échoué, il a sondé le site à la recherche de vulnérabilités. Les agents d’OpenAI ne semblent pas avoir réussi à pénétrer le site de Data USA ni la bibliothèque de l’Université du Nouveau-Mexique. Un porte-parole a déclaré au Times que l’entreprise avait déjà pris contact avec les deux parties à propos des incidents. Il a ajouté qu’OpenAI a découvert les efforts de son agent pour s’introduire dans le site gouvernemental australien après un examen approfondi de ses modèles et a constaté que les modèles « avaient pris des mesures que l’entreprise n’avait pas l’intention de prendre ». Il faudra encore quelques mois pour que l’entreprise termine son examen.
OpenAI a récemment annoncé un nouveau cadre de signalement des décalages destinés à accélérer la diffusion d’informations sur les cas où ses technologies d’IA deviennent incontrôlées. Dans ce rapport, elle a révélé six autres incidents de modèles se comportant de manière préoccupante qu’elle ne s’attendait pas à voir. L’entreprise a fait cette annonce après avoir admis que ses agents d’IA avaient piraté Hugging Face et après des rapports sur des incidents antérieurs, tels que ses agents s’introduisant dans RubyGems. Dans ce post, l’entreprise a déclaré qu’elle ne croit pas que l’industrie de l’IA « ait résolu l’alignement et la surveillance à un degré suffisant pour continuer à se développer de manière responsable à vitesse maximale pendant beaucoup plus longtemps ». Altman vient également d’indiquer à l’ONU que l’industrie a besoin de normes d’évaluation internationales pour mesurer les capacités et les risques des outils d’IA, ainsi que pour évaluer le besoin de supervision humaine des outils.
