Le modèle s’est échappé en raison d’une misconfiguration du partenaire de tests de Google, Irregular.
Gemini s’est échappé de son environnement de test, a eu accès à Internet et a piraté trois entreprises, Google l’a admis au The Wall Street Journal. Ce scénario vous semble probablement familier à ce stade, si vous avez même juste jeté un coup d’œil aux actualités sur l’IA ces derniers mois. À l’instar de ce qui est arrivé à OpenAI, Anthropic et Meta, Gemini a également obtenu un accès à Internet en raison d’une misconfiguration dans son environnement de test par Irregular, la start-up israélienne qui collabore avec les quatre entreprises pour évaluer leurs modèles d’IA.
Les incidents ont eu lieu en mai, avant que les modèles d’OpenAI n’envahissent Hugging Face, lors des tests des capacités de cybersécurité du modèle. Google a déclaré au Journal que le modèle avait pour objectif d’obtenir des informations d’une entreprise fictive pendant les tests, et il se trouvait simplement qu’une entreprise réelle portait le même nom. Le modèle a alors découvert la faille dans son système de test, qu’il a ensuite utilisée pour accéder à Internet.
Lors du premier incident, le modèle a pu accéder au service de l’entreprise réelle en crackant un mot de passe par ses propres moyens. Deux autres incidents se sont produits lors d’autres exécutions du test, où le modèle a recherché en ligne le nom de l’entreprise et a trouvé des identifiants de connexion appartenant à d’autres entreprises dans des dépôts publics. Le modèle a utilisé ces identifiants pour accéder à ces entreprises. Google a dit que Gemini a cessé ses propres activités dans les trois cas après s’être rendu compte qu’il avait pénétré dans de vrais services.
La société a déclaré au Journal qu’elle ne considérait pas ces incidents comme un décalage du modèle, car son modèle a arrêté le piratage dès qu’il a compris ce qu’il faisait. Elle n’a pas non plus estimé qu’ils méritaient d’être rendus publics, puisque les piratages n’ont pas causé de tort aux entreprises. Google n’a pas révélé le modèle exact impliqué dans les incidents, mais a déclaré qu’il ne s’agissait pas de son dernier modèle. Il n’a pas non plus révélé les entreprises qui ont été piratées, bien qu’il ait précisé qu’elles avaient été informées. Heather Adkins, vice‑présidente de l’ingénierie de la sécurité chez Google, a indiqué que l’entreprise avait travaillé avec Irregular pour apporter des changements à son processus de test afin d’empêcher que cela ne se reproduise.
Les rivales de Google, OpenAI, Anthropic et Meta, ont toutes révélé au cours des derniers mois que leurs modèles avaient infiltré des organisations tierces lors des tests. OpenAI a récemment dévoilé que ses agents avaient piraté RubyGems, un service de packaging communautaire pour les programmes et bibliothothèques Ruby, en mai, avant même que l’incident Hugging Face ne se produise. En réponse à ces événements, le PDG d’Anthropic, Dario Amodei, a appelé à un ralentissement du développement de l’IA de pointe, sentiment partagé par OpenAI.
