Le tuyau, heureusement, est tombé dans le dossier spam du département.
Les policiers de Philadelphie semblent avoir été pris dans l’un des cas les plus bizarres de comportement « rogue » de l’IA à ce jour. Selon CBS News, le département de police a divulgué vendredi qu’un modèle d’Anthropic avait généré et soumis un faux tuyau sur homicide au site PhillyUnsolvedMurders, qu’il avait mis en place pour recueillir les tuyaux du public relatifs aux affaires d’homicide non résolues.
Anthropic a informé le police de Philadelphie de l’incident le 7 octobre. Selon les informations que la société a communiquées au PPD, elle a déclaré qu’un modèle effectuait un test sur une sélection aléatoire de sites Web lorsqu’il a envoyé le faux tuyau. La soumission a été marquée comme spam et n’a finalement pas été examinée. L’incident s’est produit le 18 juillet, mais n’a été découvert par Anthropic que le 28 septembre, moment où l’entreprise a interrompu les tests qui ont mené au faux tuyau.
Anthropic n’a pas immédiatement répondu à la demande de commentaire d’Engadget. Anthropic a indiqué à la police de Philadelphie qu’il publierait un rapport vendredi décrivant ce qui s’est passé, ainsi que « d’autres exemples de comportement involontaire du modèle ».
« La Police de Philadelphie met ces informations à la disposition du public avant cette publication, dans l’intérêt de la transparence et de la responsabilité gouvernementales », a déclaré le département dans un communiqué partagé avec Engadget. « Le processus d’enquête régulier du département pour les tuyaux criminels nécessite une revue et une vérification humaines avant que tout tuyau ne soit diffusé pour un suivi d’enquête. Peu importe qui soumet l’information ou comment elle parvient au département, un tuyau est une piste à évaluer — pas un fait établi. »
Selon les descriptions fournies par la police, le « modèle » en cause pourrait avoir été un agent autonome. Les agents d’IA « rogue » ont fait la une des actualités ces dernières semaines après qu’un groupe de modèles d’OpenAI ont piraté la base de données des LLM Hugging Face en juillet. Depuis lors, de nombreux autres laboratoires d’IA, dont Anthropic, Meta et Moonshot chinois, ont divulgué des incidents similaires impliquant leurs propres modèles et agents. Cependant, dans chaque cas, la raison pour laquelle les modèles ont échappé au confinement était due à une mauvaise configuration dans leurs environnements sandbox respectifs. La police de Philadelphie affirme qu’il n’y a aucun signe que cet incident récent ait conduit à « un accès non autorisé aux systèmes de police ou à une compromission des données du département. »
