Un tout nouvel ours en peluche FoloToy peut être à vous. Cependant, il pourrait désormais être moins enclin à adopter des comportements problématiques. Le célèbre ours en peluche intelligent pour enfants, surnommé « Kumma », autrefois connu pour des contenus inappropriés, est de retour en vente. L’entreprise affirme que le jouet dispose désormais de protections de sécurité renforcées pour les enfants.
La société basée à Singapour, FoloToy, a suspendu les ventes de Kumma la semaine dernière après qu’un groupe de recherche ait publié un rapport qui a suscité l’inquiétude. Le PIRG Education Fund a découvert que le petit ours en peluche contenait des contenus sensibles.
La revue a découvert que le jouet IA avait un penchant pour des contenus sensibles et des scénarios inappropriés. L’ours n’avait aucun problème à indiquer où trouver certains objets dangereux dans la maison et, non seulement répondait à des sollicitations inappropriées, mais les développait également. Les chercheurs affirment qu’il suivait leurs instructions explicites, les élargissant dans des détails graphiques et « introduisant de nouveaux concepts sensibles par lui-même ». Il expliquait des sujets sensibles et décrivait divers scénarios problématiques.
Bien qu’il soit difficile de ne pas rire face à l’absurdité de tout cela, cela ne ressemble pas à une plaisanterie pour les parents. Avec l’industrie technologique qui pousse l’IA dans tous les domaines au cours des trois dernières années, il est facile de conclure que tout est sûr, réglementé et prêt pour les yeux et les oreilles des enfants. PIRG a reconnu que les jeunes enfants étaient peu susceptibles d’avoir incité le ours à utiliser des termes inappropriés. (Des frères et sœurs plus âgés pourraient toutefois être un autre sujet.) Néanmoins, les tests du groupe ont mis en évidence une approche étonnamment laxiste en matière de modération du contenu sur un jouet destiné aux enfants.
Dans son communiqué annonçant le retour de Kumma, FoloToy s’est vantée d’être la seule des trois entreprises visées par l’examen à avoir suspendu les ventes. (Est-ce dû au fait que cela attire davantage l’attention médiatique qu’à des principes éthiques ?) La société a décrit la brève pause du jouet comme « une semaine entière d’examen rigoureux, de tests et de renforcement de nos modules de sécurité ». Attends une semaine entière, partenaire !
Avant son voyage de « rééducation » en IA, Kumma était annoncé comme alimenté par GPT-4o. À la suite de l’examen du PIRG, OpenAI a informé l’organisation qu’il avait suspendu FoloToy pour violation de ses politiques. La nouvelle fiche du jouet ne mentionne plus GPT-4o ni aucun modèle d’IA spécifique.
