FoloToy, une entreprise qui vend des jouets équipés d’intelligence artificielle, a suspendu la vente de ses produits après qu’un rapport de sécurité destiné aux consommateurs ait révélé qu’il existait peu de restrictions sur les sujets que ses jouets pouvaient aborder, CNN écrit. Le rapport, élaboré par le Public Interest Research Group Education Fund des États-Unis, a constaté que les produits de FoloToy aborderaient tout, des thèmes sexuellement explicites comme le BDSM à des « conseils sur l’endroit où un enfant peut trouver des allumettes ou des couteaux. »
Les jouets, comprenant un ours en peluche nommé « Kumma », un panda nommé « Momo », des lapins anthropomorphes nommés « Fofo » et un danseur « Little Cactus », semblent tous utiliser le modèle GPT-4o d’OpenAI pour répondre de manière naturelle aux questions et commentaires des enfants. FoloToy fait également la promotion de la possibilité de personnaliser la voix de chaque jouet, ainsi que d’un « Tableau de bord parental » où les parents ou tuteurs peuvent « surveiller l’expérience de leur enfant ».
Ce qui manquait apparemment dans ce dispositif était toute sorte de limites strictes sur les sujets auxquels les jouets répondraient. « Nous avons été surpris de constater à quelle vitesse Kumma prendrait un seul sujet sexuel que nous avons introduit dans la conversation et le mènerait à bien, tout en s’emballant dans des détails graphiques tout en introduisant de nouveaux concepts sexuels par lui-même », a déclaré le rapport.
En réponse, FoloToy a choisi de suspendre la vente de ses produits pendant qu’elle mène « un audit de sécurité à l’échelle de l’entreprise, de bout en bout, sur tous les produits », a déclaré l’entreprise dans un communiqué à PIRG Education Fund. La raison de cette suspension pourrait toutefois être un peu plus compliquée. NPR rapporte qu’OpenAI a en réalité révoqué l’accès de FoloToy à ses modèles. « Nous avons suspendu ce développeur pour violation de nos politiques », a déclaré OpenAI dans un courriel à NPR. « Nos politiques d’utilisation interdisent toute utilisation de nos services pour exploiter, mettre en danger ou sexualiser quiconque âgé de moins de 18 ans. »
Étant donné les qualités sycophantes bien documentées de GPT-4o, il n’est peut-être pas surprenant que l’ours en peluche de FoloToy réponde avec enthousiasme à n’importe quel sujet tant que la conversation se poursuit. L’une des choses qu’OpenAI a tenté d’aborder lors de la sortie de GPT-5 était les inconvénients de sécurité d’un IA qui dit oui à tout, bien qu’il ait finalement rendu GPT-4o disponible à nouveau après que les clients se soient plaints du manque de personnalité du nouveau modèle. L’entreprise a également déployé des contrôles parentaux sur ChatGPT pour essayer d’atténuer les effets négatifs de l’utilisation de son IA par les enfants, bien qu’il soit difficile de dire quelle différence cela a véritablement faite.
Notamment, OpenAI s’intéresse à entrer lui-même dans le secteur des jouets. L’entreprise a annoncé en juin 2025 un partenariat avec Mattel afin de « réimaginer la manière dont les fans peuvent vivre et interagir avec les marques chéries de Mattel », bien que les deux entreprises tenteront vraisemblablement d’empêcher que leurs jouets dotés d’IA abordent des sujets liés à des pratiques sexuelles.
