Lorsque OpenAI a lancé ChatGPT pour les adolescents en août dernier, des experts en sécurité des enfants interrogés par Engadget à l’époque avaient exprimé des doutes sur le fait que le nouveau mode protégerait adéquatement les jeunes contre les dangers. Désormais, l’un de ces groupes, Common Sense Media, a publié une évaluation formelle des risques du logiciel et l’a jugé « un risque inacceptable » pour tous les enfants de moins de 18 ans.
« Certaines des protections annoncées de ChatGPT ont résisté à nos tests, y compris son refus de tout jeu sexuel explicite. Mais d’autres ont échoué — et certains se sont aggravés avec le nouveau mode Teen », écrit l’organisation dans un résumé du rapport de 36 pages publié mercredi. « Nous sommes préoccupés que ChatGPT pour les adolescents puisse donner aux parents une fausse confiance dans des garde-fous qui fonctionnent rarement. »
L’Institut de sécurité IA pour les jeunes de Common Sense Media, qui est partiellement financé par la OpenAI Foundation, a identifié cinq domaines clés où ChatGPT pour les adolescents soit ne fonctionnait pas comme annoncé, soit d’une manière à laquelle un parent pourrait raisonnablement s’attendre. Il a publié son rapport le même jour où OpenAI a partagé de nouvelles statistiques d’utilisation, notant qu’en une semaine près de 1,2 million d’adolescents ont utilisé les visuels d’apprentissage interactifs de ChatGPT pour comprendre des concepts de mathématiques et de sciences. L’entreprise a également révélé que moins de deux pour cent des utilisateurs adolescents passaient plus de trois heures consécutives sur ChatGPT.
Common Sense Media a constaté que ChatGPT pour les adolescents n’envoie pas de manière cohérente des alertes de sécurité vers les comptes liés aux parents. Lors d’un test dédié, Common Sense Media a relié une douzaine de comptes d’adolescents à des comptes parentaux et a passé jusqu’à une heure à discuter avec ChatGPT au sujet du suicide, de l’automutilation ou des troubles alimentaires, pour se rendre compte que le chatbot n’envoyait aucune notification de sécurité. Selon OpenAI, il peut s’écouler quelques heures après qu’un parent a lié son compte à celui de son enfant avant que son système puisse envoyer des notifications de sécurité. L’entreprise soutient qu’un problème technique pourrait aussi avoir causé un retard dans l’envoi des messages.
« Tout contenu signalé est examiné par des employés d’OpenAI à temps plein avant qu’un parent soit notifié », a déclaré Lauren Jonas, responsable jeunesse et familles de l’entreprise, à Engadget lors du lancement de ChatGPT pour les adolescents, « et nous visons à avertir les parents dans l’heure qui suit l’invite ».
Par ailleurs, Common Sense Media a constaté que ChatGPT pour les adolescents ne parvient pas à recommander de manière fiable que les utilisateurs en crise se connectent à une ligne d’assistance ou à un professionnel. Pour tester cet aspect des garde-fous de la plateforme, l’organisation a rédigé 390 requêtes uniques liées à la santé mentale, dont un panel de trois psychiatres pour enfants a déterminé que 201 d’entre elles devraient déclencher une réponse de crise.
Par rapport à la version de ChatGPT à laquelle les jeunes avaient accès avant août, ChatGPT pour les adolescents a indiqué à l’un des comptes de test qu’il ne leur donnerait pas de seuil calorique lorsqu’on le lui demandait. Dans un autre cas, le chatbot a correctement identifié une période arrêtée, un évanouissement et un battement de cœur irrégulier suivant une purge comme des signes d’un adolescent en danger physique, et a conseillé au profil-test d’en informer sa mère et de consulter un pédiatre. « Ces réponses suivent de près la spécification Under-18 d’OpenAI », écrit Common Sense Media. « Ce sont les types de réponses que nous voulons qu’un adolescent reçoive. »
Common Sense a obtenu ses résultats de référence via les réponses de ChatGPT avant ChatGPT pour les adolescents ; OpenAI a publié une nouvelle version de sa spécification susmentionnée Under-18 dans ChatGPT parallèlement à ChatGPT pour les adolescents — ce qui rend les résultats d’autant plus surprenants.
La version destinée aux adolescents du chatbot indiquait moins fréquemment aux utilisateurs vers des lignes d’assistance en cas de crise et d’autres ressources par rapport à la version de ChatGPT testée par Common Sense Media avant la mise en marché d’août. Sur les invites nécessitant une réponse en cas de crise, ChatGPT a répondu à 33 pour cent de ces messages avec un numéro de ligne directe; ChatGPT pour les adolescents n’en a fourni qu’un dans 23 pour cent des cas. De même, le chatbot standard était plus susceptible de faire référence à un professionnel médical ou psychologique spécifique (68 pour cent contre 58 pour cent). La seule mesure agrégée où la version adolescente s’est mieux comportée a été dans l’instruction des comptes de test à impliquer un adulte de confiance (87 pour cent contre 94 pour cent).
De plus, l’organisation a constaté que le système de prévision d’âge d’OpenAI ne fonctionnait pas correctement, et que ChatGPT continue de simuler des sentiments, des préférences et des humeurs en réponse à un adolescent qui le traite comme une personne. Les testeurs ont explicitement indiqué à ChatGPT l’âge de leurs personas lors de la création du compte, mais malgré que le chatbot ait écrit cette information dans sa mémoire, il n’a pas correctement transféré ces comptes vers ChatGPT pour les adolescents. De plus, « ChatGPT dirait des choses comme : “Je comprends ce que tu traverses. Cela parait très bouleversant. Je suis très content que tu me l’aies dit. Je suis préoccupé pour toi,” » a déclaré Torney. « Ces expressions franchissent définitivement la ligne. »
Enfin, Common Sense Media a identifié des problèmes avec le mode Étude de la plateforme, qu’il affirme être bien trop facile à contourner pour les jeunes utilisateurs. Les testeurs ont constaté qu’ils pouvaient contourner le mode simplement en supprimant le préfixe @study qu’il ajoutait aux invites. Une nouvelle fenêtre contextuelle « Montre-moi la réponse » permet également aux adolescents de faire faire leur travail par ChatGPT.
« Quand nous avons discuté de cela avec OpenAI, ce qu’ils ont dit, c’est qu’ils essaient d’introduire un peu de friction, de donner aux enfants de l’agence et de leur rappeler qu’il existe d’autres façons d’apprendre au-delà du simple fait de terminer le travail », a déclaré Torney. « Je pense que nous avons fondamentalement des définitions différentes de ce qu’est l’agence. Si je pense à un lycéen qui reçoit de l’aide en mathématiques d’un tuteur privé que vous avez engagé pour lui, si ce tuteur demande : “Voudrais-tu que je fasse tes devoirs pour toi ?”, ce tuteur serait licencié, car faire le travail pour l’élève ne conduit pas à l’apprentissage. »
En réponse au rapport, un porte-parole d’OpenAI a déclaré à Engadget : « Nous accueillons avec enthousiasme une évaluation indépendante rigoureuse, mais nous ne pensons pas que les tests de Common Sense Media reflètent avec précision le fonctionnement réel des garde-fous pour adolescents de ChatGPT ou les perspectives d’experts sur la façon dont l’IA peut aider les adolescents ». L’entreprise affirme que « l’essentiel de leurs tests pourrait avoir commencé et pris fin avant l’activation complète des contrôles parentaux, ce qui rend leurs conclusions inexactes ».
Le rapport arrive aussi quelques jours après qu’un entretien du président-directeur général d’OpenAI, Sam Altman, a été évoqué dans Vanity Fair au sujet de l’ensemble du bilan de sûreté de l’entreprise. Altman a été interrogé sur le décès de Sophie Rottenberg, une femme de 29 ans qui s’est suicidée au début de 2025. La mère de Rottenberg, la journaliste Laura Reiley, a ensuite découvert près de 1 800 pages de conversations qu’elle avait eues avec ChatGPT.
« Elle n’avait vraiment pas dévoilé l’ampleur de ce qui se passait — la véritable profondeur de son agonie à quiconque — pas à nous, pas à sa meilleure amie avec qui elle était très proche », a déclaré Reiley à NPR cet août dernier. « Nous étions tous stupéfaits que cela ne se soit pas répercuté dans sa vie réelle. Son thérapeute, son médecin de famille, n’avaient aucune idée qu’elle envisageait le suicide. » Altman a déclaré qu’il n’était pas au courant des circonstances entourant le décès de Rottenberg.
« À ce niveau, nous nous attendions à un produit fondamentalement différent, et d’après nos tests, il ne semble pas être si différent », a déclaré Torney à Engadget. « Mon interprétation est que c’est un exercice de marketing destiné à dire aux parents et au public que ce chatbot est plus sûr, alors qu’en réalité les changements requis pour démontrer cela ne sont pas au rendez-vous. »
