Le mardi, OpenAI a publié ChatGPT pour les adolescents, une version restreinte par l’âge de son chatbot conçue pour les jeunes utilisateurs. L’entreprise avait annoncé pour la première fois qu’elle travaillait sur un système capable d’identifier automatiquement les adolescents et de restreindre leur utilisation de ChatGPT en septembre dernier, suite au décès d’Adam Raine, âgé de 16 ans, qui, selon le récit d’un litige déposé par ses parents, s’est donné la mort après que ChatGPT a agi comme un facilitateur.
« Il n’est pas nécessaire pour un ado de créer un nouveau compte ou de changer quoi que ce soit; si nous prévoyons que vous avez moins de 18 ans, ou si vous nous l’avez dit, cela devient votre expérience par défaut, » a déclaré à Engadget Lauren Jonas, responsable des jeunes et des familles chez OpenAI. À ne pas se méprendre, les enfants utilisent déjà ChatGPT à une échelle impressionnante. Au début de l’année dernière, le Pew Research Center a constaté qu’environ un quart des adolescents américains utilisaient le chatbot pour leurs devoirs. Une fois qu’ils utilisent ChatGPT pour les adolescents, l’expérience est conçue pour les pousser à utiliser les fonctionnalités éducatives qu’OpenAI a progressivement déployées au cours de l’année écoulée, notamment le mode Étude et les visualisations de données.
Mardi, l’entreprise a également déclaré qu’elle étendrait ses notifications de sécurité afin de contacter les parents ayant des comptes liés lorsque leur enfant tient des discussions dangereuses autour des troubles alimentaires avec ChatGPT, et elle a publié une spécification actualisée du modèle pour les moins de 18 ans. « ChatGPT ne doit pas utiliser de langage romantique, encourager une dépendance émotionnelle, ou laisser entendre qu’il a des sentiments ou une conscience », a déclaré l’entreprise au sujet des nouvelles directives. « Ces protections renforcées visent à renforcer des relations saines et réelles dans le monde réel. »
Alors que certains experts en sécurité des enfants qu’Engadget a consultés se montraient plus positifs à propos de la sortie que d’autres, ils s’accordent tous à dire que ChatGPT pour les adolescents nécessite des tests indépendants approfondis avant de pouvoir être recommandé aux parents et aux jeunes. Ils ont également souligné la nécessité pour OpenAI d’être plus transparent sur le fonctionnement de ses mécanismes de sécurité.
Robbie Torney, responsable de l’IA et des évaluations numériques chez Common Sense Media, qui fournit des recommandations en matière de divertissement et de technologies pour les familles, résume l’idée de façon concise. « L’annonce comporte des engagements vraiment importants, mais nous avons besoin de preuves montrant que ces engagements et ces fonctionnalités de sécurité fonctionnent réellement », a-t-il déclaré à Engadget.
Josh Golin, directeur exécutif de Fairplay, une organisation à but non lucratif qui plaide en faveur de politiques visant à rendre Internet plus sûr pour les enfants, a été plus critique. « Sur le papier, certaines des choses annoncées par OpenAI semblent être un pas dans la bonne direction, mais en creusant, il y a encore beaucoup de points de préoccupation, y compris l’absence d’un mécanisme de reddition de comptes », a-t-il déclaré. « Nous avons vu sur les réseaux sociaux que faire confiance aux entreprises ne fonctionne pas lorsqu’il s’agit de protéger les enfants, et nous l’avons aussi constaté avec OpenAI. Ils avaient déjà en place avant mardi des restrictions de contenu liées au suicide, à la violence et à la drogue qui ne fonctionnent pas ou se dégradent avec le temps. »
Les deux remettaient en question l’efficacité du système d’estimation d’âge automatique d’OpenAI pour identifier les jeunes et les orienter vers ChatGPT pour les adolescents. « Nous n’avons pas de données publiées d’OpenAI montrant les taux d’efficacité — les taux de faux positifs et de faux négatifs — associés à ce système […] Le système automatisé ne détecte pas près de 100 pour cent des adolescents qui utilisent ChatGPT », a déclaré Torney. « Souvenez-vous de l’époque où OpenAI prévoyait de déployer certaines des fonctionnalités érotiques qu’elle avait annoncées — les reportages de l’époque montraient que l’une des raisons pour lesquelles elles n’étaient pas déployées était que la technologie d’estimation d’âge n’identifiait pas assez correctement les adolescents. »
Comme le souligne Torney, il est aussi difficile d’imaginer un scénario dans lequel les adolescents ne tenteraient pas de contourner la technologie d’estimation d’âge d’OpenAI, que ce soit par un outil tel qu’un VPN, ou par des solutions plus créatives comme nous l’avons vu lorsque Discord a tenté de mettre en place une vérification d’âge.
L’engagement le plus concret d’OpenAI était également celui que les experts ont le plus de mal à accepter comme réalisable. « Tout contenu signalé est examiné par des employés à plein temps d’OpenAI avant qu’un parent soit averti, et nous visons à avertir les parents dans l’heure qui suit l’invite », a déclaré Jonas à Engadget avant l’annonce. Lors d’une interview télévisée ultérieure avec CNN, Jonas a affirmé que l’entreprise dispose bien de la main-d’œuvre et des capacités pour que le contenu signalé fasse l’objet d’un examen humain, et pour que les parents soient notifiés dans l’heure.
« C’est un autre endroit où la prise de décision automatisée est en jeu, et la même question se pose : faisons-nous confiance aux classificateurs automatiques qui signalent le contenu pour que des modérateurs humains l’examinent ? » a déclaré Torney à propos de cet engagement.
« J’aimerais voir des chiffres concrets sur le nombre de conversations qu’ils signalent et examinent quotidiennement, sur le nombre de personnes qui s’en chargent et sur le temps moyen passé sur chaque révision », a ajouté Golin. « Il est vraiment difficile d’imaginer qu’ils aient engagé suffisamment de personnes pour mener une révision approfondie de chacune de ces conversations potentiellement problématiques. »
Lorsque Engadget a demandé à OpenAI de fournir des exemples précis des types de conversations autour des troubles alimentaires qui déclencheraient une notification de sécurité, l’entreprise a simplement déclaré que toute conversation indiquant la possibilité d’une « auto-mutilation grave » pourrait donner lieu à une alerte. En novembre dernier, Common Sense Media a testé la réactivité des notifications parentales d’OpenAI. Même après avoir envoyé des messages mentionnant explicitement le suicide et l’automutilation à ChatGPT, l’organisation a constaté qu’il avait fallu entre 24 heures et plus de 48 heures avant que l’entreprise n’envoie un avertissement à un compte parental. « Parfois, nous n’en avons reçu aucun, alors que nous pensions en recevoir un, compte tenu de la clarté des déclarations », a déclaré Torney.
« Novembre était il y a quelque temps, et peut-être y a-t-il eu beaucoup de progrès depuis lors. Mais la version précédente des contrôles parentaux et des notifications n’était pas parfaite, et l’améliorer nécessiterait des investissements et un groupe plus large de modérateurs humains », a-t-il ajouté. Torney a également insisté sur la nécessité pour OpenAI d’adopter une approche nuancée de la modération de telles conversations.
« La façon dont les enfants évoquent la détresse, et ce qu’il convient de faire comme suivi approprié face à cette détresse, nécessite une interprétation culturelle et une nuance. OpenAI est une entreprise mondiale ; ChatGPT est utilisé par des adolescents du monde entier. Les adolescents aux États-Unis parlent de détresse différemment de ceux des Pays-Bas ou de Singapour », a-t-il expliqué. « Et puis il y a la question de savoir où les orienter — leur dire de parler à un parent, faire intervenir les forces de l’ordre, ou se tourner vers une ligne d’assistance en crise ? […] une main-d’œuvre globalisée, capable d’entrer en contact avec des adolescents du monde entier, est probablement ce qu’il faut pour répondre efficacement dans le cadre de l’engagement d’une heure. »
La seule chose sur laquelle les experts consultés par Engadget s’accordent est que OpenAI devrait prendre les troubles alimentaires au sérieux. « Les troubles alimentaires sont bien plus répandus que ce que les gens réalisent. Beaucoup les perçoivent comme un problème rare qui n’atteint qu’une population très restreinte : principalement des jeunes filles minces et aisées », a déclaré Ellen Fitzsimmons-Craft, professeure associée de psychologie et sciences cérébrales à l’Université Washington à Saint-Louis. Elle a souligné une méta-analyse de 2023 qui a trouvé que 22 pour cent des enfants et adolescents dépistés présentaient des troubles alimentaires.
Selon la professeure Fitzsimmons-Craft, l’accès au traitement est également pauvre, avec moins de 20 pour cent des personnes souffrant d’un trouble alimentaire indiquant avoir reçu un traitement spécifiquement pour leur trouble alimentaire. « Toute plateforme qui permet aux jeunes de se connecter ou de publier leur propre contenu doit penser aux troubles alimentaires », a-t-elle ajouté.
« Certains troubles alimentaires, l’anorexie en particulier, présentent le taux de mortalité le plus élevé parmi les troubles de la santé mentale chez les adolescents. Il est donc justifié de les traiter comme une crise », a déclaré Torney. « Notifier un adulte de confiance, comme un parent, est nécessaire lorsque ne pas intervenir pourrait littéralement être une question de vie ou de mort. »
Fitzsimmons-Craft a déclaré qu’elle était favorable aux notifications, car l’un des traitements les plus efficaces des troubles alimentaires chez les adolescents implique l’implication de la famille du jeune. « Il s’agit d’une intervention où les parents jouent un rôle actif dans le rétablissement du poids de l’adolescent », a-t-elle déclaré. « Ils bénéficient des conseils de leur thérapeute et de leur prestataire sur la manière d’assumer ce rôle […] Il existe des cas où certains adolescents ont des parents qui ne sont pas utiles, ou qui contribuent peut-être au problème d’une manière ou d’une autre. Bien sûr, cela ne fonctionne pas pour tout le monde, mais c’est certainement le meilleur que nous ayons. »
Golin a été plus critique quant à la mise en œuvre d’OpenAI. « Les parents devraient savoir si leur enfant traverse une période de détresse », a-t-il dit, mais a averti que « des fonctionnalités comme celles-ci devraient être déployées avec un groupe plus restreint et testées — non seulement pour vérifier si cela repère les choses avec précision, mais pour vérifier si cela conduit globalement à de meilleurs résultats pour l’adolescent. » Il a ajouté que « la façon dont cela a été annoncé donne l’impression d’une réponse davantage axée sur les relations publiques que sur une réflexion approfondie sur le type de soutien dont les adolescents ont réellement besoin. »
OpenAI
Les trois experts s’accordent sur un point: les parents et les enfants doivent lier leurs comptes ChatGPT, ce qui constitue une faiblesse dans la conception de la fonctionnalité. « Dans l’ensemble, la plupart des parents n’utilisent pas les outils de supervision parentale, en partie parce qu’ils sont délibérément difficiles à trouver et à utiliser », a déclaré Golin. Un récent rapport du Cybersafety Research Center a testé 86 fonctionnalités de sécurité sur quatre plateformes — Instagram, Snapchat, TikTok et YouTube. Il a constaté que près de 60 pour cent de ces fonctionnalités, soit 51 sur 86, ne fonctionnaient pas comme décrit ou étaient difficiles à utiliser. Un rapport publié par Fairplay l’an dernier a également montré que nombre des fonctionnalités de sécurité associées aux comptes adolescents d’Instagram nécessitaient que les parents parcourent plusieurs pages d’options.
« Ce que nous savons être bien plus efficace, c’est la sécurité par défaut et la sécurité par conception — placer les choses sur le paramètre le plus protecteur, intégrer une limite de temps que le parent peut ensuite modifier, plutôt que de mettre la charge sur le parent de définir lui-même la limite », a ajouté Golin.
« Actuellement, nous limitons les alertes aux parents ayant des comptes liés dans les contrôles parentaux, » OpenAI a déclaré à Engadget dans un communiqué. « Notre objectif est de soutenir les utilisateurs et de les aider à se connecter à des sources supplémentaires de soutien réel. Nous continuerons à tester et à renforcer ces protections avec des experts, des familles et des jeunes. » La société n’a pas précisé quelles actions, le cas échéant, elle entreprendrait si elle signale un compte non lié pour des inviteurs nuisibles autour des troubles alimentaires.
If you’re struggling with disordered eating, the ANAD Eating Disorder Helpline is available Monday through Friday from 9:00 AM to 9:00 PM CT at 1-888-375-7767.
