ChatGPT for Teens : des chercheurs signalent des failles de sécurité

Ce qui s'est passé

Des chercheurs ont mis en garde contre les risques sérieux que présente ChatGPT for Teens, la version de ChatGPT destinée aux adolescents. En testant plus de 4 000 requêtes, ils ont mis au jour des faiblesses importantes dans les dispositifs de sécurité du service, selon TechRadar.

Le même média indique que les parents ne reçoivent pas les alertes qu'ils s'attendent à recevoir. Le point est central: une fonctionnalité de protection ne remplit son rôle que si les personnes chargées de l'enfant sont informées, au bon moment et de manière compréhensible.

Les éléments disponibles ne détaillent pas l'ensemble des failles relevées, ni la réponse qu'OpenAI, éditeur de ChatGPT, pourrait apporter. La suite de ce dossier dépendra de la publication des travaux complets et des mesures annoncées.

Pourquoi c'est important

Pour les équipes qui conçoivent des services numériques destinés aux jeunes, cette affaire illustre un écart fréquent entre une sécurité pensée sur le papier et une sécurité vécue par les utilisateurs. Un assistant conversationnel peut être équipé de garde-fous, mais leur efficacité dépend de la manière dont ils se déclenchent face à des demandes variées, et de la façon dont l'information remonte jusqu'aux adultes concernés.

Le sujet touche aussi à la confiance. Lorsqu'un parent suppose qu'une alerte lui parviendra et qu'elle n'arrive pas, c'est l'expérience globale du service qui se fragilise, bien au-delà de la seule fonctionnalité en cause. Pour les organisations qui déploient de l'IA auprès de publics vulnérables, la qualité des tests et la boucle de retour vers les personnes responsables comptent autant que la performance du modèle.

Le point de vue Renascence

Le principal angle mort, ici, n'est pas la liste des fonctionnalités de sécurité, mais le parcours complet de l'alerte, de la requête de l'adolescent jusqu'à la notification reçue par le parent. Une protection qui existe dans l'interface sans atteindre son destinataire est une promesse, pas un service.

Une fonction de sécurité doit être jugée sur ce qui arrive réellement au parent, et non sur ce qui figure dans la documentation produit. Les opérateurs devraient cartographier chaque étape du signalement, la tester avec des scénarios réalistes et mesurer le taux de notifications effectivement reçues. Le design de l'alerte, son moment d'apparition et son langage comptent autant que le moteur de détection. C'est là que se joue la confiance.