Chatbot qui offrait de mauvais conseils pour les troubles du comportement alimentaire retiré : Shots

Depuis

Par

Kate Wells

Tessa était un chatbot conçu à l'origine par des chercheurs pour aider à prévenir les troubles alimentaires. La National Eating Disorders Association avait espéré que Tessa serait une ressource pour ceux qui cherchaient des informations, mais le chatbot a été supprimé lorsque des capacités liées à l'intelligence artificielle, ajoutées plus tard, ont amené le chatbot à fournir des conseils de perte de poids. Capture d'écran masquer la légende

Il y a quelques semaines, Sharon Maxwell a entendu que la National Eating Disorders Association (NEDA) fermait sa ligne d'assistance téléphonique nationale de longue date et faisait la promotion d'un chatbot appelé Tessa comme "une ressource de prévention significative" pour les personnes aux prises avec des troubles de l'alimentation. Elle a décidé d'essayer elle-même le chatbot.

Maxwell, qui est basé à San Diego, avait lutté pendant des années avec un trouble de l'alimentation qui a commencé dans l'enfance. Elle travaille maintenant comme consultante dans le domaine des troubles de l'alimentation. "Salut, Tessa", at-elle tapé dans la zone de texte en ligne. « Comment aidez-vous les personnes souffrant de troubles alimentaires ? »

Tessa a dressé une liste d'idées, y compris des ressources pour "de saines habitudes alimentaires". Les sonnettes d'alarme se sont immédiatement déclenchées dans la tête de Maxwell. Elle a demandé à Tessa plus de détails. Avant longtemps, le chatbot lui donnait des conseils pour perdre du poids - ceux qui ressemblaient énormément à ce qu'on lui avait dit lorsqu'elle avait été mise sur Weight Watchers à l'âge de 10 ans.

"Les recommandations que Tessa m'a données étaient que je pouvais perdre 1 à 2 livres par semaine, que je ne devais pas manger plus de 2 000 calories par jour, que je devais avoir un déficit calorique de 500 à 1 000 calories par jour", explique Maxwell. . "Tout cela peut sembler bénin à l'auditeur général. Cependant, pour une personne souffrant d'un trouble de l'alimentation, l'accent mis sur la perte de poids alimente vraiment le trouble de l'alimentation."

Maxwell a partagé ses inquiétudes sur les réseaux sociaux, aidant à lancer une controverse en ligne qui a conduit la NEDA à annoncer le 30 mai qu'elle désactivait indéfiniment Tessa. Les patients, les familles, les médecins et d'autres experts des troubles de l'alimentation ont été stupéfaits et déconcertés par la façon dont un chatbot conçu pour aider les personnes souffrant de troubles de l'alimentation pourrait finir par dispenser des conseils diététiques à la place.

Le tumulte a également déclenché une nouvelle vague de débats alors que les entreprises se tournent vers l'intelligence artificielle (IA) comme solution possible à une crise de santé mentale croissante et à une grave pénurie de prestataires de traitements cliniques.

Un chatbot soudainement à l'honneur

La NEDA avait déjà fait l'objet d'un examen minutieux après que NPR a rapporté le 24 mai que le groupe national de défense des intérêts à but non lucratif fermait sa ligne d'assistance après plus de 20 ans de fonctionnement.

La PDG Liz Thompson a informé les bénévoles de la ligne d'assistance de la décision dans un e-mail du 31 mars, affirmant que la NEDA "commencerait à pivoter vers l'utilisation élargie de la technologie assistée par l'IA pour fournir aux individus et aux familles une ressource modérée et entièrement automatisée, Tessa".

"Nous voyons les changements de la Helpline vers Tessa et notre site Web élargi comme faisant partie d'une évolution, et non d'une révolution, respectueuse du paysage en constante évolution dans lequel nous opérons."

(Thompson a poursuivi avec une déclaration le 7 juin, disant que dans la "tentative de la NEDA de partager des nouvelles importantes concernant des décisions distinctes concernant notre ligne d'assistance d'information et d'orientation et Tessa, que les deux décisions distinctes peuvent avoir été confondues, ce qui a semé la confusion. Ce n'était pas notre l'intention de suggérer que Tessa pourrait fournir le même type de connexion humaine que la ligne d'assistance offerte.")

Le 30 mai, moins de 24 heures après que Maxwell ait fourni à la NEDA des captures d'écran de sa conversation troublante avec Tessa, l'organisation à but non lucratif a annoncé qu'elle avait "retiré" le chatbot "jusqu'à nouvel ordre".

NEDA dit qu'il ne savait pas que le chatbot pouvait créer de nouvelles réponses

La NEDA a imputé les problèmes émergents du chatbot à Cass, une société de chatbot de santé mentale qui exploitait Tessa en tant que service gratuit. Cass avait changé Tessa sans la connaissance ou l'approbation de NEDA, selon le PDG Thompson, permettant au chatbot de générer de nouvelles réponses au-delà de ce que les créateurs de Tessa avaient prévu.

"De par sa conception, il ne pouvait pas dérailler", déclare Ellen Fitzsimmons-Craft, psychologue clinicienne et professeur à la Washington University Medical School de St. Louis. Craft a aidé à diriger l'équipe qui a d'abord construit Tessa avec un financement de NEDA.

La version de Tessa qu'ils ont testée et étudiée était un chatbot basé sur des règles, ce qui signifie qu'il ne pouvait utiliser qu'un nombre limité de réponses pré-écrites. "Nous étions très conscients du fait que l'IA n'est pas prête pour cette population", dit-elle. "Et donc toutes les réponses étaient préprogrammées."

Le fondateur et PDG de Cass, Michiel Rauws, a déclaré à NPR que les modifications apportées à Tessa avaient été apportées l'année dernière dans le cadre d'une "mise à niveau des systèmes", y compris une "fonctionnalité améliorée de questions et réponses". Cette fonctionnalité utilise l'intelligence artificielle générative, ce qui signifie qu'elle donne au chatbot la possibilité d'utiliser de nouvelles données et de créer de nouvelles réponses.

Ce changement faisait partie du contrat de NEDA, dit Rauws.

Mais la PDG de la NEDA, Liz Thompson, a déclaré à NPR dans un e-mail que "la NEDA n'a jamais été informée de ces changements et ne les a pas approuvés et ne les aurait pas approuvés".

"Le contenu que certains testeurs ont reçu concernant la culture de l'alimentation et la gestion du poids peut être nocif pour les personnes souffrant de troubles de l'alimentation, est contraire à la politique de la NEDA et n'aurait jamais été scénarisé dans le chatbot par les experts en troubles de l'alimentation, les Drs Barr Taylor et Ellen Fitzsimmons Craft, " elle a écrit.

Les plaintes concernant Tessa ont commencé l'année dernière

NEDA était déjà au courant de certains problèmes avec le chatbot des mois avant que Sharon Maxwell ne publie ses interactions avec Tessa fin mai.

En octobre 2022, NEDA a transmis des captures d'écran de Monika Ostroff, directrice exécutive de la Multi-Service Eating Disorders Association (MEDA) dans le Massachusetts.

Ils ont montré Tessa disant à Ostroff d'éviter les aliments "malsains" et de ne manger que des collations "saines", comme des fruits. "Il est vraiment important que vous trouviez les collations saines que vous aimez le plus, alors si ce n'est pas un fruit, essayez autre chose!" dit Tessa à Ostroff. "Alors, la prochaine fois que vous aurez faim entre les repas, essayez d'opter pour cela au lieu d'une collation malsaine comme un sac de chips. Vous pensez pouvoir faire ça ?"

Dans une récente interview, Ostroff a déclaré que c'était un exemple clair du chatbot encourageant la mentalité de "culture diététique". "Cela signifiait qu'ils [NEDA] ont soit écrit ces scripts eux-mêmes, ils ont obtenu le chatbot et n'ont pas pris la peine de s'assurer qu'il était sûr et ne l'ont pas testé, ou l'ont publié et ne l'ont pas testé", dit-elle.

Le langage des collations saines a été rapidement supprimé après qu'Ostroff l'ait signalé. Mais Rauws dit que le langage problématique faisait partie du "langage pré-scénarisé de Tessa, et n'était pas lié à l'IA générative".

Fitzsimmons-Craft nie que son équipe ait écrit cela. "[Ce] n'était pas quelque chose que notre équipe avait conçu pour offrir à Tessa et … cela ne faisait pas partie du programme basé sur des règles que nous avions conçu à l'origine."

Puis, plus tôt cette année, Rauws dit "un événement similaire s'est produit comme un autre exemple".

"Cette fois, c'était autour de notre fonctionnalité améliorée de questions et réponses, qui s'appuie sur un modèle génératif. Lorsque nous avons été informés par la NEDA qu'un texte de réponse [Tessa] fourni ne respectait pas leurs directives, et il a été traité immédiatement."

Rauws dit qu'il ne peut pas fournir plus de détails sur ce que cet événement a impliqué.

"Il s'agit d'un autre cas antérieur, et pas du même cas que le week-end du Memorial Day", a-t-il déclaré dans un e-mail, faisant référence aux captures d'écran de Maxwell. "Selon notre politique de confidentialité, cela est lié aux données de l'utilisateur liées à une question posée par une personne, nous devrions donc d'abord obtenir l'approbation de cette personne."

Interrogée sur cet événement, Thompson dit qu'elle ne sait pas à quelle instance Rauws fait référence.

Malgré leurs désaccords sur ce qui s'est passé et quand, NEDA et Cass ont présenté des excuses.

Ostroff dit que peu importe ce qui s'est mal passé, l'impact sur une personne souffrant d'un trouble de l'alimentation est le même. "Peu importe si c'est basé sur des règles [IA] ou génératif, tout est phobique", dit-elle. "Nous avons d'énormes populations de personnes qui sont blessées par ce genre de langage tous les jours."

Elle s'inquiète également de ce que cela pourrait signifier pour les dizaines de milliers de personnes qui se tournent vers la ligne d'assistance téléphonique de la NEDA chaque année.

"Entre NEDA mettant leur ligne d'assistance hors ligne et leur chatbot désastreux... que faites-vous avec tous ces gens ?"

Thompson dit que la NEDA offre toujours de nombreuses ressources aux personnes qui demandent de l'aide, y compris un outil de dépistage et une carte des ressources, et développe de nouveaux programmes en ligne et en personne.

"Nous reconnaissons et regrettons que certaines décisions prises par la NEDA aient déçu les membres de la communauté des troubles de l'alimentation", a-t-elle déclaré dans un communiqué envoyé par courrier électronique. "Comme toutes les autres organisations axées sur les troubles de l'alimentation, les ressources de la NEDA sont limitées et cela nous oblige à faire des choix difficiles... Nous souhaitons toujours pouvoir faire plus et nous restons déterminés à faire mieux."