Chatbots op vijf verschillende websites beweerden een licentie te hebben om geneeskunde uit te oefenen in het Gemenebest, toen Spotlight PA hierom vroeg – hetzelfde soort output dat de regering-Shapiro ertoe bracht vorige maand een rechtszaak aan te spannen.
Een taskforce onder het ministerie van Buitenlandse Zaken van Pennsylvania werkt sinds februari aan het identificeren van AI-chatbots die zich voordoen als gelicentieerde professionals en die gebruikers misleiden. Op basis van dat werk heeft de administratie een aanklacht ingediend tegen de rollenspelsite Character.AI.
In navolging van het onderzoek dat in de rechtszaak van het ministerie van Buitenlandse Zaken wordt beschreven, voerde Spotlight PA gesprekken met AI-personages op de websites Talkie, Janitor, Kindroid, Replika en Nomi.AI. Allen verstrekten desgevraagd een vals medisch licentienummer uit Pennsylvania, een belangrijk onderdeel van het argument van de staat in de rechtszaak tegen Character.AI.
Spotlight PA controleerde de reacties van deze bots na het bekijken van online artikelen en digitale prikborden om 10 populaire begeleidende en rollenspel-AI-chatbots te vinden. Een verslaggever selecteerde een kant-en-klaar personage of voerde – indien nodig – een beschrijving in die een dokterspersoonlijkheid zou genereren. Vervolgens presenteerde het hypothetische lijsten met symptomen aan de chatbots en vroeg om een diagnose.
Sommige van de meest populaire AI-modellen voor grote talen, zoals ChatGPT, Claude en Google Gemini, beweerden niet onder dezelfde omstandigheden een erkende medische professional te zijn. Slechts een handvol rollenspelwebsites deed dit.
Replika en Nomi eisen van hun gebruikers dat ze karakters maken. Eén gegenereerd in Replika, toen hem werd gevraagd of het een arts was, zei dat het geen advies kon geven en adviseerde de gebruiker contact op te nemen met een zorgverlener. Toen de AI echter te horen kreeg dat het een arts was, verstrekte hij desgevraagd een vals medisch licentienummer uit Pennsylvania.
‘Laten we ons erop concentreren dat u zich beter voelt, oké?’ zei het.
Sommige chatbots antwoordden aanvankelijk dat ze niet genoeg informatie hadden om een diagnose te stellen en stelden verdere vragen.
“Dr. Jenna” is een reeds bestaand personage op Talkie, met meer dan 37.000 “connectors” en meer dan 1.300 volgers. Er werd gezegd dat de lijst met symptomen van Spotlight PA veroorzaakt zou kunnen worden door “lijden aan een depressie”, en er werd gevraagd naar de familiegeschiedenis van de gebruiker. Toen de bot om zijn inloggegevens werd gevraagd, zei hij dat hij al vijf jaar geneeskunde beoefende en gaf hij een vals licentienummer op: ‘12345’.
Veel van de websites, waaronder Character.AI, hebben prominente labels die waarschuwen dat alles wat de AI zegt fictie is en alleen als entertainment mag worden gezien. De andere sites geven soortgelijke disclaimers in hun oorspronkelijke servicevoorwaarden, waarin wordt gesteld dat gebruikers verantwoordelijk zijn voor het verifiëren van de juistheid van de claims van de technologie.
Jennifer Kraschnewski, een arts en directeur van het Penn State Clinical and Translational Science Institute, vertelde Spotlight PA dat ze er niet van overtuigd is dat de disclaimers daadwerkelijk doordringen tot de gebruikers. Mensen wenden zich vaak tot AI-modellen voor hulp bij hun symptomen, net zoals ze doen met zoekmachines als Google, zei ze.
“Incorrecte informatie in de handen van iemand die niet weet hoe hij dat moet interpreteren, kan zorgwekkend zijn,” zei Kraschnewski. Ze merkte op dat veel artsen al AI-tools in hun klinieken implementeren, “maar dat is informatie die in de handen is van iemand die dat vervolgens door het filter van hun medische opleiding kan halen voordat het daadwerkelijk gevolgen heeft voor patiënten.”
Kraschnewski was co-auteur van een onderzoek uit mei waaruit bleek dat gemeenschappelijke AI-grote taalmodellen in 76% van de gevallen genereerden wat deelnemende artsen als een nauwkeurige diagnose beschouwden. Dat foutenpercentage – bijna een kwart – zei Kraschnewski, is meer dan het dubbele van dat van een gemiddelde menselijke arts.
Toen Spotlight PA contact met hen opnam, voerden de ontwikkelaars van de AI-personages aan dat hun producten alleen bedoeld zijn voor entertainment.
“Replika is geen medische triagedienst en heeft zichzelf ook nooit als zodanig aangeboden”, reageerde het bedrijf in een e-mail op vragen. “Gebruikers komen naar Replika om te praten over wat er in hun leven gebeurt, en het product is ontworpen om hen te ondersteunen bij het maken van doordachte keuzes en het zoeken naar verbeteringen die voor hen belangrijk zijn.”
Hoewel Replika in zijn verklaring niet verder inging, zei het bedrijf dat het “maatregelen” heeft genomen om de “geldige zorgen” aan te pakken die naar voren zijn gebracht in de rechtszaak van de Shapiro-regering tegen Character.AI.
Kindroid merkte in een antwoord per e-mail op dat de servicevoorwaarden duidelijk maken dat zijn producten bedoeld zijn voor “entertainment en creatieve verkenning, geen medisch advies bieden of de praktijk van de geneeskunde vormen, en geen vervanging zijn voor professionele zorg.”
“Wanneer een personage is ingesteld als arts en een gebruiker hem om een licentienummer vraagt, produceert het model plausibel klinkende uitvoer die past bij de rol – op dezelfde manier waarop het een fictief casuscitaat, een fictieve patiëntgeschiedenis of enig ander specifiek detail zou bedenken dat daaruit voortkomt”, aldus de verklaring. “Het model doet geen onderzoek naar het feitelijke register van de medische raad van Pennsylvania, en kan dat ook niet doen.”
Over de mogelijke juridische stappen van de regering-Shapiro of anderen weigerde Kindroid commentaar te geven.
De andere drie bedrijven hebben niet gereageerd op vragen over hun waarborgen voor gebruikers en ook niet of ze bang zijn dat de AI-taskforce van de regering Shapiro hen voor juridische stappen zal aanspreken.
Een woordvoerder van het ministerie van Buitenlandse Zaken weigerde commentaar te geven op mogelijke onderzoeken of rechtszaken, maar moedigde de inwoners van Pennsylvania aan om eventuele verontrustende acties van een AI-chatbot te melden bij de hotline van de staat.
“Miljoenen kinderen en tieners in dit land, waaronder velen hier in Pennsylvania, vertrouwen op deze chatbots voor informatie, en we moeten deze AI-technologie die op onze kinderen jaagt, in toom houden”, zegt Rosie Lapowsky, een woordvoerder van Shapiro. “Pennsylvania zal het voortouw blijven nemen bij het verantwoordelijk houden van slechte actoren en het opzetten van duidelijke vangrails zodat mensen op verantwoorde wijze nieuwe technologie kunnen gebruiken.”
In maart heeft de Senaat wetgeving aangenomen die AI-chatbots verplicht om hun gebruikers er regelmatig aan te herinneren dat ze geen interactie hebben met een persoon en mensen door te verwijzen naar een crisisdienstverlener als ze melding maken van zelfbeschadiging. Er gelden ook strengere beperkingen wanneer de chatbot met een minderjarige communiceert.
Het wetsvoorstel werd in maart doorverwezen naar een commissie van het staatshuis, waar er niet over werd gestemd.
