Psychotherapieplatform in de fout met gebruik GPT-3 zonder melding vooraf

De inzet van kunstmatige intelligentie bij therapeutische sessies is niet nieuw. Grappig genoeg werd een van eerste chatbots, ELIZA, gedemonstreerd in een therapiesessie waarbij de bot steeds een simpele vraag stelde met gebruikmaking van een net gegeven antwoord om de 'patiënt' maar zo veel mogelijk te laten praten over het ervaren probleem: een bekende therapeutische aanpak.

Met een geavanceerd taalmodel als GPT-3 kan de interactie slimmer worden, moet Rob Morris - mede oprichter van het Koko-platform - hebben bedacht. Hij verkondigde afgelopen vrijdag vol trots op Twitter dat zijn bedrijf inmiddels 4000 mensen geholpen heeft met de inzet van het natuurlijke taalmodel.

Koko Cares stelt in de introductie na het inloggen op de server dat "Koko je verbindt met mensen die je echt begrijpen. Geen therapeuten, geen raadgevers, gewoon mensen net zoals jij." Het platform maakt gebruik van de chat-apps Discord en Telegram voor de communicatie.

Na het aanmelden op de Koko Care-server stelt een bot een reeks vragen over de gemoedstoestand van degene die hulp zoekt. "Wat is de zwartste gedachte die je hierbij hebt?", is een voorbeeld, legt Ars Technica uit. Vervolgens vat de bot de antwoorden samen in een korte tekst en zendt deze anoniem naar iemand anders op het platform die anoniem kan antwoorden met korte berichten.

Automatische antwoorden

Bij het experiment waar Morris over Twitterde, kregen de vrijwilligers, naar wie de korte tekst met de omschrijving van het probleem werd gestuurd, de mogelijkheid om automatisch gegenereerde antwoorden terug te sturen, in plaats van zelf te antwoorden. Die antwoorden werden gegenereerd met GPT-3, het taalmodel dat ook zit achter ChatGPT, de generatieve AI-chatbot die recent zoveel stof doet opwaaien.  

Op deze manier zijn zo'n 30.000 berichten beantwoord. Volgens Morris werden de door AI-gecreëerde antwoorden erg gewaardeerd, zelfs beter dan de antwoorden die door mensen waren gegeven. Ook werkte het sneller, de reactietijden werden teruggebracht met gemiddeld 50%. "En toch hebben we deze mogelijkheid snel van ons platform verwijderd", zegt Morris in zijn tweet. "Waarom? Op het moment dat de betrokkenen doorkregen dat de berichten automatisch gegenereerd waren, werkte het niet meer. Gesimuleerde empathie voelt vreemd, leeg."

Bakken kritiek

Morris werd vervolgens overladen met kritiek op het experiment dat de critici onethisch noemen. Vooral het feit dat gebruikers niet vooraf werden geïnformeerd over het experiment en niet expliciete toestemming hebben gegeven, wordt hoog opgenomen. In de VS is het verboden om te experimenteren met mensen zonder toestemming tenzij daarvoor bij de Institutional Review Board (IRB) een uitzondering is aangevraagd. Morris antwoordde op de kritiek dat hij geen toestemming nodig had omdat het nooit de bedoeling is geweest te publiceren over de resultaten.

'Schakel advocaat in'

Dat leverde hem een stevige reprimande op van een voormalig IRB-lid, dat Morris adviseerde snel zijn advocaten op te zoeken. Morris heeft aangegeven de situatie te bespreken met de eigen klinische adviesraad en richtlijnen op te stellen met betrekking tot toekomstige ontwikkelingen, met name ook met betrekking tot de aanvraag van IRB-toestemming.