AI-chatbot van Google haalt voldoende in zwaar examen geneeskunde

De Google-chatbot kwam namelijk met de hakken over de sloot. Met de behaalde score van 67,6% zou het weliswaar net zijn geslaagd, maar het overgrote deel van de studenten haalt een beter cijfer.

De Google-onderzoekers die Med-PaLM het arts-examen lieten doen hebben hun resultaten deze maand gepubliceerd in het gerenommeerde wetenschappelijk tijdschrift Nature. Med-PaLM werd al in december (pdf) geïntroduceerd en er wordt nog steeds aan gesleuteld. Een verbeterde versie van het programma Med-PaLM 2 zou inmiddels een score van 86,5% hebben gehaald, volgens Google, maar dat resultaat is niet onafhankelijk geverifieerd.

Arts ondersteunen

Het doel van deze AI-ontwikkeling is artsen te ondersteunen bij hun werk, niet om ze te vervangen. Maar de eerste stap daarbij is te zorgen dat de chatbot op basis van het large language model (LLM) PaLM betrouwbare antwoorden geeft. De ontwikkeling van Med-PaLM is een stap in dat proces met het behalen van het examen als een mijlpaal. Voor het USMLE-examen moet een student uit tekst en beeld een goede diagnose stellen en in de antwoorden de juiste behandeling of vervolgstappen in het medisch onderzoek kiezen.

Ethische implicaties

Google wijst erop dat de ontwikkeling van deze medisch gespecialiseerde AI-bot ook inhoudt dat er zorgvuldig gekeken wordt naar de ethische implicaties van de inzet van zulke medische toepassingen van kunstmatige intelligentie. Daarbij moeten ook 'vangrails' worden ingebouwd om risico's te beperken. Het gebruik van een LLM voor diagnose en behandeling levert potentieel veel grotere schade op dan het inzetten van een LLM voor het geven van informatie over een aandoening of medicijnen, zegt Google. Het zoeken naar het ontstaan van biases en andere kwetsbaarheden in deze LLM-toepassingen is daarom een belangrijk onderdeel van verder onderzoek. Med-PaLM 2 komt binnenkort beschikbaar voor een geselecteerde groep Google Cloud klanten.