'Ontwikkeling AI gaat door een hoop groeipijnen'

Onderzoekers bij Microsoft hebben na deze constatering (pdf) een interactief draaiboek ontwikkeld dat ontwikkelaars moet helpen al in de ontwerpfase na te denken over waar het systeem uit de bocht zou kunnen vliegen. Het interactief draaiboek wordt nu getest binnen Microsoft met het doel dit een standaard gereedschap te maken voor productteams. Matthew Hong, een van de onderzoekers die de basis legde voor dit interactief draaiboek, zegt bij Wired: "Ons veld gaat door een heleboel groeipijnen bij pogingen AI te integreren in verschillende producten. Mensen vinden het lastig om bij te blijven met de dingen die fout gaan met AI en daarop te anticiperen en te plannen."

De aanpak bij Microsoft is een van de vele initiatieven wereldwijd om het probleem van ontsporende kunstmatige intelligentie bij taalverwerking aan te pakken. Zo stelt Alison Gopnik, hoogleraar psychologie van UC Berkeley, dat het probleem met zelflerende systemen is dat ze zelf leren en daarmee tijdens de leerfase geen terugkoppeling meer hebben van de werkelijke wereld. Gopnik werkt zelf veel aan het leerproces dat kleuters doormaken waarbij de interactie met de wereld om hen heen uiterst belangrijk is.

In die lijn werkt ook Yejin Choi - universitair docent aan University of Washington en onderzoeker aan het begrip 'gezond verstand' bij het Allen Institute for AI. Ziij ontwikkelde een klein taalmodel dat werd getraind op een gesimuleerde omgeving met fysieke ervaringen die kinderen leren tijdens het opgroeien. Denk bijvoorbeeld aan dat het niet handig is een hete kachel aan te raken. Het model bleek veel beter te kunnen redeneren rond vraagstukken die mensen normaal makkelijk met wat gezond verstand oplossen, dan veel grotere 'klassiek' getrainde taalmodellen.

Een conclusie die uit meerdere onderzoeken naar voren komt, zo blijkt uit het Wired-artikel is dat grotere AI-taalmodellen eerder de neiging hebben tot stereotypering dan kleinere. Een echte verklaring waarom dat gebeurt is er nog niet. Doorgaans gaan onderzoekers ervan uit dat systemen die getraind zijn op heel grote datasets juist beter in staat zijn nuances aan te brengen.

'Vloek er maar op los'

Een van de pogingen om een oplossing te vinden voor het probleem is het onderzoek van Emily Dinan, een medewerker van Facebook AI Research. Zij heeft Amazons Mechanical Turk ingeschakeld om in conversaties met taalmodellen de meest vreselijke dingen te zeggen, dus vloeken, haatdragende taal, godslastering en beledigingen. Al die woorden werden dan gelabeld als 'niet veilig' en daarmee worden dan vervolgens de taalmodellen weer getraind om 'giftig taalgebruik' te herkennen.

Een definitief antwoord hoe deze problematiek aan te pakken, is er nog niet. De pogingen geven wel aan dat het probleem steeds serieuzer wordt genomen, zeker nu Google heeft aangegeven dat AI-taaltechnologie een centrale rol heeft in de ontwikkeling van zoekmachines en Microsoft een bekend groot taalmodel als GPT-3, inzet bij automatisch programmeren.