Kritische AI-studie leidt tot heftig conflict bij Google

Het onderzoek van Gebru en zeven co-auteurs - waarvan er vier bij Google werken - legt een aantal fundamentele gebreken bloot van de strategie die Google hanteert om computers natuurlijke taal te laten spreken en begrijpen, beschrijft MIT Technology Review. Die publicatie heeft inzage gehad in een concept van het omstreden onderzoeksrapport.

Voor verbetering van natuurlijke taalverwerking zijn taalmodellen nodig die worden getraind op steeds grotere hoeveelheden teksten. Die aanpak blijkt succesvol, want de natuurlijke taalverwerking kan onder sommige omstandigheden verbluffend goed werken.

Harde conclusies

Het door Google geblokkeerde onderzoeksverslag toont echter vier enorme problemen aan:

• De training op almaar grotere hoeveelheden data zorgt voor een explosie aan energieverbruik en daaraan gerelateerde gevolgen voor het milieu.

• De grote hoeveelheden trainingsdata maken het onmogelijk goed te controleren of daar racistisch, seksistisch en anderszins ongewenst taalgebruik in voorkomt. Nieuwe nuances in het taalgebruik worden niet opgepikt en daardoor verkeerd geïnterpreteerd. De onderzoekers wijzen op veranderingen die bijvoorbeeld de MeToo- en Black Live Matters-bewegingen hebben geprobeerd aan te brengen in het taalgebruik. Zulke recente veranderingen raken ondergesneeuwd wanneer er rechttoe-rechtaan getraind wordt op enorme hoeveelheden tekst die van het internet worden geschraapt. De manier van werken die Google nu hanteert voor het ontwikkelen van natuurlijke taalverwerking zorgt er bovendien voor dat de taal en normen van mensen in landen met minder toegang tot het internet worden genegeerd. Daardoor reflecteert straks alle AI-gegenereerde taal vooral de gebruiken in de rijkste landen en gemeenschappen.
• De onderzoeksgelden worden nu vooral gestoken in het perfectioneren van een systeem dat fundamenteel niet perfect kan zijn: de huidige taalmodellen begrijpen de taal niet maar zijn vooral handig in het manipuleren van taal. Google ziet daar kansen om goed geld mee te verdienen, in plaats van geld te steken in onderzoeken naar modellen die de taal werkelijk begrijpen en goede resultaten bereiken met veel kleinere, netjes opgeschoonde datasets die mogelijk ook veel minder energie gebruiken.
• Taalmodellen zijn zo goed in het nadoen van menselijk taalgebruik dat het erg eenvoudig is mensen er mee te misleiden. Het gevaar is dat ze daardoor worden ingezet om desinformatie te verspreiden. Ook liggen gevaren op de loer bij automatische vertalingen zoals bijvoorbeeld gebeurde in 2017 toen een Palestijnse man in het Arabisch 'goedemorgen' postte op Facebook en daarvoor werd gearresteerd. Facebooks automatische vertaling had het omgezet in 'Val ze aan'.

Uit een interne e-mail blijkt dat Jeff Dean - de hoogstverantwoordelijke voor AI-onderzoek bij Google - Gebru en haar collega's heeft laten weten dat het artikel niet geschikt was voor publicatie. Daarop liet Gebru hem weten haar ontslag in te dienen als Google niet aan een aantal voorwaarden wilde voldoen. De weigering het onderzoeksrapport te publiceren was namelijk het hoogtepunt in een serie andere onenigheden die al enige tijd speelde. En Google wilde daar niet op ingaan. Een verzoek om onderhandeling over haar ontslag, resulteerde onmiddellijk in het afsluiten van haar bedrijfs-e-mailaccount.

Veel steun voor Gebru

Gebru is een zeer gerespecteerd onderzoeker die als eerste met onderzoek blootlegde dat gezichtsherkenning veel minder nauwkeurig is in het identificeren van vrouwen en mensen met een gekleurde huid. De verwikkelingen hebben inmiddels geleid tot een een steunbetuiging aan Gebru die is ondertekend door 1400 Google-medewerkers en 1900 andere betrokkenen.

MIT Technology Review gaat diep in op de verwikkelingen tussen Gebru haar team en het conflict met Jeff Dean. Diens verweer komt er op neer dat hij vindt dat de onderzoekers recente literatuur - die een aantal oplossingen aandraagt voor de geschetste problemen - niet hebben meegenomen. Ook zou er te weinig tijd zijn geweest voor een check op gevoeligheden voordat de onderzoekers het artikel hadden willen indienen op een wetenschappelijke conferentie. Op de tegenwerpingen van Dean is vervolgens weer uit diverse hoeken forse kritiek gekomen.