Overslaan en naar de inhoud gaan

'Ontgiftigen' van taalmodellen versterkt bias juist

Onderzoek naar de resultaten van verschillende methoden om trainingsdata te ontdoen van vooroordelen, suggereert dat in datasets zoals de English Jigsaw Civil Comments onterechte verbindingen zitten tussen enerzijds de taalgewoonten van Afrikaans-Engelse bevolkingsgroepen, moslimgroepen en andere minderheden en anderzijds de labeling van 'giftige termen' (toxic labels).
neuraal netwerk
© Shutterstock
Shutterstock

Door op die trainingssets detoxificatie-methoden los te laten, ontstaat een voorkeur voor het Engels dat de witte gemeenschap gebruikt, concludeert Venturebeat. De modellen krijgen daardoor minder training op het taalgebruik van de minderheidsgroepen en kunnen daar dus ook minder goed mee overweg. Dat wordt dan gekarakteriseerd als incorrect of slecht taalgebruik.

De onderzoekers - werkzaam aan de UC Berkeley en de University of Washington - pakten GPT-2 als testmodel. Ze gebruikten de dataset van Jigsaw - een dochteronderneming van Alphabet die zich richt op het bestrijden van online pesten - als trainingsdata. In natuurlijke taalverwerking wordt als maat voor de kwaliteit van de output van een model op een bepaalde eigenschap gemeten in een perplexity-score. Hoe lager de score hoe beter het model presteert. De onderzoekers vonden dat door training met de opgeschoonde English Jigsaw Civil Comments dataset de perplexity-score voor "wit-gerelateerd Engels" opliep met een factor 2,1. Maar voor data waar veel gegevens van minderheden in zaten, liep de score op met een factor 4,3. Het opschonen van de trainingsdata zorgde dus voor een versterking van de bias.

Het toepassen deze technieken leidt er toe dat onderwerpen die spelen in minderheidsgemeenschappen eerder vermeden worden wanneer deze opgeschoonde taalmodellen worden gebruikt.

Detoxificeren is nu toch enige optie

De onderzoekers constateren nu in hun wetenschappelijk artikel (pdf) dat het nog niet goed mogelijk is accurate modellen te trainen op datasets waarin een bias voorkomt. Daarom moet er meer aandacht komen voor het opstellen van methoden om datasets van hun bias te ontdoen. Het wordt steeds duidelijker wat de consequenties zijn van de ingebakken vooroordelen in kunstmatige intelligentie. De toepassingsmogelijkheden nemen daardoor af.

Reacties

Om een reactie achter te laten is een account vereist.

Inloggen Word abonnee

Bevestig jouw e-mailadres

We hebben de bevestigingsmail naar %email% gestuurd.

Geen bevestigingsmail ontvangen? Controleer je spam folder. Niet in de spam, klik dan hier om een account aan te maken.

Er is iets mis gegaan

Helaas konden we op dit moment geen account voor je aanmaken. Probeer het later nog eens.

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in