Mondkapje onthult sexe-bias in belangrijke API's voor beeldherkenning

Die conclusies trekt het Amerikaanse marketing- en communicatiebureau Wunderman Thompson op basis van onderzoek van de eigen datascience-afdeling. Bij mannen met een mondkapje geven de algoritmen vaker aan dat de persoon een baard heeft of 'gezichtshaar'. Bij vrouwen krijgt hetzelfde kapje de omschrijving 'duct tape' of mode-accessoire'.

De onderzoekers kwamen de bias bij toeval op het spoor, meldt Venturebeat. Ze waren bezig met het ontwerpen en bouwen van een applicatie die duizenden camera's in straatlocaties te koppelen om zo een inschatting te kunnen maken van hoeveel voetgangers op een zeker moment een gezichtsmasker draagt. In een eerste test met de Google API kreeg Ilinca Barsan - directeur of data science bij Wunderman Thompson - bij foto's van haarzelf met mondkapje consequent 'duct tape' als omschrijving van het mondmasker terug met een zeer hoge accuratesse, welk type masker ze ook opzette.

Daarna is ze tests gaan uitvoeren met vrienden die in verschillende omstandigheden een gezichtsmasker droegen. In totaal heeft ze afbeeldingen van 265 vrouwen en 265 mannen gebruikt. De Cloud Vision API van Google wist in 36 procent van de afbeeldingen met mannen dat het ging om een persoonlijk beschermingshulpmiddel. In 27 procent vond het algoritme dat het ging om een baard en in 15 procent duct tape.

Duct tape of gezichtsbeharing

In het geval van de vrouwen dacht het algoritme in 28 procent van de afbeeldingen dat het ging om duct tape en in 19 procent om een persoonlijk bescherming. In 8 procent ontdekte het algoritme gezichtshaar in plaats van het mondkapje.

Soortgelijke missers kwamen naar boven bij het gebruik van de API's van IBM en Microsoft. Google reageerde gelijk naar Wunderman op de bevindingen en wil de gebruikte methodiek graag nader analyseren. Het bedrijf zegt altijd te willen leren van missers om het algoritme te verbeteren. IBM gaf ook aan te willen onderzoeken hoe de resultaten tot stand zijn gekomen, maar weet de scores in eerste instantie aan de testopzet van Barsan.