Bias gezichtsherkenning neemt toe in plaats van af

De verklaring is wellicht heel simpel. Gezichtsherkenning is nog altijd heel lastig en foutgevoelig. Daarbovenop zijn in het verleden trainingsdata gebruikt die niet voldoende breed van samenstelling waren voor een universeel gezichtsherkenningssysteem. Een aantal grote bedrijven heeft dat ingezien nadat diverse marktonderzoeken gewezen hadden op de in de systemen ingebakken vooroordelen. Onder meer Amazon, IBM en Microsoft hebben hun systemen van de markt gehaald of de toepassing ervan door bijvoorbeeld politie of andere overheidsdiensten geblokkeerd.

Dat was echter voor andere - wellicht minder geavanceerde - leveranciers een gat in de markt omdat de genoemde diensten vaak wel de technologie wilden gebruiken, ondanks tekortkomingen. Het Amerikaanse National Institute for Science and Technology (NIST) voert elke paar maanden een benchmark uit op de beschikbare systemen. In de benchmark wordt gekeken hoe vaak een systeem de fout in gaat, bijvoorbeeld door een witte vrouw te labelen als zwarte vrouw of vice versa of een zwarte man te herkennen als een andere zwarte man. Zo zijn er 8 criteria waar naar wordt gekeken.

VentureBeat heeft de resultaten van een aantal leveranciers naast elkaar gelegd. Het blijkt dat de systemen op heel verschillende aspecten de fout in gaan. De systemen hebben allemaal het meeste moeite met het herkennen van vrouwen met een donkere huidskleur. Het voorkomen van die fout lijkt wel af te nemen in de loop der tijd, maar niet bij TrueFace, een leverancier van identificatiesystemen op onder meer een basis van de Amerikaanse luchtmacht.

Het systeem van RealNetworks - onder meer ingezet door het Amerikaanse leger in drones en bodycams - presteert in de loop der tijd beter op dat vlak maar laat juist een verslechtering zien bij het correct herkennen van mannen met een donkere huidskleur. Zo heeft Venturebeat op basis van de NIST data een hele reeks toepassingen gevonden waarbij de correctheid van de herkenning eerder af- dan toenam.