Nieuwe aanpak van bias in algoritmen faalt jammerlijk

In de wetenschappelijke literatuur zijn verschillende voorbeelden verschenen die hoop geven met deze aanpak vooroordelen (bias) in de besluitvorming te kunnen bestrijden. Onderzoekers van de Amerikaanse Harvard University en van Microsoft leggen echter tekortkomingen bloot.

Algoritmen rukken steeds verder op in allerlei besluitvormingsprocessen. De verwachting dat op die manier de beslissingen eerlijker zouden zijn omdat er geen invloed is van de voorkeuren die mensen onmiskenbaar hebben, blijkt echter keer op keer niet uit te komen.

Recourse algorithms zijn bedacht om meer transparantie te krijgen in het proces waarmee algoritmen tot hun besluit komen. Tot nog toe zijn algoritmen op basis van machinelearning-technologie doorgaans een black box, getraind op een grote hoeveelheid eerdere beslissingen. In die historische data zitten de vooroordelen besloten van de mensen die ze destijds de beslissingen namen.

Recourse algorithms (pdf) bieden - zoals de Engelse term suggereert - de mogelijkheid om 'verhaal te halen', wanneer een besluit geen recht doet aan degene over wie de beslissing wordt genomen. Door dit proces te automatiseren kunnen in principe de ongewenste effecten uit de algoritmen worden uitgebannen. Een goede ontwikkeling, lijkt het, maar recent wetenschappelijk onderzoek (pdf) voert bewijs aan dat deze aanpak niet zorgt voor een consistente verbetering van de algoritmes. Volgens de onderzoekers gaat het systeem mank doordat de organisaties die deze algoritmen gebruiken, steeds hun modellen moeten actualiseren en trainingsdata aanpassen, en dat zorgt ervoor dat de recourse-technologie mank gaat.

Resultaat inconsistent

De onderzoekers bestudeerden verschillende modellen, onder meer van een Duitse kredietverschaffer. Het algoritme bepaalt wat de kredietwaardigheid was van mensen die een lening aanvroegen. Van de 1000 mensen die in eerste instantie werden afgewezen, konden door het toepassen van de recourse-technologie er 900 opnieuw een aanvraag indienen die vervolgens wel werd geaccepteerd. Werd het algoritme vervolgens opnieuw getraind op dataset met slecht minimale veranderingen, kregen na het toepassen van de recourse-technologie slechts 220 de kans een nieuwe aanvraag in te dienen. Vergelijkbare effecten traden op in andere proeven, onder meer met een systeem dat de uitslagen van leerlingen op een toets voorspelde.

De onderzoekers concluderen uit een analyses van de gevonden resultaten dat de verschillen in de uitkomsten vooral geïntroduceerd worden door het toepassen van de recourse-technologie en niet het gevolg waren van problemen in het oorspronkelijk model. Toepassen van de huidige recourse-technologie is op basis van dit onderzoek niet wenselijk en leidt tot wantrouwen bij degenen die verantwoordelijk zijn voor de beslissingen. De onderzoekers zien het wel als een uitdaging nieuwe 'recourse finding'-technieken te ontwikkelen die geen last hebben van de gevonden tekortkomingen.