De computer heeft het dus nooit gedaan
Besluitvorming op basis van algoritmes levert uit het oogpunt van efficiency vaak grote voordelen op. Maar het heeft ook de neiging tot vergissingen of ongewenste uitkomsten te leiden, constateren Nicholas Diakopoulos en Sorelle Friedler in het artikel How to hold algorithms accountable in MIT Technology Review. Algoritmes kunnen structurele discriminatie verergeren, of individuen ten onrechte diensten weigeren.
© Pixabay CC0 Public Domain
Pixabay CC0 Public Domain
Als voorbeeld geven Diakopoulos en Friedler het systeem dat de Amerikaanse justitie gebruikt ter ondersteuning van justitiële beslissingen ten aanzien van verdachten. Dat algoritme berekent het risico van het vrij laten rondlopen van een verdachte in afwachting van een proces, de risico's voor de samenleving van een proeftijd, en dergelijke. Recent onderzoek heeft laten zien dat deze algoritmes door vooroordelen gekleurd zijn, waardoor zwarte verdachten een grotere kans lopen onterecht vastgezet te worden. Gezien de consequenties voor de betrokkene zou het betreffende op algoritmes berustende besluitvormingsproces verantwoordelijk moeten worden gehouden als de beslissingen ervan negatieve consequenties hebben.