Zorgen over algoritmes van reclassering die etnisch profileren

"Met het systeem lijken Reclassering Nederland en ook rechters zich lte laten eiden voorspellingen die geregeld niet accuraat zijn, niet beter presteren dan reeds bestaande voorspellingsmodellen en waarbij ongelijke behandeling op basis van ras, sociale klasse of andere sociale ongelijkheden op de loer ligt", aldus Van Dijck.

Stoppen met algoritme

Tegenover dagblad Trouw doet Van Dijck de oproep om voorlopig te stoppen met het algoritme dat werd ontwikkeld door de Universiteit van Oxford. Sinds een jaar wordt het ingezet door reclasseringsmedewerkers, om in te schatten hoe groot de kans op recidive is. Er wordt daarbij gekeken naar verschillende factoren zoals leeftijd, inkomen, opleiding maar ook postcode. Met name de gegevens over de buurt baren Van Dijck zorgen.

“Postcodes verhullen bepaalde informatie. Ze kunnen bijvoorbeeld iets zeggen over iemands etnische achtergrond, omdat er wijken zijn waar veel mensen met een bepaalde achtergrond wonen", zo vertelt hij in de krant. 

Open brief

Een grote groep wetenschappers, data scientists en sociologen vinden dat uitgevers gaven eerder deze week aan dat wetenschappers moeten stoppen met het publiceren van onderzoek dat pretendeert met behulp van kunstmatige intelligentie crimineel gedrag af te kunnen leiden uit een combinatie van gezichtskenmerken en statistieken over criminaliteit.

De  Coalition for Critical Technology stelde een open brief op naar aanleiding van aankondigingen dat een van de grote wetenschappelijke uitgevers - Springer - op het punt staat een onderzoeksartikel te publiceren getiteld “A Deep Neural Network Model to Predict Criminality Using Image Processing”