Blijvende bias

Maar achteraf is wel na te gaan hoe dat zo is gekomen en wat er tegen te doen valt.

Dat is veel lastiger bij de toepassing van neurale netwerken. Er is vrijwel geen controle op de manier waarop een algoritme via een neuraal netwerk wordt gecreëerd. Je traint het netwerk met gelabelde testdata en uiteindelijk ontstaat iets wat meestal doet wat je wilt.

Want inmiddels is duidelijk dat deze 'training in het duister' onbedoelde neveneffecten heeft, die ook nog eens niet te corrigeren blijken. Voor beeldherkenning van producten in een logistiek proces zijn die neveneffecten vervelend, maar daar is wel om heen te werken. Echter, bij een belangrijke hoeveelheid toepassingen van kunstmatige intelligentie ontstaan heel precaire situaties.

Opeens zijn volstrekt brave burgers verdacht omdat ze toevallig in een buurt wonen waar veel fraude, geweld of andere misdrijven worden gepleegd. Mannen met een donkere huidskleur komen opeens bij het automatisch rubriceren van foto's in de categorie bavianen terecht. En systemen voor natuurlijke taalverwerking blijken gemakkelijk racistisch getinte teksten te produceren.

Niet alleen trainingsdata

Lange tijd werd gedacht dat deze problemen ontstaan als het neurale netwerk getraind wordt op data waarin de vooroordelen voorkomen. Controle op die trainingsdata wordt almaar lastiger omdat steeds grotere datasets worden ingezet voor de training zodat de prestaties van een netwerk omhoog gaan.

Nu blijkt dat het geautomatiseerd opschonen van grote sets trainingsdata ook nog eens een averechts effect heeft. De tools versterken juist de vooroordelen. Een echte oplossing voor deze problemen is er nog niet. Zoeken naar betere schoningsmechanismen, noemen experts als optie want handmatig is dat opschonen niet meer te doen. Maar hoe realistisch is die optie? Er wordt al zo lang gezocht naar methoden om automatisch op te schonen en ze blijken vaak niet goed werken.

Daarnaast hebben onderzoekers gevonden dat niet alleen de datasets de oorzaak zijn van de ingebakken vooroordelen in de modellen. Ook de mens speelt een belangrijke rol. Onderzoek toont aan dat degene die een keuze maakt voor een bepaald model om een zekere taak uit te voeren, vooral oog heeft voor de gewenste prestaties van het model. De kanttekeningen die gemaakt worden bij de representativiteit van de trainingsdata of het voorkomen van vals positieven en vals negatieven worden makkelijk genegeerd.

Bias is een blijvertje

Duidelijk is wel dat het probleem van bias voorlopig niet goed uit de systemen te weren is. En dat terwijl ooit de hoop was dat juist geautomatiseerde systemen eerlijkere beslissingen konden maken omdat ze niet zoals mensen, een oordeel vormen. Dit probleem sluit een hele categorie toepassingen van AI uit voor situaties waarin gevoelige besluiten worden genomen.

Het nieuwe wetsvoorstel van de Europese Commissie - dat heel duidelijke grenzen gaat stellen aan AI-toepassingen - komt dan ook zeker niet te laat. Het gevaar is echter dat de misstanden nog jaren blijven voortbestaan door de verwachte duur van het goedkeuringsproces van de wet. En de vraag is of een nieuw kabinet tot inzicht komt dat toezichthouders - zoals bijvoorbeeld de Autoriteit Persoonsgegevens (AP) - een essentiële rol spelen in de effectiviteit van zo'n Europese wet. Daar horen budget en personeel bij, iets waar de AP al veel langer op aandringt. Demissionair minister Sander Dekker van Rechtsbescherming liet die verzoeken echter voorzien van een aanwijzing tot 'meer focus op risico-gestuurde inzet' met een plofje in de bureaula belanden.

Misschien moeten de meer klassieke evolutionaire algoritmen weer een belangrijkere rol krijgen in kunstmatige intelligentie.