Overheden maken in helft gevallen geen risicoafweging bij inzet AI

De Algemene Rekenkamer deed een zogeheten focusonderzoek naar AI bij de Rijksoverheden. Bij 70 overheidsorganisaties werd geïnventariseerd welke AI-systemen zij gebruiken of hebben gebruikt. De meeste organisaties geven aan AI te gebruiken, al gaat het bij bijna alle organisaties om niet meer dan 3 systemen. Grote uitschieters zijn de politie en het UWV, die respectievelijk 23 en 10 AI-systemen gebruiken. De politie zet bijvoorbeeld AI in om te bepalen in welke wijk politie-inzet nodig is. Het UWV gebruikt onder meer een Maatwerkscan in om te voorspellen wie risico loopt om bij het einde van een werkloosheidsuitkering geen inkomsten te hebben.

433 systemen genoemd

In totaal gaven de organisaties 433 AI-systemen op, waarvan er ten tijde van het onderzoek 120 systemen (28%) daadwerkelijk in gebruik zijn. In de meeste andere gevallen gaat het om lopende experimenten, of om systemen waarmee men weer is gestopt.

“AI bij de overheid is geen toekomstmuziek meer”, constateert Ewout Irrgang, lid van het college van de Algemene Rekenkamer. “We hebben eerder onderzoek gedaan naar het gebruik van algoritmes. Drie jaar geleden was er nauwelijks nog sprake van gebruik van zelflerende algoritmes. Er gebeurt echt wel wat bij de overheid.”

Robothond voor celinspectie

De meeste opgegeven AI-systemen vallen onder de ministeries van Justitie en Veiligheid (JenV), Asiel en Migratie (AenM). Ze variëren van antivirussoftware tot fraudedetectiesystemen. Overheidsorganisaties zetten AI vooral in voor toepassingen waar burgers en bedrijven niet direct mee te maken hebben. Kennisverwerking, zoals het doorzoeken van interne documenten, is met 124 AI-systemen de meest voorkomende toepassing. Zo is er een systeem dat ambtenaren ondersteunt bij het beantwoorden van Kamervragen.

Voor 140 van de 433 AI-systemen geldt dat er wel directe impact is op burgers. Ze vallen vooral in de categorie Inspectie & Handhaving (82 systemen). Zo experimenteert de Dienst Justitiële Inrichtingen (DJI) met een robothond die celinspecties uitvoert.

Meer GenAI

Generatieve AI wordt bijvoorbeeld ingezet voor het maken van geautomatiseerde notulen bij Algemene Zaken. “Met 48 lopende experimenten en 8 systemen in gebruik valt te verwachten dat generatieve AI in de nabije toekomst een grotere plek zal krijgen in de bedrijfsvoering van de rijksoverheid”, schrijven de onderzoekers.

Raar maar waar: van een derde van de gebruikte AI-systemen is niet bekend of het systeem de verwachtingen waarmaakt. “Het komt vaker voor bij de overheid dat ze iets doen waarvan de resultaten onbekend zijn”, relativeert Irrgang. “Wat we ook terug hoorden: “we zijn er heel positief over, maar de resultaten zijn onbekend.”

IT en data niet op orde

Overheidsorganisaties oordelen ook vaak positief over beëindigde experimenten. Ze hadden er best meer door willen gaan, maar liepen aan tegen obstakels, zoals onduidelijkheid over wet- en regelgeving of een tekort aan mensen en middelen. Ook veel gehoord: de IT-infrastructuur en de data zijn niet van voldoende niveau. “Daar komen ze achter als ze AI-systemen willen toepassen.”

Een belangrijke aanleiding voor het rapport is de AI-verordening (de Europese AI Act), die verplichtingen oplegt voor AI-systemen in Europa. Volgens de AI-verordening moeten in 2026 alle gebruikte AI-systemen met een hoog risico geregistreerd zijn. Bovendien moeten eind 2025 in Nederland alle impactvolle AI-systemen gepubliceerd worden in het algoritmeregister. Maar de resultaten van het onderzoek geven weinig aanleiding om te verwachten dat overheden hierop voorsorteren. Slechts 5 procent van de genoemde systemen staat in het nationale algoritmeregister. “Niet alles wat er in zou moeten, zit erin, is onze indruk,” zegt Irrgang.

Ook schrikbarend met het oog op de AI-verordening: Voor een derde van de 30 AI-systemen die volgens de overheidsorganisaties zelf een hoog risico hebben, is geen risicoafweging gemaakt. Van 49% van de AI-systemen die op dit moment in gebruik zijn, is het risico niet afgewogen of is niet bekend of het is afgewogen. Hetzelfde geldt voor meer dan de helft van álle opgegeven AI-systemen. Irrgang: “Als je het risico niet inschat, kun je nooit volhouden dat er géén risico’s zijn.” Een risicoafweging kan overigens van alles zijn, van een DPIA tot een IAMA. Een rijksbreed instrument voor risicoafweging ontbreekt vooralsnog.

'De tijd begint te dringen'

“Het is duidelijk dat daar nog wat te doen is”, zegt Irrgang. “De tijd begint te dringen.” De verboden treden per 2 februari 2025 in werking en de eisen die worden gesteld aan hoogrisicosystemen vanaf augustus 2026. Het rapport wijst erop dat er een prikkel bestaat om AI-systemen niet als hoog risico in te schalen, omdat ze dan niet aan de strenge eisen van de AI-verordening hoeven te voldoen.

De Algemene Rekenkamer heeft niet gecontroleerd of het ingeschatte risico van de opgegeven AI-systemen klopt, of welke afweging er is gemaakt. “Wij kunnen niet uitsluiten dat er nog verboden systemen tussen zitten. En ook voor een AI-systeem met minimaal risico gelden vereisten. ‘Minimaal’ wil niet zeggen dat er geen risico is.”

In een reactie laat staatssecretaris Zsolt Szabó van digitalisering weten dat de Rijksoverheid zo snel mogelijk meer duidelijkheid wil creëren over de definities en classificaties uit de AI-verordening, zodat organisaties daar niet meer mee hoeven te worstelen. Irrgang is blij dat de staatssecretaris erkent dat hiermee wordt geworsteld. “Het is wel belang dat de definities en classificaties ook rijksbreed worden overgenomen. We zien nog weleens gebeuren dat elk ministerie er een andere interpretatie aan geeft.”

Vervolgonderzoek: UWV en Toeslagen

In een aankomend verantwoordingsonderzoek zullen twee AI-systemen van de Rijksoverheid door de Algemene Rekenkamer worden gecontroleerd. Het gaat om de Risicoscan Verwijtbare Werkloosheid van het UWV en om een model dat bij Toeslagen wordt gebruiken om het risico op hoge schulden te onderzoeken. Van een ondoordringbare ‘black box’ hebben de onderzoekers tot nu toe geen last, geven ze desgevraagd aan, ook niet als de software bij een leverancier in de cloud staat. Het verantwoordingsonderzoek verschijnt in mei.

Dit artikel is eerder verschenen op iBestuur en Binnenlands Bestuur, zustertitels van AG Connect.