Voorstel Europese AI-wetgeving: oplossing of probleem?

Het voorstel voor deze nieuwe Europese wet roept veel vragen op. De eerste is: het uitgangspunt van IT-gerelateerde wetgeving is gewoonlijk dat deze zoveel mogelijk techniekonafhankelijk is, maar de tekst van het voorstel wemelt van de technische termen waar geen eenduidige definitie van bestaat, zoals ‘deep learning’, ‘machine learning’ en ‘expert systems’. Als wetenschappers het er al niet over eens zijn wanneer iets wel of niet onder deep learning kan worden geschaard, hoe moeten rechters en andere juristen dat straks dan beoordelen?

Fusieproduct

Ten tweede is het wetsvoorstel een mix van mensenrechten, consumentenrecht, marktordening en productwetgeving. Moeten we al deze verschillende onderwerpen wel willen combineren in één Europese wet, of kunnen we beter aansluiten bij al bestaande wetgeving op de verschillende deelterreinen? De bestaande wetgeving beschermt over het algemeen al uitstekend tegen misbruik van AI. Veel risico’s die in de privacysfeer liggen, worden afgedicht door de AVG. De Medical Device Regulation stelt eisen aan software die wordt gebruikt in medische toepassingen. En ga zo maar door. Het was wellicht beter geweest om AI-risico’s in bestaande sectorspecifieke wet- en regelgeving te behandelen.

Lawyers’ paradise

Een derde uitdaging wordt de handhaving van de voorgenomen wet. We zien bij de AVG in Nederland dat er niet genoeg mankracht is om de naleving te controleren. Zo is de gemeente Enschede naar aanleiding van een klacht van één enkele burger beboet omdat ze wifi-tracking doet in het winkelgebied, terwijl tientallen andere gemeenten die precies dezelfde technologie inzetten vrijuit gaan, simpelweg omdat er over die gemeenten niet is geklaagd. De AVG heeft geleid tot een ‘lawyers’ paradise’ waarbij de Europese wet één van de grootste naoorlogse werkverschaffingsprojecten is geworden. De vraag is hoe de nieuwe handhavingsinstantie die voor de voorgenomen AI-verordening in het leven moet worden geroepen dit gaat oppakken.

Hoe beoordeel je high risk?

En tot slot vormt ook het begrip ‘high risk’ een uitdaging. Wanneer is iets een hoog risico? Is er een manier om een uniforme risicobeoordeling van AI te doen? Natuurlijk, sommige risico’s van AI kun je behoorlijk goed toetsen, denk aan het risico op discriminatie (bias). Bij andere is dat een stuk lastiger, zoals de juistheid van data waarvan bij AI-software gebruik wordt gemaakt. Hier geldt het bekende principe: ‘garbage in, garbage out.’ Dus onnauwkeurige, onvolledige of onjuist gelabelde data zijn vaak de oorzaak van het mislukken van AI-projecten. 

Bereid je voor in drie stappen

Het mag duidelijk zijn dat er stevige vraagtekens bij het voorstel voor de AI-verordening geplaatst kunnen worden. Desondanks raden we bedrijven wel aan om zich nu alvast voor te bereiden:

• Je kunt nu al een risicobeoordeling doen van de AI-algoritmen die je momenteel inzet of wilt gaan inzetten. Allereerst: welke algoritmen vallen straks naar verwachting in de categorie ‘high risk’ op basis van de Annex van de AI-Verordening. Vervolgens kun je gebruikmaken van verschillende reeds bestaande initiatieven/guidelines om de risico-impact te bepalen. Denk hierbij aan een DPIA, Artificial Intelligence Impact Assessment van het ECP. Tenslotte kun je overwegen de in gebruik zijnde algoritmen te documenteren en publiek beschikbaar te maken.
• De verantwoordingsplicht en onafhankelijkheid vereist dat je straks voldoende mensen hebt die de algoritmen beoordelen. Soms is het genoeg om de beoordeling te laten doen door een andere data scientist dan degene die het algoritme heeft ontwikkeld, maar vaker moet je ook andere specialismen erbij betrekken zoals juristen en ethici. Je kunt alvast onderzoeken of je die mensen in huis hebt, nog moet aannemen of die kennis straks extern inhuurt.
• Zelflerende AI-systemen moeten continu worden beoordeeld, want ze ontwikkelen zich naarmate ze meer data verwerken. Je doet er daarom verstandig aan een structuur en proces op te zetten waarbij je je AI-modellen continu monitort. Ons advies is: richt ModelOps in, want ook zonder AI-verordening heb je hier veel profijt van.

Laat innovatie niet remmen

Wij zijn bang dat de EU met deze wet het kind met het badwater weggooit. Want ja, er bestaan vormen van AI die risico’s met zich meebrengen en het is volkomen terecht dat er wetgeving komt die tegen die risico’s beschermt. Er bestaan echter ook hele mooie toepassingen van AI met een grote maatschappelijk toegevoegde waarde. De belangrijkste innovaties in de medische wereld komen de laatste jaren vooral vanuit de toepassing van AI. Door de onduidelijkheden in het voorstel voor de AI-verordening lopen we een groot risico dat ook deze ‘Tech for Good’-innovatie wordt geremd, simpelweg doordat de angst erin sluipt. AI is inmiddels breed in de Europese samenleving geïntegreerd en geassimileerd en het zou de Europese wetgever sieren daar meer oog voor te tonen.