‘Computers kunnen niet rechtspreken’

Jos Baeten en Tijn Borghuis (Automatisering Gids 30 maart) noemen een aantal spectaculair mislukte softwaresystemen, zoals het ‘Star Wars’-verdedigingssysteem en het Rotterdamse walradarsysteem, en manen op basis hiervan tot voorzichtigheid bij al te boude claims over wat computers in de toekomst allemaal kunnen. Zoals goede systeemontwikkelaars betaamt, doen ze aan verwachtingsmanagement bij de klant. Jaap van den Herik (Automatisering Gids 6 april) weet hier wel raad mee. We lezen in de krant inderdaad over spectaculaire softwaremislukkingen, maar, aldus Van den Herik, lezen we in dezelfde krant niet ook over spectaculair falende mensen? Hij vindt die mislukkingen geen argument: ‘Computers kunnen toch rechtspreken’. Nu is het inderdaad waar dat mislukkingen in het verleden behaald, geen garantie zijn voor mislukkingen in de toekomst. Maar mislukkingen stemmen wel tot voorzichtigheid. Laat ik Van den Herik daarom een tegenvraag stellen. Is spectaculair falen van mensen een reden om spectaculair falende software te maken? Een retorische vraag, inderdaad, maar blijkbaar toch nodig om de discussie weer op het rechte pad te krijgen. De vraag maakt duidelijk dat zowel mensen als machines spectaculair falen moeten proberen te vermijden. En het wijst op een belangrijk verschil tussen falende mensen en falende machines, namelijk dat mensen aangesproken kunnen worden op hun falen en machines niet. Als software spectaculair faalt, moeten we niet de software, maar de makers van de software daarop aanspreken. Hier kom ik nog op terug. Technofoben Een suggestief argument van Van den Herik is dat de computer de maatschappij is binnengedrongen en niet meer weg zal gaan. De computer, aldus Van den Herik, verovert zich een steeds belangrijker plaats in de maatschappij. Maar er is toch werkelijk niemand in deze discussie die dat ontkent. Door dit in zijn repliek aan Baeten en Borghuis met veel nadruk op te merken, suggereert Van den Herik dat Baeten en Borghuis tegen informatisering zijn. Deze suggestieve argumentatie wijst op een algemenere tendens in de discussie, namelijk dat zij gereduceerd wordt tot een discussie tussen technofoben en technofantasten. De technofoben willen terug naar de natuur, zijn voor kleinschalige landbouw, kunnen niet autorijden, dragen geitenwollen sokken en zijn tegen computers. De technofantasten daarentegen geloven dat de kolonisering van Mars de volgende grote stap voorwaarts in de expansie van de mensheid zal zijn. Zij geloven dat alle door de mens gemaakte voorwerpen intelligentie bevatten en met elkaar zullen communiceren om het de mens nog meer naar de zin te maken. Zij geloven dat we in de toekomst onze levensgeschiedenis in cyberspace kunnen downloaden en daar eeuwig verder zullen leven, en dat we door nanotechnologie stapsgewijs ons lichaam kunnen vervangen door robuuster materiaal. Eén ding is zeker: technofoben en technofantasten begrijpen elkaar niet. Als we de discussie over rechtsprekende computers een stap verder willen brengen, moeten we proberen niet als technofoob of -fantast te poseren noch de andere partij in een dergelijk daglicht te stellen. Bizarre denkstap Baeten en Borghuis menen dat een rechtsprekende computer dermate complex te programmeren is dat dat onze programmeercapaciteiten te boven gaat. De software zal eenvoudigweg incorrect zijn. Van den Herik is het hier mee eens. Een programma dat naturalisatieaanvragen tot Nederlander afhandelt zal volgens Van den Herik stapsgewijs verbeterd kunnen worden, totdat het ruwweg 95 procent van de gevallen correct afhandelt, maar voor ongeveer 5 procent van de gevallen zal het programma foute beslissingen nemen. Ik kan me goed voorstellen dat het programma zo verbeterd kan worden. Maar nu neemt Van den Herik een bizarre denkstap. Het is volgens hem niet erg als het programma minder dan 5 procent foute beslissingen neemt. Omdat het in zoveel gevallen goed gaat, zullen mensen geneigd zijn alle beslissingen als correct te accepteren, ook de foute. Dat is een redenering die elke programmeur zich toewenst: Het programma doet niet in alle gevallen wat de klant wenst, maar de klant is zo flexibel om zijn wensen aan te passen aan wat het programma doet. Als de implementatie niet aan de specificatie voldoet, passen we de specificatie wel aan de implementatie aan. En zo is het programma per definitie correct. Vergelijk dit met een ambtenaar die in 5 procent van de gevallen foute beslissingen neemt. Als iemand er achterkomt dat er een foute beslissing is genomen die in zijn nadeel uitvalt, zal die persoon beroep aantekenen. Overigens, hoe zal iemand er achter kunnen komen dat een programma voor naturalisatieaanvragen een foutieve beslissing neemt? Het programma van de concurrent gebruiken, dat er bekend om staat vaker (of minder vaak) een positieve beslissing te maken? Of is het misschien toch geloofwaardiger om een jurist te vragen die gespecialiseerd is in naturalisatieaanvragen? Vingeroefening Hiermee kom ik op een nog fundamentelere vraag, namelijk of wij in staat zijn een specificatie te schrijven van een rechtsprekend programma. De vraag of een programma correct geïmplementeerd is, heeft immers alleen maar zin als er een specificatie is ten opzichte waarvan het programma (in)correct kan zijn. Baeten en Borghuis stellen, mijns inziens terecht, dat in de rechtspraak vaak sprake is van contextgevoelige afwegingen van factoren waarbij er geen duidelijke maat is waarmee vastgesteld kan worden of alle factoren goed of slecht meegewogen zijn. Van den Herik negeert dit argument en herhaalt zijn stellingname dat we kunnen meten wie er beter rechtspreekt, computers of rechters. Dit is net zo gemakkelijk of moeilijk, zegt Van den Herik, als het beoordelen van de prestaties van studenten op een bepaald gebied. Dat lijkt mij nu een goede vingeroefening. Ik vind het zelf erg moeilijk de prestatie van een student in een getal uit te drukken. Studentenprestaties hebben zoveel dimensies en de natuurlijke getallen van 1 tot 10 kunnen slechts één dimensie weergeven. Ik stel voor dat Van den Herik een programma schrijft dat studentenprestaties op een willekeurig gebied als een natuurlijk getal in het interval 1...10 uitdrukt. De eerste gedachte is misschien om een programma te schrijven dat een multiple choice-toets verwerkt. Maar dat is niet wat ik vraag. Neem een gebied waarin studenten kennis moeten opdoen, zoals de vertaling van middeleeuwse Franse teksten naar modern Nederlands, wat dan weer door docenten beoordeeld moet worden met een getal in het interval 1...10, en schrijf een programma dat die beoordeling net zo goed doet als de docent. Ook hier dringt zich overigens de vraag op wie zal beoordelen of het programma het net zo goed doet als de docent. Ik stel voor dat die beoordeling wordt gedaan door een onafhankelijke commissie waar Van den Herik en ik niet in zitten. Aansprakelijk De simpele multiple choice-toetsverwerker is een illustratie van drie verschijnselen die nog niet eerder zijn genoemd in deze discussie, maar die ik onder de aandacht wil brengen. Het gaat tot nu toe om relatief simpele programma’s (1), ook een rechtsprekende computer maakt gebruik van menselijke interpretatie (2) en een geautomatiseerd proces zal door de mensen niet meer als een rechtsprekend proces worden waargenomen (3). Geheel in de geest van het technofantasme-syndroom, concentreert de discussie zich op spectaculaire toepassingen waarin computers moeilijke rechtszaken beslissen. De werkelijkheid van alledag is echter dat reeds vele beslissingen door software worden gemaakt, variërend van aankoop- en verkoopbeslissingen van aandelen tot beslissingen over bijstand, huursubsidie, studiebeurzen, woonbootvergunningen en verkeersboetes. In alle gevallen gaat het om beslissingen waarvan wij de beslisboom volledig kunnen specificeren en waarin de software toegang heeft tot alle gegevens die nodig zijn om de beslissing te kunnen maken. Voor de software engineer zijn dit interessante klussen, maar de programma’s behoren niet tot de moeilijkste en meest uitdagende die we kunnen schrijven. De uitdaging zit veel eerder in de juiste juridische inbedding van deze programma’s. Zijn de beslissingen rechtsgeldig? Welke rechtspersoon maakt ze? Zijn er beroepsprocedures? Wie is er aansprakelijk? De vraag of deze programma’s beslissingen kunnen maken is niet een technische maar juridische vraag. Het tweede verschijnsel waar ik op wil wijzen is dat al deze programma’s afhangen van menselijke interpretatie. Neem een programma om beslissingen over bijstandsuitkeringen te nemen. De gegevens die het programma gebruikt komen misschien uit allerlei gegevensbanken, maar om te beginnen zijn ze in computerleesbaar formaat gezet door een persoon, bijvoorbeeld een gemeenteambtenaar, die een andere persoon, namelijk iemand die om bijstand vraagt, ondervraagt. De ondervraagde persoon geeft antwoorden, de ondervrager luistert, interpreteert, buigt zich over een toetsenbord en typt gegevens in. Het programma biedt maximale rechtszekerheid met betrekking tot de ingetypte gegevens: dezelfde gegevens leiden tot dezelfde beslissingen. Maar juist vanwege deze voorspelbaarheid kan een ambtenaar de beslissingen van het programma bepalen. In zo’n geval denkt de ambtenaar ‘als ik X intyp, neemt het beslissing B, maar als ik Y intyp, neemt het programma beslissing C. Ik vind dat beslissing C genomen moet worden. Dus typ ik Y in.’ Zelfs als de ambtenaar niet manipulatief is ingesteld en zo eerlijk mogelijk gegegens wil verzamelen over de bij hem aanwezige persoon, dan zal die ambtenaar die concrete persoon, met alle moeilijk in te schatten en te wegen factoren die een concreet geval bevat, in een eindig aantal eenduidig gedefinieerde gegevensklasses moeten indelen. Mensen maken hierin ‘vergissingen’ (maar wat is ‘correct’?), die we kunnen opvangen met beroepsprocedures en second opinions. Ik denk dat deze interpretatieslag niet automatiseerbaar is. Want stel dat hij geautomatiseerd zou worden: Wie zou dan de input voor een dergelijk programma verschaffen? Spelletjes Terug naar de multiple choice-toets. Die illustreert een derde verschijnsel dat nog niet eerder is genoemd. Iedereen die zo’n toets heeft gedaan of afgenomen, weet dat je een heel eind komt door intelligent naar de ordening van de mogelijke antwoorden te kijken zonder iets van de getoetste kennis te weten. Formalisering van de toets tot multiple choice-toets opent een nieuw terrein van vaardigheden: Hoe manipuleer ik multiple choice-toetsen? Automatisering van de rechtspraak leidt ertoe dat mensen het geautomatiseerde deel van de rechtspraak zien als een spel waarin met symbolen wordt geknikkerd. Het doel is een zo gunstig mogelijke uitkomst te creëren. Mijn stelling is dat als beslissingen geautomatiseerd zijn, ze in de maatschappelijke waarneming het terrein van de rechtspraak zullen verlaten. Een volledig geautomatiseerd proces waarin snelheidsovertredingen door camera’s geregistreerd worden en via geautomatiseerde informatiesystemen tot een automatische afschrijving van een bankrekening leiden, zal in de publieke waarneming niet meer als een juridisch proces worden gezien. Het is een kostenpost die men kan doorberekenen aan de klant waar men naar onderweg is. Een vorm van snelheidsheffing, als variant op kilometerheffing. Met het automatiseren van een proces is elke referentie aan recht en onrecht en goed en kwaad uit het proces verdwenen. Een geautomatiseerd proces is een mechanisme dat een output berekent als er een input wordt aangeboden. Ik zie deze ‘ontjuridificering’ als een gevolg van een overigens noodzakelijke efficiëntieverbetering in bepaalde processen. Ongewenst bijeffect hiervan kan zijn dat mensen deals gaan sluiten, spelletjes spelen en optimale uitkomsten gaan berekenen van gemechaniseerde beslissingsprocessen. Maar dat betekent dat er naast deze mechanische processen een maatschappelijke behoefte bestaat aan een normatief kader waarin wij ons allemaal bewegen, en dat dit kader gecreëerd en onderhouden wordt door mensen, niet door machines. Alleen mensen kunnen ons aanspreken op onze verantwoordelijkheden. Dit brengt me terug bij een opmerking die ik aan het begin maakte. Als een softwaresysteem spectaculair faalt, moeten we niet het programma, maar de maker van het programma verantwoordelijk stellen. Stel dat ik ongelijk heb en dat we op termijn toch in staat zijn een programma te schrijven dat in staat is in moeilijke gevallen een beslissing te nemen. En stel dat zo’n programma een fout maakt. Wie is dan verantwoordelijk? Naar mijn mening de makers van het programma. Maar dat zou betekenen dat we iets op de stoel van de rechter hebben gezet, een computerprogramma, dat blijkbaar niet verantwoordelijk is voor de beslissingen die het neemt? Wat zouden wij denken van een rechter die bij elke fout zou zeggen ‘het spijt me, maar dit is de schuld van mijn ouders, die hebben mij verkeerd opgevoed’? Of nog fundamenteler: ‘Sorry, mijn makers hebben een ontwerpfout gemaakt’. Dat zijn mogelijkheden waar ik niet mee akkoord zou kunnen gaan. Dit brengt me bij mijn laatste argument. De overtuiging dat computers kunnen rechtspreken zal niet door argumenten aangetoond of weerlegd worden en ook niet door experimenten. Naar mijn mening zal elk geautomatiseerd proces in de rechtspraak alleen al door het feit dat het geautomatiseerd is, niet als onderdeel, maar hoogstens als ondersteuning van de rechtspraak worden gezien. Argumenten voor de mogelijkheid van volledige automatisering van de rechtspraak hebben de status van middeleeuwse godsbewijzen. Zij die het er mee eens zijn, geloofden al, en zij die het er niet mee eens zijn, geloofden toch al niet. Prof. dr. Roel Wieringa is als hoogleraar informatiesystemen verbonden aan de faculteit Informatica van de Universiteit Twente (roelw@cs.utwente.nl).