AI faalt op juridische basiskennis
Bij het beantwoorden van juridische basisvragen slaan de betaalde versies ChatGPT 4o en Claude 3.5 Sonnet verrassend vaak de plank mis. Maar ze blijken verrassend genoeg wel goed in het maken van complexe juridische analyses. Dit blijkt uit onderzoek van juridisch adviesbureau ICTRecht, waarbij vier AI-systemen werden getest op 75 juridische vraagstukken.
Shutterstock.com
ICTRecht onderzocht vier bekende AI-systemen in zowel de gratis als de betaalde versies: ChatGPT, Claude, Copilot en Gemini. De 75 juridische vragen hadden drie moeilijkheidsniveaus en waren verdeeld over vijf rechtsgebieden: arbeidsrecht, contractenrecht, intellectueel eigendom, ondernemingsrecht en privacy/gegevensbescherming. De AI-systemen hebben volgens de onderzoekers de neiging om af en toe niet-bestaande jurisprudentie en wetsartikelen te citeren, naast vaak wél correcte rechtsbronnen. Ook zien ze redeneringen die uitgaan van niet-bestaande rechtsbeginselen. Vanwege de grote overtuigingskracht waarmee antwoorden worden geponeerd, wekt dit al snel onterecht vertrouwen, zo staat in het rapport.
AI waardevol als ondersteuning
Volgens Arnoud Engelfriet, Chief Knowledge Officer bij ICTRecht, maken de onderzochte systemen bij basisvragen opvallend veel subtiele fouten. Daarentegen blinken ze uit in het structureren en verkennen van complexe juridische materie, zoals due diligence-checklists en contractanalyses. Dat maakt AI waardevol als ondersteuning, zegt hij, maar niet als vervanger. "
