Rechter schrikt van niet-bestaande ChatGPT-gegenereerde zaken rond onder meer KLM

Het is een pijnlijk voorbeeld van hoe gebruikmaken van generatieve AI volledig uit de hand kan lopen, beschreven door Ars Technica. Dat dergelijke hallucinaties aangevoerd worden in een rechtszaak, was voor de New Yorkse federaal rechter Kevin Castel "een omstandigheid die zich niet eerder heeft voorgedaan". Op 8 juni moet de betreffende advocaat Steven Schwartz zich voor de rechtbank verantwoorden en kan hij straffen tegemoet zien als hij geen goede ontlastende verklaring heeft voor zijn gedrag.

Schwartz is inmiddels diep door het stof gegaan en zegt het "diep te betreuren dat hij generatieve kunstmatige intelligentie heeft gebruikt om juridisch onderzoek aan te vullen". Hij belooft in een verklaring (pdf) het in de toekomst nooit meer te doen zonder absolute verificatie van de authenticiteit. Zorgwekkend is dat hij in die verklaring ook zegt dat "het gebruik van generatieve kunstmatige intelligentie is gegroeid binnen advocatenkantoren". Het in de betreffende rechtszaak aangedragen materiaal was aangeleverd door ChatGPT dat ook de bronnen erbij had geleverd, net als een verzekering van de betrouwbaarheid ervan.

Naïef gebruik genAI

Schwarz geeft toe dat hij zich heeft gebaseerd op een bron waarvan bekend werd dat deze onbetrouwbaar was en ziet zichzelf als schuldig aan het niet verifiëren van de bronnen waar ChatGPT mee kwam. Hij zegt ook zich niet te hebben gerealiseerd dat kunstmatige intelligentie als ChatGPT foutieve informatie zou kunnen geven, hoewel toch veel in het nieuws is geweest dat tekstgeneratoren zoals ChatGPT behoorlijk de fout in kunnen gaan. Het was volgens Schwartz de eerste keer dat hij de tool gebruikte.

Een van de zaken die ChatGPT had verzonnen als jurisprudentie betrof een uitspraak in een niet-bestaand geschil: Durden v. KLM Royal Dutch Airlines (pdf). In die fictieve zak was ene Vernon Dale Durden overleden op de luchthaven Hartsfield-Jackson in Atlanta nadat hij was geraakt door een losgeschoten dissel van een bagagekarretje. Luchtvaartmaatschappij KLM was daar mede voor aansprakelijk gesteld, in de door ChatGPT 'verzonnen' rechtszaak.