ChatGPT-detector niet accuraat genoeg, OpenAI stopt met ontwikkeling

Al vrij snel na de introductie van ChatGPT in november vorig jaar ontstonden zorgen rondom het genereren van teksten. Studenten kunnen de tool bijvoorbeeld ook inzetten om volledige essays te schrijven, waardoor ze opdrachten niet meer zelf hoeven uit te voeren. Nadat StackOverflow en een grote scholengemeenschap in de VS besloten om ChatGPT in de ban te doen, maakte OpenAI bekend aan een detectiemogelijkheid te werken voor ChatGPT.

De organisatie heeft nu echter stilletjes laten weten die ontwikkeling stop te zetten. "De AI classifier is per 20 juli 2023 niet langer beschikbaar, omdat deze te onnauwkeurig is", aldus het bedrijf in een update boven de originele aankondiging uit januari.

Overigens waarschuwde het bedrijf ook in januari al dat de tool nog niet heel accuraat was. Destijds werd slechts 26% van de door AI gemaakte teksten als zodanig herkend door de tool. En ook fout-positieven kwamen veel voor: in 9% van de gevallen werd ten onrechte aangemerkt dat een tekst door een AI was geschreven. OpenAI besloot de tool destijds al wel te publiceren, om feedback en input uit de echte wereld te krijgen. Maar ook dat blijkt dus niet voldoende om een accurate detectietool te maken. 

Andere detectiemogelijkheden

OpenAI blijft wel werken aan manieren om te detecteren of een tekst door ChatGPT geschreven is, aldus de korte update. "We onderzoeken nu effectievere technieken om de herkomst van teksten vast te stellen", aldus de organisatie. Ook zegt het dat het mechanismen wil maken waarmee gebruikers kunnen zien of audio of visuele content door een AI gegenereerd is. 

Diverse andere organisaties hebben in de tussentijd ook tools uitgebracht waarmee gedetecteerd kan worden of een tekst door een AI gemaakt is. Edward Tian, student journalistiek aan de Princeton Universiteit, maakte begin dit jaar bijvoorbeeld GPTZero.