ChatGPT kan mensen makkelijk overtuigen dat hij slim is, ook als er fouten in de antwoorden zitten, ontdekten onderzoekers
- De bekende AI-bot ChatGPT kan mensen makkelijk laten denken dat hij slim is.
- Onderzoekers kwamen erachter dat programmeurs antwoorden van ChatGPT makkelijker accepteren dan die van collega’s.
- Dit komt omdat ChatGPT ‘welbespraakt’ overkomt, zeggen ze.
- Lees ook: OpenAI geeft GPT-4 vrij met 'menselijke' kwaliteiten
Shutterstock
Het lijkt erop dat de bekende AI-bot ChatGPT erg goed de indruk kan wekken dat hij slim is. De overtuigingskracht van de chatbot is echter niet noodzakelijk gestoeld op betere prestaties. In een nieuw onderzoek, dat nog geen officiële beoordeling heeft gehad van vakgenoten, suggereren vijf IT-specialisten dat ChatGPT mensen door de vorm van de antwoorden opvallend makkelijk overtuigt dat de inhoud ook wel zal kloppen.
Onderzoekers aan de Purdue University analyseerden de antwoorden van ChatGPT op 517 vragen die op Stack Overflow gepost waren, een website die softwareprogrammeurs veel gebruiken om antwoorden op hun vragen te krijgen.
Meer dan de helft fout
Nadat ze de antwoorden van de chatbot hadden gecontroleerd op “correctheid, consistentie, volledigheid en beknoptheid” kwamen de onderzoekers tot de conclusie dat 52 procent van de antwoorden simpelweg fout was. Meer dan drie kwart was ook nog eens langdradig.
Uit een ander deel van het onderzoek blijkt dat gebruikers van ChatGPT in 40 procent van de gevallen de antwoorden van de chatbot prefereren boven die van antwoorden van collega's op Stack Overflow, ongeacht de fouten die de chatbot maakt.
"Toen er werd gevraagd waarom gebruikers de voorkeur gaven aan de antwoorden van ChatGPT, zelfs als ze fout waren, gaven ze aan dat de volledigheid en het taalgebruik een rol speelden", aldus het onderzoeksrapport.
Er moet wel een kanttekening bij de uitkomst van het onderzoek worden geplaatst, want er werkten slechts 12 programmeurs aan mee. Hen werd gevraagd om naar de antwoorden op 2.000 willekeurige vragen te kijken en aan te geven of ze het antwoord van iemand op Stack Overflow of dat van ChatGPT beter vonden.
Plausibel klinkend
Daarnaast heeft OpenAI ook duidelijk aangegeven dat ChatGPT "plausibel klinkende, maar foute en onlogische antwoorden" kan geven.
De invloed van AI-chatbots is overigens al merkbaar op het forum Stack Overflow. Een maand nadat softwarebedrijf OpenAI GPT4 lanceerde, daalde het verkeer op de website met 13 procent in vergelijking met een jaar ervoor. Iets wat suggereert dat meer softwareprogrammeurs hun antwoorden bij de chatbot zoeken. Die is gedeeltelijk getraind op data van Stack Overflow.
Een groeiend aantal AI-ethici en programmeurs vindt de ontwikkelingen rond ChatGPT zorgelijk. Ze hekelen de razendsnelle acceptatie van de AI-chatbots zonder dat er kritisch naar gekeken lijkt te worden.
Dit artikel is eerder gepubliceerd op Business Insider Nederland, zustertitel van AG Connect.
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonneeHet onderzoek betreft chatGPT wat gebaseerd is op GPT versie 3. Bing Chat gebruikt bijvoorbeeld GPT versie 4. Als je deze test, bijvoorbeeld met het beantwoorden van de excersises op https://drive.google.com/file/d/1z8sHUR1n_Qvu2XGISsV6s78wxT1WEFZd , dan zijn deze antwoorden zeer goed. Op https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard is een Elo rating te vinden van de beste chatbots. GPT-4 is de beste chatbot.
"ChatGPT kan mensen makkelijk overtuigen dat hij slim is, ook als er fouten in de antwoorden zitten, ontdekten onderzoekers"
Vervang ChatGPT door Consultant en het klopt ook. Bijzonder dat er momenteel de nadruk ligt op fouten in de AI. Alsof mensen feilloos zijn.