Tekstverbetering met ChatGPT

Om een beeld te krijgen van de modelkwaliteit kun je zogenaamde fixedpointberekeningen uitvoeren: gooi er een tekst in en vraag om het te verbeteren. Gooi de verbeterde output er weer in en vraag weer om die te verbeteren. Doe dit net zolang tot de nieuwe output niet meer verandert: het fixed point.

Voorbeeld: onder deze online column staat AG Connects korte mission statement. Engels is de voertaal op Internet dus we vertalen het in het Engels en na 10 verbeterslagen is dit het fixed point:

"Since its inception in 1967, AG Connect has solidified its position as a trusted authority, consistently delivering a wealth of ideas and information that inject profound significance into a perpetually evolving world. Our platform serves as a guiding beacon, offering captivating insights into the transformative power of technology that reshapes every facet of our lives. From the realms of organizations, work, and careers to the broader dimensions  encompassing culture, science, and society, we illuminate the intricate interconnectedness and profound impact of  technological advancements, fostering a  deeper understanding of their implications."

Dilbert

Er is niets meer over van de (geest) van de originele tekst: deze "verbetering" had zo uit de Dilbert-mission-statement-generator kunnen komen. Elke "verbeterslag" leverde meer breedsprakige borstklopperij tot op het absurde af. Zo is "verandert" veranderd in: "illuminate the intricate interconnectedness and profound impact".

Fixedpointberekeningen maken de bias steeds zichtbaarder door herhaald toepassen. In dit geval een clickbait-bias: ChatGPT wordt getraind met online content waar het adagium is: meer sensatie is meer clicks. Dan zit die tendens ook in de output. Aanvankelijk een beetje maar na 10 rondes is de sensatie-bias kraakhelder geworden.

Techgiganten willen liever hoge kwaliteit input, zoals artikelen van de New York Times, maar die spannen nu een zaak aan vanwege de schending van copyright.

Als ChatGPT binnenkort weer bijgeleerd heeft en deze zaak ook in de trainingsset zit, is hopelijk het antwoord om teksten te verbeteren: bel een echte journalist!