Stanford-onderzoeker analyseerde hoe AI kan helpen bij schrijven

Iedereen kent tegenwoordig wel de tekstsuggesties die mailprogramma's en apps in beeld brengen bij het opstellen van een bericht, of je dat nu handig vindt of irritant. Maar het schrijven van poëzie of een goed essay vereist creativiteit en dat is wat ontbreekt bij computers. Immers ook taalmodellen zijn gebaseerd op neurale netwerken die zijn getraind op grote hoeveelheden teksten die al geschreven zijn. Het is lastig te bedenken hoe daar iets nieuws uit komt. Maar een menselijke schrijver kan wel uit zijn denkpatroon gehaald worden met suggesties voor vervolgzinnen waardoor de creativiteit wordt geprikkeld. Maar is dat mogelijk? En hoe voelt de auteur zich vervolgens over het eindresultaat dat met dergelijke interventies tot stand is gekomen?

Lee en Liang volgden zo meer dan 60 schrijvers die samen 1440 verhalen en essays schreven, daarbij geholpen door CoAuthor, beschrijft Venturebeat. Het CoAuthor-systeem bestaat uit een interface, een dataset gebaseerd op het taalmodel GPT-3 en een analysehulpmiddel. Het systeem registreert alle interacties tussen de schrijver en het taalmodel dat steeds wanneer de schrijver de Tab-toets indrukt vijf suggesties doet voor het vervolg op de zojuist getypte zin. CoAuthor slaat dan op wat de schrijver met de suggesties doet, accepteren, aanpassen of helemaal negeren. De toetsaanslagen en cursorbewegingen werden allemaal geregistreerd waardoor een heel rijke dataset is ontstaan met betrekking tot het tot stand komen van het artikel.

Bruikbaarheid betwijfeld

Na de schrijfsessie moesten de auteurs een vragenlijst invullen over hoe de interactie met het systeem was verlopen en wat ze vonden van het eindresultaat. Over het algemeen waren de schrijvers best te spreken over het schrijfproces, maar ze waren verdeeld over in hoeverre ze zich eigenaar voelden van de uiteindelijke tekst. Over de bruikbaarheid van de suggesties liepen de meningen zeer uiteen. Terwijl de een verrast was over de onverwachte wendingen die de suggesties opriepen, waren anderen juist ontstemd dat het taalmodel hen een richting instuurde waar ze helemaal niet naar toe wilden. Ook klaagden ze dat de suggesties teveel herhaling bevatten of te vaag waren.

Nieuwe ideeën en sneller, beter werk

Opvallend was ook dat de inzet van AI als hulp de productiviteit van de schrijvers liet stijgen, gemeten in aantallen woorden per tijdseenheid. Ook bleken de zinnen die door een mens en computer gecombineerd tot stand kwamen, minder grammaticale en spellingsfouten te bevatten. Lee concludeerde dat uiteindelijk wel gesteld kon worden dat de inzet van CoAuthor bij het schrijven het ontstaan van nieuwe ideeën stimuleert en zowel de productiviteit als het vakmanschap verhoogt.