De vijf zussen van Sally
"Sally (een meisje) heeft drie broers. Iedere broer heeft twee zussen. Hoeveel zussen heeft Sally?" Het is een eenvoudig logicaprobleem, waar de meeste mensen het goede antwoord op zullen geven (namelijk: Sally heeft één zus). Maar het is ook een probleem dat de beperkingen blootlegt van diverse taalmodellen gebaseerd op generatieve AI.
Shutterstock
Met ChatGPT is een grote sprong voorwaarts gemaakt op het gebied van generatieve AI. Plots zijn uitstekende taalmodellen voor iedereen toegankelijk, met alle voordelen van dien. Als dyslectisch persoon een goede sollicitatiebrief schrijven? Geen probleem! Even sparren over een goede intro voor een blogpost op LinkedIn? Generatieve AI geeft je in luttele seconden tal van opties ter inspiratie.
Angst en overschatting
Dat taalmodellen zoveel kunnen, boezemt vele mensen ook angst in, zeker als zij niet zo goed begrijpen wat er nu eigenlijk gebeurt. Taalmodellen als ChatGPT lijken enorm slim. Iedere vraag die je voorschotelt lijken ze te kunnen beantwoorden, of je nu een vraag hebt over een recept voor een appeltaart of advies zoekt voor een persoonlijk probleem waar je mee zit. Niet gek dus dat mensen bang zijn voor hun banen, zelfs al hebben die weinig tot niets met taal te maken.
Maar juist hier zit het probleem: taalmodellen lijken slim. Terwijl ze in feite weinig meer doen dan verbanden leggen tussen woorden en daarop reageren. Zelf iets bedenken, dat doen ze natuurlijk niet - al hoef ik dat de lezer van deze blog dat ongetwijfeld niet te vertellen. Zoals een beveiligingsexpert vlak voor de zomer nog verzuchte: "Het is een taalmodel, niet de Terminator".
Benchmarken met Sally
Het vraagstuk rondom Sally maakt juist dat goed duidelijk. Een IT'er besloot namelijk een aantal benchmarks op te zetten voor grote taalmodellen en legde onder meer het Sally-probleem voor aan maar liefst zestig taalmodellen. De conclusie: het merendeel van de getestte genAI-bots beantwoordt de vraag fout. Sally zou zes zussen hebben (3 broers x 2 zussen), vijf, drie of zelfs geen zussen.
Bij AG Connect probeerden we het zelf ook uit, met wisselende resultaten. ChatGPT had het bijvoorbeeld bij het goede eind (één zus), Google Bard niet. Als we Bard moeten geloven, heeft Sally zes zussen. (Noot: dit was vóór de update van woensdag 20 september, inmiddels wordt de logicavraag over Sally wél goed beantwoord door Bard).
Toch zit juist in de perceptie van velen het gevaar. Wie denkt dat een taalmodel daadwerkelijk slim is, kan alle output daarvan voor waarheid gaan aanzien, ook al weten we dat lang niet alles wat een taalmodel zegt, klopt. Een taalmodel kan als alwetend - of in ieder geval als véél slimmer dan de gewone mens - gezien worden. Met als gevolg dat mensen bang worden voor hun eigen baan en toekomst.
Inzicht
Beide angsten zijn natuurlijk onnodig. Maar laten we vooral anderen helpen om dat ook in te zien. Dat een taalmodel geen alwetende, gevaarlijke supercomputer is, maar slechts een handig programma, zonder enige vorm van échte intelligentie. Een programma dat in veel gevallen bar weinig snapt van Sally en hoeveel zussen ze nou heeft.
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonneeEen antwoord van een AI-machine dien je op 2 aspecten te controleren: betrouwbaarheid en validiteit.
De betrouwbaarheid kun je controleren door de premissen en de gevolgde logica in het antwoord te controleren.
Premissen bestaan uit gebruikte feiten en aanames en kun je bijvoorbeeld controleren door de gegeven referenties in het antwoord na te trekken. Er zijn verschillende methoden om de betrouwbaarheid van de premissen te controleren. Hier zijn enkele voorbeelden:
Bronverificatie: Controleer de bronnen om te bepalen of ze betrouwbaar zijn. Dit kan bijvoorbeeld worden gedaan door te controleren of de bron een gerenommeerde nieuwsorganisatie, overheidsinstantie of wetenschappelijk tijdschrift is.
Vergelijking: Vergelijk de premissen met informatie uit andere betrouwbare bronnen om te bepalen of ze consistent zijn. Als er tegenstrijdige informatie wordt gevonden moet er verder onderzoek gedaan worden om te bepalen welke informatie het meest betrouwbaar is.
Expertbeoordeling: In sommige gevallen kun je experts raadplegen om de betrouwbaarheid van de premissen te beoordelen. Dit kan bijvoorbeeld worden gedaan door wetenschappers te raadplegen of door historici te raadplegen.
Logica kun je controleren door de gegeven redenering van de AI-machine in het antwoord te controleren. Ook kun je de redenering controleren door controlevragen te stellen.
Als de premissen en de logica kloppen dan is het antwoord betrouwbaar.
Daarna kun je natrekken of het antwoord valide is door te checken of de gestelde vraag ook echt is beantwoord.
Uitgebreide uitleg is te vinden op https://drive.google.com/file/d/1Uul7_38m1ugDx_5ZMZEbxG-1Zh8-UYVj/view
Voorbeeld in het Engels:
Vraag aan Bing Chat: Sally (a girl) has 3 brothers. Each brother has 2 sisters. How many sisters does Sally have? Split the answer in used facts, assumptions, logic and conclusions.
Antwoord door Bing Chat: Sure, let’s break it down:
Used Facts:
Sally has 3 brothers.
Each brother has 2 sisters.
Assumptions:
The siblings are all from the same parents, meaning they are full siblings, not half or step-siblings.
The term “brothers” and “sisters” refers to siblings, not including the person in question.
Logic:
If each of Sally’s brothers has 2 sisters, then besides Sally, there must be another girl in the family because each brother has one more sister besides Sally.
Conclusions:
Therefore, Sally has 1 sister. This is because the 2 sisters that each brother has include Sally and one other girl.
Voorbeeld in het Nederlands:
Vraag aan Bing Chat: Sally (een meisje) heeft drie broers. Iedere broer heeft twee zussen. Hoeveel zussen heeft Sally? Leg stap voor stap uit hoe je aan het antwoord komt. Splits het antwoord op in de gebruikte feiten, aannames, logica en de conclusie.
Antwoord door Bing Chat: Laten we de informatie in de vraag stap voor stap analyseren:
Feiten:
Sally is een meisje.
Sally heeft drie broers.
Elke broer heeft twee zussen.
Aannames:
We nemen aan dat er geen halfbroers of halfzussen zijn.
We nemen aan dat alle broers en zussen uit hetzelfde gezin komen.
Logica:
Omdat elke broer twee zussen heeft, moet Sally een van die zussen zijn (omdat we aannemen dat alle broers en zussen uit hetzelfde gezin komen).
Dit betekent dat de andere zus van elke broer ook een zus van Sally moet zijn.
Conclusie: Dus, Sally heeft één zus. De drie broers hebben elk twee zussen (Sally en haar zus), en Sally heeft drie broers en één zus.