Turing-test is houdbaarheidsdatum gepasseerd

Die vraag vormt de basis voor de Turing-test, die nog steeds als toetssteen van machine-intelligentie wordt beschouwd.

Menselijke gesprekspartner overtuigen

In de Turing-test gaat het er om, of een computer in staat is een menselijke gesprekspartner die niet kan zien met wie hij spreekt, ervan te overtuigen dat hij met een medemens in gesprek is. In de laatste variant die Turing ontwikkelde, zou een computer een significant deel van een menselijke jury moeten kunnen overtuigen van zijn menselijkheid om intelligent te mogen heten. De grens daarvoor is daarna enigszins arbitrair op 30 procent van de juryleden gesteld.

Die grens werd in de zomer van 2014 voor het eerst overschreden door een programma met de naam Eugene Goostman. Dat programma bleek in staat tijdens gesprekken van 5 minuten 33 procent van de juryleden ervan te overtuigen echt te spreken met de 13-jarige Oekraïense jongen die het programma voordeed te zijn. Het was overigens niet de eerste keer dat een slim geconstrueerd programma menselijke trekjes aannam. Eind jaren zestig ontwikkelden wetenschappers het programma ELIZA. Dat wekte bij velen de indruk met een zeer empathische gesprekspartner van doen te hebben. De truc: het programma pikte termen op uit de opmerkingen van de gesprekspartner, en verwerkte die daarna in een vervolgvraag.

Oefening in list en bedrog

Feitelijk doet Eugene Goostman niet veel anders, vindt een van de critici. Eugene Goostman heeft wel een grotere woordenschat en een beter geïmplementeerde grammatica dan Eliza, schreef Gary Marcus, professor psychologie aan de universiteit van New York, maar een teken van machine-intelligentie is dat niet. Net als vergelijkbare programma's berust Eugene Goostmans 'overtuigingskracht' op ontwijkende antwoorden en het veranderen van onderwerp om diepgaande gesprekken te vermijden. Eugene Goostman laat zich daarbij helpen door de claim dat de gesprekspartner spreekt met een 13-jarige die het Engels pas kort, en nog beperkt, machtig is. Een exercitie in bedrog en ontwijking, met andere woorden, die het onderzoek naar machine-intelligentie niet echt vooruit helpt.

Een aantal wetenschappers op het gebied van kunstmatige intelligentie stelde om die reden onlangs op de AAAI Conference of Artificial Intelligence voor, nieuwe tests te ontwikkelen om machine-intelligentie op zinvollere wijze te meten en tegelijk te voorkomen dat de nadruk komt te liggen op trucjes om de beoordelaars op het verkeerde been te zetten.

Alternatieven voor Turing-test

Eén van de voorstellen is, computers die intelligent heten te zijn te onderwerpen aan een taaltest met relatief lastig te interpreteren zinsconstructies. Om intelligent te mogen heten zou een computer bijvoorbeeld de vraag moeten kunnen beantwoorden: 'wie is bang voor geweld' na lezing van de zin 'de autoriteiten weigerden de boze demonstranten een vergunning omdat zij bang waren voor geweld.'

Gary Marcus stelt voor om als criterium te hanteren, of een computer in staat is simpele vragen te beantwoorden na het bekijken van een filmpje op tv of YouTube - zonder zoals Eugene Goostman te vervallen in de opmerking als: 'Hoe moet ik dat weten, ik heb die uitzending niet gezien'. Een derde voorstel behelst dat computers in staat zouden moeten zijn om testvragen op lagere-schoolniveau te beantwoorden om intelligent te moeten heten. Een vierde voorstel, de Ikea-test, vraagt van computers die intelligent willen heten dat ze in staat zijn de instructies van een bouwpakket te begrijpen en daarnaar te handelen.