Waarom AI-onderzoekers schaakborden inruilen voor voetbal

Deepmind gaf bij hun nieuwste onderzoek algoritmes de controle over een computersimulatie van een mens, met de mogelijkheid om soortgelijke bewegingen te maken. Vervolgens leerden deze simulaties voetballen. Daarover schrijft Deepmind in een onlangs gepubliceerd onderzoek. In de eerste fase van het onderzoek werd aan digitale projecties van mensen geleerd om op natuurlijke wijze te rennen, door zo goed mogelijk motion-capture videoclips van voetballende mensen na te bootsen. Daarna volgde het oefenen van dribbelen en schieten, aan de hand van trial & error-machine learning waarbij AI telkens beloond werd wanneer de 'digitale mensen' zo dicht mogelijk bij de bal bleven.

De simulatietrainingstijd bedroeg in totaal zo’n anderhalf jaar, maar werd versneld in slechts 24 uur doorlopen. Na vijf jaren aan gesimuleerde voetbaltrainingstijd ontstond er gedrag dat verder ging dan beweging en balcontrole. "Ze leerden coördinatie, maar ze leerden ook bewegingsvaardigheden die we niet eerder expliciet als trainingsoefeningen hadden ingesteld", aldus Nicolas Heess van DeepMind tegenover New Scientist.

Bij de laatste fase werden de digitale mensachtigen uitgedaagd om doelpunten te maken in twee-tegen-twee- wedstrijdjes. Na 20 tot 30 gesimuleerde jaren ontstonden zelfs teamwork-vaardigheden, zoals anticiperen op waar je een pas kan ontvangen van een medespeler. Het leidde tot aantoonbare verbeteringen in de mogelijkheden om tot een doelpunt te komen.

Lange leertijden

De robots werden bij hun voetballessen enigszins geholpen: er golden bij het spel vereenvoudigde regels, waarbij overtredingen zijn toegestaan. De grenzen van het veld kwamen overeen met een muur, waarbij de bal terugkaatst en spelhervattingen zoals inworpen en doeltrappen waren niet bij het voetballen inbegrepen.

Volgens de onderzoekers wordt het door de lange leertijden moeilijk om het werk over te dragen aan fysieke voetbalrobots. Wel geven de onderzoekers aan dat het interessant is om te zien of de aanpak van Deepmind competitief kan zijn in de jaarlijkse RoboCup 3D Simulation League. Het DeepMind-team leert momenteel echte robots hoe ze een bal naar een doel moeten duwen en is van plan te onderzoeken of dezelfde AI-trainingsstrategie ook buiten voetbal werkt.