Automatische beeldherkenning speerpunt in gedragsstudies

25 september 2009

 

Misleidend, omdat geen mens immers hoopt dat in toekomstige restaurants elke beweging wordt vastgelegd en geanalyseerd, zoals in dit 'restaurant'.

De informatie die dat evenwel oplevert is zeer waardevol voor de onderzoekers van de universiteit, en voor de overige aandeelhouders in het laboratorium, cateraar Sodexo, keukenapparatuurleverancier Kampri en technologiebedrijf Noldus Information Technology. Ook andere bedrijven, bijvoorbeeld levensmiddelenproducenten, kunnen experimenten laten uitvoeren in de Wageningse proeftuin.

Het is vooral de veelheid en complexiteit van de gegevens die in het Restaurant van de Toekomst worden verzameld, die het lab vanuit het perspectief van de IT-industrie interessant maakt. De kantineruimte en bijbehorend sensorisch lab zitten vol technische snufjes om elke bezoeker nauwlettend te volgen. Ruim veertig 360 graden draaibare videocamera’s houden de bezoekers in het gebouw permanent in de gaten.

Bij de zelfbedieningskassa zit een weegschaal in de vloer gebouwd zodat voor elke maaltijd het gewicht van de bezoeker wordt geregistreerd. Verder bevat het restaurant geavanceerde 3D-camera’s die ook de ruimtelijke bewegingen tijdens het selectieproces in het buffetgedeelte kan vastleggen. Een ‘face reader’ registreert automatisch gelaatsuitdrukkingen.

Bezoekers hebben dan ook eerst schriftelijk moeten bevestigen dat zij deelnemen aan een wetenschappelijk experiment en daarmee afstand doen van hun recht op privacy in het restaurant. Zo’n vijfhonderd universiteitsmedewerkers en studenten doen mee in een meerjarige observatie.

Voor specifieke onderzoeken krijgen geselecteerde groepen bezoekers extra apparatuur die bijvoorbeeld metingen verricht aan de hartslag, de fysiologische staat van het lichaam, de druk die wordt uitgeoefend en aan trillingen in meubilair.

De uitdaging voor Noldus IT is zo veel mogelijk van deze registraties te automatiseren en de resultaten te aggregeren in een overzichtelijk ‘event log’. Een belangrijk deel van de invoer gaat nu namelijk nog handmatig. De betrokken onderzoeker kijkt naar de video’s op het beeldscherm, analyseert de handelingen en voert vooraf afgesproken codes in in The Observer XT, de kernapplicatie van Noldus die de event logs creëert.

De automatische gezichtsherkenning (FaceReader) is een voorbeeld van een recent toegevoegd hulpmiddel dat is ontwikkeld samen met het Amsterdamse softwarebedrijf Vicar Vision, dat het algoritme ontwikkelde. De facereader herkent gezichten in videostreams, mits deze grotendeels naar de camera zijn gewend. De software kan zes fundamentele gezichtsuitdrukkingen detecteren en vastleggen. Maar dat aantal wordt in de toekomst uitgebreid.

Volgens Lucas Noldus kan beeldherkenningssoftware steeds meer informatie uit de video te extraheren. Zijn bedrijf werkt daartoe samen met onder meer de Utrechtse hoogleraar Mark Overmars in het GATE-project. GATE is primair gericht op de ontwikkeling van interactieve games. De kennis die daarbij wordt ontwikkeld, kan echter ook in de beeldherkenning worden toegepast, bijvoorbeeld bij het vaststellen en registreren van eetbewegingen en andere handbewegingen.

 Datamining
Lucas Noldus heeft zich gespecialiseerd in het maken van toepassingen voor gedragsstudies. In het kader van zijn promotie deed hij onder-zoek aan het gedrag van insecten. Tijdens het onderzoek schreef hij de eerste software voor het meetbaar maken van gedragingen.
Noldus startte zijn bedrijf met het produceren van software voor gedragsstudies aan dieren. De complexiteit zit daarbij vooral in de hoeveelheid gegevens die wordt verzameld. De meerdaagse observatie van een dier levert per dag een record van enkele gigabytes aan ruwe data op. Bij grotere studies worden soms enkele duizenden proefdierrecords betrokken.
In een later stadium voegde Noldus een humane tak toe aan zijn bedrijf. Inmiddels levert Noldus software en apparatuur voor gedragsanalyse aan grote bedrijven in heel verschillende bedrijfstakken. Zo gebruiken producenten in de auto-industrie zoals Daimler en Volvo de systemen bij het ontwerpen van bijvoorbeeld een nieuw dashboard. Het Nationaal Laboratorium voor Lucht- en Ruimtevaart (NLR) gebruikt de apparatuur voor observaties in flight simulators en Microsoft en Symantec voor usability-studies aan hun software. Het softwarematig ondersteunen van de analyse van de verzamelde gegevens staat volgens Noldus nog in de kinderschoenen. Het gaat daarbij om het herkennen van patronen en het leggen van verbanden tussen gebeurtenissen. Toch verwacht Noldus daar de komende jaren een slag te maken. Bij het observeren van proefdieren is al meer ervaring met de automatische gegevensanalyse. Het overzetten van die technologie naar dit type onderzoek is de uitdaging. Hij werkt daarvoor samen met Biometris en de datamininggroep van Wageningen Universiteit. “De complexiteit zit hem in de grote hoeveelheden gegevens.” De videoregistraties leveren jaarlijks vele terabytes aan informatie op. Het materiaal wordt voor een groot deel opgeslagen om het mogelijk later opnieuw te kunnen gebruiken. De langste ononderbroken studie loopt inmiddels al meer dan een jaar. Het Restaurant van de Toekomst biedt daarom ook een uitdaging op het gebied van dataopslag. Statistisch onderzoek wordt al lang gedaan. Maar onderzoek op zulke schaal op humaan gebied als in het Restaurant van de Toekomst is pas een jaar oud.
Koudwatervrees
Het onderzoek door derden in het Restaurant van de Toekomst had aanvankelijk last van koudwatervrees bij de opdrachtgevers. De technologie is nieuw, de resultaten in potentie waardevol maar hebben zich nog niet in praktijk bewezen, verklaart Noldus de aarzeling. “Bedrijven plannen vaak hun gedragsonderzoek een jaar of meer vooruit. Zij gaan dus niet van de ene op de andere dag overstag.” Hij vindt dan ook dat dit project, net als grote projecten, een midterm review verdient na vijf jaar en een evaluatie na tien jaar. “Sommige mensen wilden al na een jaar een conclusie trekken, maar dat is echt te vroeg. De orderportefeuille begint nu goed gevuld te raken.”
Ontwikkeling
Voor de ontwikkeling van de geautomatiseerde gedragsherkenning werkt Noldus niet alleen samen met Vicar Vision.
Het bedrijf ontwikkelt samen met het Naardense Eagle Vision Systems ook software voor het verwerken van de driedimensionele camera-observaties. De software helpt patronen te  herkennen in de dichtheid van mensen door de ruimte en over tijd.
Verder werkt Noldus met buitenlandse producenten van sensoren. Daarbij gaat het contact echter voornamelijk over de ontwikkeling van interfaces die moeten garanderen dat de apparatuur probleemloos met elkaar kan samenwerken.
Relatief nieuw is de ontwikkeling van mobiele observatielaboratoria. Die worden ingezet in situaties waar de doelgroep moeilijk naar het laboratorium kan komen, bijvoorbeeld de bewoners van een bejaardencentrum, leidsters en kinderen in een kinderdagverblijf of tieners bij een popconcert.

 
Lees het hele artikel
Je kunt dit artikel lezen nadat je bent ingelogd. Ben je nieuw bij AG Connect, registreer je dan gratis!

Inloggen

Registreren

  • Direct toegang tot AGConnect.nl
  • Dagelijks een AGConnect nieuwsbrief
  • 30 dagen onbeperkte toegang tot AGConnect.nl

Ben je abonnee, maar heb je nog geen account? Laat de klantenservice je terugbellen!