Google Lens voegt AI toe aan Android camera's

Google trapte gisteren zijn I/O-conferentie voor ontwikkelaars af met onder meer deze aankondiging dat Google Lens in bèta-versie de komende weken beschikbaar komt voor tien toestellen die native Android gebruiken.

Door de camera op een object te richten, analyseert Google Lens het beeld en zoekt relevante informatie in de vorm van tekst, beeld en geluid. Ontdekt Google Lens een gebouw, zoals hieronder het Flat Iron Building, komt er informatie over bouwjaar, architect en de reden waarom het gebouw zijn naam kreeg. Richt je de camera op een poster van een popster zoekt de app er een muziekfragment bij. Lens kan ook woorden in teksten herkennen en bijvoorbeeld bij de naam van een gerecht, gelijk een recept er bij presenteren. Door een tekst in het camerabeeld te selecteren kan deze worden gekopieerd en geplakt in bijvoorbeeld een berichtje.

Lens kan ook een combinatie maken met de navigatie van StreetView en Maps. Met een route naar een bestemming actief is het voldoende om de camera te openen en onmiddellijk geeft Lens in het beeld weer hoe verder te lopen en toont en passant nog informatie over winkels. Google maakt daarbij gebruik van een nieuwe technologie die het bedrijf Visual Position System (VPS) noemt om de positiebepaling met GPS aan te vullen. In het beeld worden markante punten geregistreerd en gematched met de punten die al bekend zijn om zo een exacte locatie te bepalen.

Geen aparte AR-app nodig

Voor het gebruik van Google Lens is het niet nodig een aparte app te starten. Het aanraken van een punt in het camerabeeld is voldoende om de extra informatie naar boven te halen. De Lens-app scant daardoor voortdurend wat in beeld is, en zoekt daarbij op wat er aan gegevens te vinden is. Daardoor kan de informatie vrijwel onmiddellijk worden getoond terwijl dit het resultaat is van een zoektocht door vele miljarden items. Daarvoor maakt de app gebruik van kunstmatige intelligentie die in het toestel zelf wordt ingezet in combinatie met Tensor Processing Units (TPU's), machine learning accelerators die Google in de cloud aanbiedt.

Google Lens komt het eerst beschikbaar op Google Pixel en LG 7 ThinQ en verder op 8 andere geselecteerde toestellen van Motorola, Xiaomi, Sony Mobile, HMD/Nokia, Transsion, TCL, OnePlus, BQ en Asus.