Google luidt noodklok over exponentiële groei AI

De noodkreet komt van Cliff Young, een van de prominente software-ontwikkelaars van Googles Brain team, die een openingsspeech gaf op de Linley Group Fall Processor Conference gisteren in Silicon Valley. De vraag naar computerkracht roept om een 'Super Moore's Law', zegt Young, en dat terwijl de ontwikkeling van traditionele CMOS-componenten steeds verder vertraagd. "Je ziet het in de problemen die Intel heeft met de 10 nanometer chipproductie en het feit dat Global Foundries niet verder gaat met de ontwikkeling van van 7 nanometer-technologie."

Young ziet daarentegen een enorme toename in de vraag naar computerkracht als gevolg van de exponentiële groei van deep learning. Vooral voor toepassingen als beeldherkenning is deep learning 'ongelofelijk effectief'. Google zelf is al bijna vijf jaar een 'AI first'-bedrijf, met toepassingen van kunstmatige intelligentie bij onder andere de zoekmachine, het presenteren van advertenties, maar ook bij tal van andere Google-diensten.

Hardware loopt al factor 100 achter

Het beslag dat AI-programma's leggen op de capaciteit van de onderliggende hardware wordt wel uitgedrukt in 'weights'. Om aan te geven hoe de vraag naar die capaciteit explodeert schetst Young dat het bij neurale netwerken tot nog toe in de orde van grootte van honderdduizend tot miljoenen 'weights' die moesten worden berekend. Maar in het Google Brain team  schreeuwen de onderzoekers om een teraweight-machine, ofwel een factor 100 groter dan de bestaande capaciteit.

Google is daarom al enige tijd geleden begonnen met de ontwikkeling van de Tensor Processing Unit ofwel de TPU. Die kunnen veel sneller omgaan met de specifieke behoeften van machinelearning. Zo is het geheugen geoptimaliseerd en zijn de chips in staat massief parallelle bewerkingen uit te voeren. Young wilde niet ingaan op technische details over de werking van de Tensor Processing Unit, wat hem op wat honende reacties kwam te staan, meldt ZDnet.

Tensor Processing Unit in supercomputer

De TPU is inmiddels aan zijn derde generatie toe. Google gebruikt de TPU's voor het bouwen van 'pod'-configuraties waarin 1024 TPU's samenwerken in een supercomputerachtige opstelling. Daarbij schakelt het bedrijf kennis en vaardigheden in die afkomstig zijn van supercomputerexpert Cray Computers.

Maar Young zegt dat Google ook naar andere technologie kijkt om tegemoet te komen aan de specifieke behoefte van AI. Zo verwacht hij veel van analoge computerverwerking, waarbij chips niet rekenen met enen en nullen maar met continue waarden.