Zuinige neurale netwerken grote stap dichterbij door Amsterdams onderzoek

Het kolossale energieverbruik van de huidige neurale netwerken dat nodig is voor training en in mindere mate ook gebruik van ChatGPT en andere populaire deeplearning-toepassingen, is een sta-in-de-weg voor de verdere ontwikkeling ervan. Bovendien beperkt het de toepassing van dergelijke modellen op kleinere apparatuur waarbij de beschikbare energie - dus de acculading - gering is. Denk aan smartphone, smartwatches of IoT-apparatuur.

In een zoektocht naar zuiniger alternatieven voor de huidige neurale netwerken, is gekeken hoe de natuur dat probleem oplost. De werking van deze neurale netwerken is ook afgeleid van de werking van neuronen in dierlijke hersenen. Hersenen zijn echter extreem efficiënt in vergelijking met neurale netwerken. Zo gebruikt het menselijk brein slechts ongeveer 25 Watt, maar is in ieder geval op veel vlakken nog altijd superieur aan computers.

Trainen vormde een probleem

Spiking neurale netwerken lijken in tegenstelling tot de huidige neurale netwerken in hun werking veel meer op hoe het dierlijk brein functioneert en springen veel zuiniger om met energie. Het trainen van spiking neurale netwerken is echter veel complexer en vergt veel computergeheugen. "Daardoor kunnen we meestal alleen kleine netwerkmodellen trainen voor kleinere taken", zegt Sander Bohté van CWI's Machine Learning-groep. "Dit houdt tot nu toe veel praktische toepassingen tegen."

Hij zocht samen met collega-onderzoeker Bojian Yin uit hoe een belangrijk verschil tussen spiking neurale netwerken en dierlijke hersenen kon worden weggewerkt. In een brein is leren een continu proces. Hersenen reageren onmiddellijk op nieuwe ervaringen door verbindingen te veranderen of nieuwe verbindingen aan te maken. Bij spiking neurale netwerken gaat het leren veel meer schoksgewijs. Door nu elk neuron te voorzien van een stukje informatie dat steeds wordt bijgewerkt, kan het neurale netwerk leren hoe de informatie verandert. Het hoeft dan niet alle eerdere informatie te onthouden. Dat scheelt enorm veel geheugencapaciteit en rekenkracht, en dus ook veel energie.

Sterke opschaling mogelijk

Yin en Bohté hebben vandaag hun bevindingen gepubliceerd in het wetenschappelijk tijdschrift Nature Machine Intelligence. Zij claimen dat met de nieuwe aanpak makkelijk spiking neurale netwerken van zes miljoen neuronen kunnen worden gemaakt, terwijl de praktische limiet met de oude manier op 10.000 neuronen ligt. Dat biedt enorme mogelijkheden voor het opschalen van de toepassing van spiking neurale netwerken. Yin en Bohté hebben de werking gedemonstreerd met een model dat is getraind op drukke straten van Amsterdam, waarbij het exact kan aangeven waar fietsers, voetgangers en auto's zich in beelden bevinden.

Het voordeel van veel energiezuinige neuralenetwerktechnologieën is ook dat ze kunnen draaien op lokale apparatuur waardoor de privacy van de verzamelde gegevens beter kan worden gegarandeerd. Denk bijvoorbeeld aan toepassingen in speelgoed, bewaking in de gezondheidszorg, drone-navigatie en lokale surveillance.

Nieuwe hardware nodig

Voor het bouwen van grotere spiking neurale netwerken moet nu eerst hardware worden ontwikkeld die met deze krachtigere spiking neurale netwerken kan omgaan. Daartoe werken de CWI-onderzoekers samen met onder meer het Belgische IMEC / Holst-onderzoekscentrum en de TU Eindhoven.