Zelfs neuraal netwerk heeft baat bij slaap

Neurale netwerken hebben de neiging in opeenvolgende leerprocessen de informatie die is opgeslagen in het geheugen te overschrijven met nieuwe informatie. Dit effect wordt wel 'catastrophic forgetting' genoemd en vermindert de efficiency van de training.

Het effect is vooral bekend van spiking neural networks, een relatief nieuwe vorm van neurale netwerken die wordt gekenmerkt door hun asynchroon werking - dus zonder klok, maar met 'spikes' (signaalpieken) in de tijd. Daarmee lijkt deze vorm van neurale netwerken sterk op de werking van biologische neuronen.

Onderzoekers van de University of California - San Diego (UCSD) hebben de vergelijking met het menselijk brein verder doorgetrokken om een oplossing te zoeken voor dit 'catastrophic forgetting'-probleem. Menselijke hersenen leren gedurende de dag ook continue, maar het is bekend dat kleine slaapjes (power naps) heel goed zijn voor betere cognitieve prestaties. Slaap zorgt ervoor dat in het lichaam tot rust komt maar het brein is juist heel actief. Recente gebeurtenissen worden herbeleefd en de ervaringen worden opgeslagen als kennis in het langetermijngeheugen. 

'Catastrophic forgetting' valt te vermijden

Uit de experimenten van het team onder leiding van Maxim Bazhenov, blijkt dat een vergelijkbaar effect kan optreden bij kunstmatige neurale netwerken. Door de training van het neuraal netwerk periodiek te onderbreken met rust of slaap, bleek het mogelijk het optreden van 'catastrophic forgetting' te vermijden.

"Als we nieuwe dingen leren, vuren neuronen in een specifieke volgorde en daarbij neemt de afstand tussen neuronen groter. Gedurende de slaapperiode worden spontaan deze spiking patronen herhaald. Dat noemen we reactivatie of 'replay'", zegt Bazhenov in een verklaring van de universiteit. "Plasticiteit van synapsen, ofwel de mogelijkheid van vorm te veranderen, werkt ook tijdens de slaap. Daardoor veranderen de patronen in het gewicht (het belang) van synapsen die het geheugen vertegenwoordigen. Dat zorgt ervoor dat dingen niet vergeten worden en dat kennis van oude taken in nieuwe taken wordt opgenomen."

Met deze kennis werden de experimenten met kunstmatige neurale netwerken opgezet. Daarbij bleek dat spiking neural networks op dezelfde manier oude herinneringen opnieuw kunnen afspelen zonder dat daarvoor expliciet oude trainingsgegevens werden gebruikt.

Bazhenov claimt dat het team daarmee bewezen heeft dat kennis over hoe het menselijk brein informatie verwerkt, kan worden toegepast bij de optimalisatie van neurale netwerken.