Overslaan en naar de inhoud gaan

Facebook AI-goeroe LeCun strijkt collega's tegen de haren in

Yann LeCun - prominent wetenschapper in deep learning en Chief AI Scientist bij Meta - is uiterst sceptisch over de richtingen waarin het onderzoek naar deep learning zich ontwikkelt. Zo vindt hij bijvoorbeeld dat het werk aan grote taalmodellen zoals Transformer GPT-3 essentiële onderdelen mist.
Yann LeCun
© CC BY-SA 2.0 - Flickr.com
CC BY-SA 2.0 - Flickr.com

Het is verrassende kritiek van de wetenschapper die zo'n belangrijke bijdrage leverde aan de ontwikkeling van convolutional neural networks, een technologie die ongelofelijk productief is gebleken in deeplearningprogramma's, concludeert ZDNet uit een Zoom-interview met LeCun. Het is overigens niet voor het eerst dat de Turing Award-winnaar zijn twijfels uitte over de mogelijkheid dat AI-toepassingen zich kunnen meten met de menselijke intelligentie. In juni waren die tussen de regels door ook al te lezen in een discussiestuk bij Open Review.

LeCun zegt nu bij ZDNet dat hij veel van de ontwikkelingen "wel nodig" vindt en dat die misschien onderdeel kunnen zijn van toekomstige intelligente systemen, maar "essentiële onderdelen missen".

Zo denkt hij dat reinforcement learning nooit genoeg zal zijn. Hij noemt als voorbeeld concullega's in het team van David Silver bij Alphabets DeepMind. Die boekten met AlphaZero successen in bordspelen als schaak, Shogi en Go.  LeCun. "Het meeste leren dat we doen, is gebaseerd op observatie in plaats van actie ondernemen."

Rennen in doodlopende stegen

In zijn visie rennen veel collega's doodlopende stegen in. Hij wil ze daarvan doordringen en het onderzoeksgebied richten op het doel waar hij denkt dat de ontwikkeling naar toe zou moeten gaan.

Hij steekt de hand in eigen boezem met zijn verklaring geen geloof meer te hebben in generatieve netwerken om bijvoorbeeld het volgende beeldje in een film te voorspellen, iets waar hij voorheen wel groot voorstander van was. Hij geeft ook de ontwikkelaars van zelfsturende auto's zoals Wayve een veeg uit de pan door te stellen dat die "een klein beetje te optimistisch" zijn geweest door te denken dat ze grote neurale netwerken konden bestoken met veel data om ze nagenoeg alles te kunnen leren.

Ladder naar de maan

LeCun wil een stap terug doen en opnieuw kijken naar de basisconcepten. "We zijn op het punt dat we zeggen: we hebben deze ladder gebouwd, maar we willen naar de maan en er is geen enkele manier waarop die ladder ons daar gaat brengen." "We moeten raketten gaan bouwen. Ik kan geen details geven van hoe we die raketten bouwen, maar wel een aantal basisprincipes." Hij verwijst daarvoor naar de (complexe) uitleg van de Joint Embedding Predictive Architecture (JEPA) die hij in het Open View-artikel heeft beschreven.

Reacties

Om een reactie achter te laten is een account vereist.

Inloggen Word abonnee

Bevestig jouw e-mailadres

We hebben de bevestigingsmail naar %email% gestuurd.

Geen bevestigingsmail ontvangen? Controleer je spam folder. Niet in de spam, klik dan hier om een account aan te maken.

Er is iets mis gegaan

Helaas konden we op dit moment geen account voor je aanmaken. Probeer het later nog eens.

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in

Maak een gratis account aan en geniet van alle voordelen:

Heb je al een account? Log in