Google-CEO vindt eigen tekstrobot Bard ook ver ondermaats

Pichai deed zijn uitspraken vorige week in The New York Times. Hij beloofde in dat artikel ook dat Bard binnenkort een belangrijke update krijgt. Het taalmodel dat nu de basis vormt van Bard - een afgeslankte versie van Google's paradepaardje LaMDA - afgelopen weekend is vervangen door het taalmodel PaLM. Pichai suggereerde dat die wisseling waarschijnlijk al in het weekend plaats zou vinden. PaLM zou tot veel betere prestaties in staat zijn zowel bij het redeneren in tekst, bij programmeren en het oplossen van wiskundige problemen.

Google slingerde in paniek in februari Bard online in reactie op het succes van OpenAI's ChatGPT en de aankondiging van Microsoft om de technologie van OpenAI te gaan verwerken in alle eigen producten en diensten. Google zag daar een risico in voor zijn positie in de zoekmachinemarkt.

De eerste variant van Bard was gebaseerd op het taalmodel LaMDA (Language Model for Dialogue Applications) dat zich duidelijk niet kon meten met de prestaties van OpenAI's GPT (Generative Pre-trained Transformer)-model. Op zich is dat een opmerkelijke ontwikkeling omdat GPT uiteindelijk geënt is op Google's werk uit 2017 aan Transformer deep learning models.

Race om de parameters

De kracht van dergelijke deep learning modellen wordt vaak uitgedrukt in het aantal parameters waarover het model beschikt. GPT 4 - het meest recente model van OpenAI - heeft ongeveer 1 biljoen parameters. LaMDA beschikt over 137 miljard parameters. PaLM zou daar met 540 miljard parameters een flinke verbetering in teweeg moeten kunnen brengen. Maar het model kan zich wat aantal parameters nog altijd niet meten met GPT-4.