ChatGPT heeft nu een open source equivalent

PaLM + RLHF is opgezet door Philip Wang, een ontwikkelaar die al eerder met behulp van reverse engineering open source alternatieven maakte van closed source AI-systemen, zoals Make-A-Video van Meta, memoreert TechCrunch. Hij gebruikte voor het ChatGPT het PaLM taalmodel van Google en combineerde dat met een techniek genaamd Reinforcement Learning with Human Feedback (RLHF). Het systeem dat daaruit volgde, kan vrijwel alle taken uitvoeren die ChatGPT ook kan, concludeert TechCrunch; dus zowel e-mails opstellen als computercode suggereren.

Maar er zit wel een flinke adder onder het gras. Om er daadwerkelijk mee aan de slag te kunnen moet PaLM + RLHF eerst getraind worden. Dat betekent dat er eerst gigabytes aan tekst aan het systeem gevoed moeten worden en er hardware beschikbaar moet zijn om de training uit te voeren.

In de basis is zowel ChatGPT als PaLM + RLHF een statistisch model dat woordvolgorde kan voorspellen. Het model leert het goed te doen door uit de semantische context van woorden in de trainingsdata de meest voor de hand liggende combinaties voor een nieuw ingevoerd woord te destilleren. Beide zijn daar extra goed in door gebruik te maken van een speciale vorm van RLHF waardoor de taalmodellen beter kunnen 'begrijpen' welke uitkomsten de gebruiker wil krijgen. Dat betekent dat in de finetuningfase gebruikers moeten aangeven wat de beste antwoorden zijn in de suggesties waar het model mee komt.

Kostbare zaak

Maar of het beschikbaar komen van PaLM + RLHF als open source code veel ontwikkelaars zal aanzetten tot het verder doorontwikkelen van een ChatGPT-alternatief, valt te bezien. Onderzoekers van AI21Labs hebben in 2020 becijferd (pdf) dat het trainen van een taalmodel met 1,5 miljard parameters ongeveer 1,6 miljard dollar kost. PaLM heeft 540 miljard parameters, dus dat wordt een klusje waarvoor niet iedereen even de portemonnee trekt.

Bovendien moet het getrainde model ook nog ergens draaien. Het is bekend dat het GPT-3 taalmodel van OpenAI met 175 miljard parameters draait op een AWS instance met een prijskaartje van 87.000 dollar per jaar.