Chinese ChatGPT-concurrent springt op

De strategische ontwikkeling van een tegenhanger voor het Amerikaanse bedrijf OpenAI, maker van de geruchtmakende AI-bot ChatGPT, is in februari al openlijk aangekondigd. Toen heeft Sogou-oprichter Wang Xiaochuan al op het Chinese social network Weibo verklaard dat dat zijn doel is, schrijft TechCrunch nu. Wangs startup Baichuan Intelligence heeft nu zijn nextgen LLM uitgerold: Baichuan-13B. Dat AI-model is beschikbaar op ontwikkelplatform GitHub

Stroomversnelling

Het Baichuan-model telt 13 miljard parameters en is gebaseerd op de Transformer-architectuur, waar ook ChatGPT en vele andere AI-toepassingen op zijn gebouwd. Terwijl de grondslagen daarvoor in 2014 zijn geformuleerd, hebben AI-onderzoekers in dienst van Google de Transformer-aanpak voor deep learning in 2017 uiteengezet in een wetenschappelijke paper. Dat heeft de ontwikkeling van AI-toepassingen in een stroomversnelling gebracht.

De nu opgesprongen Chinese concurrent voor OpenAI en diens ChatGPT is in april dit jaar opgezet door Wang Xiaochuan. Hij heeft toen al vrij snel 50 miljoen dollar aan investeringen binnengehaald. OpenAI kan echter prat gaan op miljardeninvesteringen, onder meer van techreus Microsoft.

Miljarden en biljoenen tokens

De startup die het wil opnemen tegen OpenAI gebruikt voor zijn taalmodellen zowel Chineestalige als Engelstalige data. Volgens de GitHub-pagina is het Baichuan-model open source en is het geoptimaliseerd voor commercieel gebruik. Daarvoor is Baichuan-13 getraind op 1,4 biljoen (trillion in het Amerikaans) tokens, wat een flinke stap meer is dan de 1 biljoen tokens waar Facebooks moederbedrijf Meta zijn LLaMa (Large Language Model Meta AI) op heeft getraind.

De ontwikkelsnelheid van de drie maanden jonge Chinese AI-startup is indrukwekkend. In juni heeft het bedrijf al zijn eerste LLM uitgebracht, Baichuan-7B dat getraind is op 7 miljard tokens. OpenAI's inmiddels 'verouderde' GPT-3 is getraind op ongeveer 500 miljard tokens. Inmiddels zijn er al de verbeterde opvolgers GPT-3.5 en GPT-4. De Chinese tech-entrepeneur Wang heeft eerder al verklaard dat zijn AI-startup op koers ligt om eind dit jaar een LLM uit te brengen dat op een vergelijkbaar niveau is als GPT-3.5 van OpenAI.