Check nu welke chatbot jou de beste antwoorden geeft

LMYSY Org heeft zelf ook op verschillende manieren de modellen op de pijnbank gelegd. Zo zijn er drie benchmarkstests uitgevoerd op 28 verschillende AI-gebaseerde chatbots. In alle gevallen kwam GPT-4 van OpenAI als beste uit de tests, gevolgd door Claude V1, een chatbot gebaseerd op het Large Language Model van Anthropic.

Maar dat wil niet zeggen dat de uitslag van deze algemene tests altijd de optimale chatbot voor elke specifieke toepassing suggereert. Daarom heeft LMYSY Org ook een 'Chatbot Arena' waar steeds twee chatbots gekozen kunnen worden om tegen elkaar 'te strijden' om het beste resultaat bij een zelfgekozen prompt.

ZDNet ontdekte de testsite en probeerde zelf wat. Daarbij kwam Vicuna-7b - een chatbot gebaseerd op het LLaMA-model van Meta - als beste uit de bus terwijl gpt4all-13b-snoozy - een chatbot van Nomic AI en een aanpassing van LLaMA 13B deed het veel minder goed. De een gaf bijvoorbeeld meer context en een uitgebreider antwoord.

Onderliggend model niet bepalend

Beide modellen die ZDNet testte, hebben hun oorsprong in versies van het LLaMA model van Meta. Zo zijn er meer chatbots die dezelfde basis hebben, maar met een specifieke training zijn geoptimaliseerd voor bepaalde toepassingen. Daardoor is het zinvol zelf een test uit te voeren voor hulp bij een eigen toepassing.

Sommige van deze AI-gebaseerde chatbots zijn gratis te gebruiken. Maar bijvoorbeeld Claude van Anthropic is dat, in ieder geval op dit moment, niet. Claude is wel te benaderen via een implementatie door Slack. Google's in eigen beheer ontwikkelde Bard komt pas op de achtste plek in de ranglijst die LMYSY Org opstelde met behulp van de benchmarks.