Publieke pijnbank klaargezet voor belangrijkste 'large language' AI-modellen
Tijdens de grote hackersconferentie Defcon in Las Vegas van 10 tot 13 augustus is speciaal ruimte ingericht voor het fileren van bekende en minder bekende large language models (LLM). Tot nog toe werd dit werk vooral door bedrijven als OpenAI en Google binnenshuis gedaan en de resultaten ervan waren niet publiek beschikbaar. Met wat de Defcon AI Village-organisatie noemt de "grootste red teaming exercise" uitgevoerd op welke groep AI-modellen dan ook, moet daar verandering in komen.
© Shutterstock
Shutterstock
Defcon verwacht dat in dit onderdeel van het evenement duizenden hackers aan de slag gaan, waaronder ook honderden studenten van minder bekende instituten en communities. Het doel is zo veel mogelijk fouten te vinden in de werking van de AI-modellen. Het gaat niet alleen om traditionele beveiligingsfouten, maar ook om meer LLM-specifieke problemen als hallucineren, bias en jailbreaks.
Nu komen dergelijke fouten regelmatig naar voren in het gebruik, dus het wordt prijsschieten voor de deelnemers aan AI Village van Defcon. De initiatiefnemer van Defcon AI Village - Sven Cattell - vindt dat de controle op de werking en dus de fouten van dergelijke AI-systemen niet beperkt mag zijn tot de interne ontwikkel- en testafdelingen van de bedrijven die dergelijke modellen creëren. Hij stelt dat de wezenlijke problemen met deze technologie niet opgelost gaan worden als niet veel meer mensen de gelegenheid krijgen om de modellen aan de tand te voelen. Cattell ziet graag een systeem met bug bounties ontstaan, zoals dat ook voor de veiligheidsaspecten van veelgebruikte software bestaat.
Heel wat bedrijven stellen zich kwetsbaar op
Het wordt de deelnemers aan AI Village zo makkelijk mogelijk gemaakt. Er zijn laptops beschikbaar en een tijdelijke toegang tot een flink aantal large language models. Anthropic, Google, Hugging Face, Nvidia, OpenAI en Stability hebben al toegezegd modellen beschikbaar te stellen. Mogelijk doet ook Microsoft mee. Voor degene die de meeste punten weet te scoren is een high-end Nvidia GPU beschikbaar.
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee