OWASP deelt top tien beveiligingsfouten voor grote taalmodellen

OWASP maakt al jaren lijsten met veelvoorkomende beveiligingsfouten. Meest bekend is de top tien voor web-apps, maar er is bijvoorbeeld ook een lijst voor API-fouten. Nu komt daar dus ook een top tien voor LLM's bij. Onder LLM's worden machine learning-modellen verstaan die op enorme hoeveelheden data getraind zijn en ingezet worden in apps als ChatGPT. GPT-4 van OpenAI, BERT en LaMDA 2 van Google en RoBERTa van Meta zijn voorbeelden van LLM's.

Tien risico's (en oplossingen)

In de lijst komen bijvoorbeeld problemen als prompt injection - waarbij gebruikers of aanvallers via specifieke input onbedoelde acties weten uit te lokken bij de LLM - en het rommelen met trainingsdata voor. Maar de lijst waarschuwt net zo goed voor het gedrag van mensen die met de AI-modellen werken. Eén van de grote risico's is namelijk dat mensen en systemen te veel op LLM's vertrouwen, wat kan leiden tot desinformatie, miscommunicatie, juridische problemen en beveiligingsproblemen.

Daarnaast waarschuwt de lijst voor DoS-aanvallen en supply chain-kwetsbaarheden, bijvoorbeeld als er vooraf getrainde modellen, datasets van derde partijen en plugins gebruikt worden. Die kunnen ervoor zorgen dat een LLM gecompromitteerd wordt. Andere risico's omvatten het vrijgeven van gevoelige informatie, het niet goed omgaan met onveilige output, plugins met onveilige toegangscontrole, systemen die acties uitvoeren met onbedoelde gevolgen en de diefstal van LLM-modellen. 

Interessant aan de OWASP Top 10-lijsten is dat de risico's niet alleen benoemd worden, maar er ook aandacht besteed wordt aan oplossingen en mogelijke risicobeperkende maatregelen. Zo kunnen ontwikkelaars, data scientists en beveiligingsexperts voorkomen dat de fouten ook in hun LLM's terechtkomen. 

Updates blijven komen

Steve Wilson, chief product officer bij Contrast Security en Lead bij de OWASP Top 10 voor LLM's, laat op LinkedIn weten dat de lijst is samengesteld door bijna 500 beveiligingsexperts, AI-onderzoekers, ontwikkelaars, leiders uit de industrie en onderzoekers. 130 van de experts hebben actief bijgedragen aan de lijst. 

Het werk aan de lijst stopt niet nu deze verschenen is. "We weten dat terwijl LLM's verder evolueren, deze bron van informatie die ontwikkeling moet bijhouden", aldus Wilson. De top 10 kan in de toekomst dus nog verdere updates krijgen, wat ook gebeurt bij andere OWASP Top 10-lijsten.