Open-source tool moet beschermen tegen misbruik AI-modellen
Een nieuwe, open-source tool moet organisaties beschermen tegen kwetsbaarheden in AI-modellen. In die AI-modellen zitten namelijk beveiligingsrisico’s die misbruikt kunnen worden door kwaadwillen, stellen de makers van de tool.
De tool heet FuzzyAI en is gebaseerd op onderzoek naar onder meer het omzeilen van security-buffers en genereren van schadelijke uitvoer in in-house en in de cloud draaiende AI-modellen. Zo heeft het FuzzyAI-framework jailbreaks uitgevoerd op ‘alle belangrijke AI-modellen’, claimt de ontwikkelaar. In totaal doet de tool meer dan tien verschillende aanvalstechnieken, waaronder verborgen systeemprompts en het omzeilen van ethische filters die zijn ingesteld door AI-reuzen als OpenAI en Google.
Veiligere AI
De werkwijze van de FuzzyAI-tool moet organisaties zo helpen om AI-modellen te testen op zwakke punten. Die methode moet het ontwikkelen en implementeren van AI binnen organisaties veiliger maken. Steeds meer organisaties – in allerlei sectoren – experimenteren met AI om hun medewerkers efficiënter en beter te laten werken.
Eigen aanvalsmethoden
Om het bedrijfsleven op de hoogte te houden van vorderingen, kunnen organisaties ervaringen delen binnen een community. Die opgedane inzichten moet het kennisniveau rondom AI-aanvalstechnieken en -verdedigingsmechanismen verhogen. Organisaties kunnen zelf ook aan de slag met FuzzyAI, door eigen aanvalsmethoden toe te voegen aan de tool. Zo kunnen ze op maat gemaakte testen draaien op hun eigen AI-toepassingen.
FuzzyAI is een tool van CyberArk, een cybersecuritybedrijf dat zich richt op privileged access management. De tool is te raadplegen op de GitHub-pagina van de beveiligingsfirma.
Reacties
Om een reactie achter te laten is een account vereist.
Inloggen Word abonnee