Waarschuwing: code gegenereerd door AI kan gaten geven

De wetenschappers baseren hun conclusie en waarschuwing op eigen onderzoek naar Codex, een AI-systeem van OpenAI dat code kan genereren. Deze tech-toepassing van kunstmatige intelligentie wordt onder meer gebruikt door Copilot, schrijft TechCrunch. Codex is getraind op miljarden regels openbare code en kan zelf extra regels code en ook functies voorstellen, aan de hand van de context van bestaande code. Een ontwikkelaar kan ook zelf een beschrijving geven van wat hij/zij/hen wil bereiken, waarop Codex dan een aanpak of oplossing aanreikt.

Denken dat het wél veilig is

Maar het is volgens de onderzoekers een slecht idee om blind op dergelijke systemen te vertrouwen. Zij vroegen 47 ontwikkelaars - uiteenlopend van studenten tot werkende developers met tientallen jaren ervaring - om met Codex security-gerelateerde problemen op te lossen in programmeertalen als Python, JavaScript en C. Uit dit onderzoek blijkt echter dat de ontwikkelaars vaker foute en onveilige oplossingen voor problemen maakten dan een controlegroep die Codex niet kon gebruiken. De kans dat de eerste groep zegt dat hun onveilige code wél veilig is, is bovendien groter dan onder deelnemers in de controlegroep.

Dergelijke codeschrijvende AI-systemen zijn dus nog geen vervanging voor menselijke ontwikkelaars, zegt onderzoeker Neil Perry tegen TechCrunch. Hij is een PhD-kandidaat bij de Stanford-universiteit en mede-hoofdauteur van de paper op basis van dit onderzoek. Hij stelt dat ontwikkelaars in ieder geval alle outputs goed moeten controleren op fouten, evenals de context waarin de aangedragen suggesties gebruikt worden. Daarnaast moeten ontwikkelaars erg voorzichtig met de tools omspringen als zij AI-systemen gebruiken voor taken die niet in hun eigen expertisegebied liggen.

Toch best te gebruiken

Toch zijn de AI-systemen niet nutteloos, stelt Megha Srivastava, postdoctoraal student bij Stanford en mede-auteur van het onderzoek. Volgens de onderzoeker zijn dergelijke tools wel te gebruiken bij taken met een laag risico, zoals verkennende onderzoekscode. Bovendien kunnen dit soort AI-systemen nog beter worden als ze verder afgestemd worden op de omgeving waarin ze gebruikt worden. 

Wie dergelijke tools dan toch wil veilig wil gebruiken, kan bijvoorbeeld een mechanisme inzetten dat vragen van gebruikers iets meer aanscherpt. De onderzoekers vergelijken dat zelf met een leidinggevende die conceptversies van programmeercode bekijkt en verbetert. Daarnaast geven de onderzoekers het advies aan makers van cryptografische libraries om goed te controleren of hun standaardinstellingen veilig zijn, aangezien systemen die code genereren vaak de standaardwaardes behouden. Dergelijke default-waardes zijn echter niet altijd helemaal veilig.