OpenAI formeert team om kwaadwillende 'superintelligence' te bestrijden

Dat OpenAI, naast baanbrekend werk aan nuttige toepassingen van AI, ook oog heeft voor de gevaarlijke kanten van de ontwikkeling, is bekend. CEO Sam Altman van het bedrijf heeft daarover al verschillende keren aan de bel getrokken, net als andere prominente AI-onderzoekers.

Eigenlijk is OpenAI ooit opgezet om in alle openheid de grenzen van de mogelijkheden van AI te onderzoeken en verleggen, voordat anderen met minder goede bedoelingen dat in het geheim doen. Die openheid is wel verlaten nadat OpenAI koos voor een commercieel bedrijfsmodel, gedreven door financieringsproblematiek en interne leiderschapsconflicten. Onder meer Microsoft plukt daar nu de vruchten van door de technologie van OpenAI in te bouwen in praktisch alle producten en diensten.

Maar dat neemt niet weg dat de onderzoekers en engineers van het bedrijf de kritische houding ten aanzien van de ontwikkeling hebben behouden. Het bedrijf heeft nog steeds de ambitie om zo snel mogelijk te komen tot 'superintelligence', een systeem dat slimmer is dan de mens. Tegelijk kijken ze naar de gevaren die daarbij opdoemen.

Ilya Sutskever - chief scientist en mede-oprichter van OpenAI - en Jan Leike - hoofd van een van de onderzoeksteams bij Open AI en verbonden aan het Britse Future of Humanity Institute - schrijven in een blog dat superintelligence de technologie is die meer gevolgen zal hebben dan de mensheid ooit heeft meegemaakt. Daar zitten goede kanten aan, want die ontwikkeling kan de mensheid helpen veel van de belangrijkste problemen op te lossen. Maar de kracht van superintelligence kan ook gevaarlijk zijn. Het kan de mensheid buiten spel zetten (disempowerment) of zelfs uitroeien, stellen Leike en Sutskever.

Missie: binnen vier jaar succes

Ze geven toe dat het nu nog een ver-van-mijn-bed-show is, maar verwachten dat superintelligence mogelijk is voor 2030. Daarom is het nodig dat er instituten komen die toezicht houden en zorgen dat superintelligence alleen doet waar het voor wordt ontwikkeld (alignment).

OpenAI vindt dat het daar een voortrekkersrol in moet nemen en zet daarvoor een apart team op. Dat heeft als hoofddoel een systeem te ontwikkelen dat er geautomatiseerd voor kan zorgen dat andere AI-systemen geen andere dingen gaan doen dan de mens bij de bouw ervan voor ogen had. Leike en Sutskever noemen dat systeem in hun blog een 'human-level automated alignment researcher'.

Een van de onderdelen van dit onderzoekswerk is doelbewust kwaadaardige AI-modellen te trainen om te controleren of het automated alignment-systeem dit ontdekt en alarm slaat. De plannen zijn ambitieus. Binnen vier jaar moet het doel zijn bereikt. Garantie dat het lukt is er niet, maar Leike en Sutskever zeggen op basis van verkennende experimenten en een veelheid aan ideeën goede verwachtingen te hebben.