Als je gelooft dat kunstmatige intelligentie ernstige risico’s voor de mensheid met zich meebrengt, dan vervult een professor aan de Carnegie Mellon University momenteel een van de belangrijkste rollen in de technologie-industrie.
Zico Kolter leidt een vierkoppig panel bij OpenAI dat de bevoegdheid heeft om de release van nieuwe AI-systemen door de ChatGPT-maker stop te zetten als hij deze onveilig vindt. Dat zou een technologie kunnen zijn die zo krachtig is dat een boosdoener deze zou kunnen gebruiken om massavernietigingswapens te maken. Het zou ook een nieuwe chatbot kunnen zijn die zo slecht ontworpen is dat het de geestelijke gezondheid van mensen schaadt.
“We hebben het hier niet alleen over existentiële kwesties”, zei Kolter in een interview met The Associated Press. “We hebben het over het hele scala aan veiligheids- en beveiligingsproblemen en kritische onderwerpen die naar voren komen als we beginnen te praten over deze zeer veelgebruikte AI-systemen.”
OpenAI vroeg de computerwetenschapper meer dan een jaar geleden om voorzitter te worden van het Veiligheids- en Beveiligingscomité, maar het standpunt kreeg vorige week nog meer betekenis toen de toezichthouders van Californië en Delaware het toezicht van Kolter tot een belangrijk onderdeel van hun overeenkomsten maakten om OpenAI in staat te stellen een nieuwe bedrijfsstructuur te vormen om gemakkelijker kapitaal aan te trekken en winst te maken.
Veiligheid staat centraal in de missie van OpenAI sinds het tien jaar geleden werd opgericht als een non-profit onderzoekslaboratorium met als doel het bouwen van beter dan menselijke AI die de mensheid ten goede komt. Maar nadat de release van ChatGPT een wereldwijde commerciële hausse op het gebied van AI veroorzaakte, werd het bedrijf ervan beschuldigd producten met spoed op de markt te brengen voordat ze volledig veilig waren, om zo voorop te kunnen blijven lopen in de race. Interne verdeeldheid die leidde tot de tijdelijke afzetting van CEO Sam Altman in 2023 bracht de zorgen dat het bedrijf was afgedwaald van zijn missie naar een breder publiek.
De in San Francisco gevestigde organisatie kreeg te maken met tegenslag – waaronder een rechtszaak van medeoprichter Elon Musk – toen het stappen begon te ondernemen om zichzelf om te vormen tot een meer traditioneel bedrijf met winstoogmerk om zijn technologie verder te ontwikkelen.
Overeenkomsten die OpenAI vorige week samen met de Californische procureur-generaal Rob Bonta en de procureur-generaal van Delaware, Kathy Jennings, heeft aangekondigd, hadden tot doel een aantal van deze zorgen weg te nemen.
De kern van de formele toezeggingen is de belofte dat beslissingen over veiligheid en beveiliging vóór financiële overwegingen moeten komen, aangezien OpenAI een nieuwe onderneming van openbaar nut vormt die technisch gezien onder de controle staat van de non-profitorganisatie OpenAI Foundation.
Kolter zal lid zijn van het bestuur van de non-profitorganisatie, maar niet van het bestuur met winstoogmerk. Maar hij zal “volledige observatierechten” hebben om alle bestuursvergaderingen met winstoogmerk bij te wonen en toegang hebben tot informatie over AI-veiligheidsbeslissingen, volgens Bonta’s memorandum van overeenstemming met OpenAI. Kolter is, naast Bonta, de enige persoon die in het lange document wordt genoemd.
Kolter zei dat de overeenkomsten grotendeels bevestigen dat zijn vorig jaar gevormde veiligheidscommissie de bevoegdheden zal behouden die het al had. De andere drie leden zitten ook in het bestuur van OpenAI – een van hen is de voormalige generaal van het Amerikaanse leger, Paul Nakasone, die commandant was van het Amerikaanse Cyber Command. Altman is vorig jaar teruggetreden uit het veiligheidspanel, een stap die het meer onafhankelijkheid zou geven.
“We hebben de mogelijkheid om dingen te doen zoals uitstel van modelreleases aanvragen totdat aan bepaalde beperkende maatregelen is voldaan”, aldus Kolter. Hij weigerde te zeggen of het veiligheidspanel ooit een vrijgave heeft moeten stopzetten of beperken, daarbij verwijzend naar de vertrouwelijkheid van zijn werkzaamheden.
Kolter zei dat er de komende maanden en jaren een verscheidenheid aan zorgen over AI-agenten zal zijn waarmee rekening moet worden gehouden, van cyberbeveiliging: “Kan een agent die kwaadaardige tekst op internet tegenkomt, per ongeluk gegevens exfiltreren?” – aan veiligheidsproblemen rond de gewichten van AI-modellen, dit zijn numerieke waarden die van invloed zijn op hoe een AI-systeem presteert.
“Maar er zijn ook onderwerpen die óf in opkomst zijn, óf echt specifiek zijn voor deze nieuwe klasse van AI-modellen, die geen echte analogen hebben in de traditionele beveiliging”, zei hij. “Bieden modellen kwaadwillende gebruikers veel betere mogelijkheden als het gaat om zaken als het ontwerpen van biowapens of het uitvoeren van kwaadaardige cyberaanvallen?”
“En ten slotte is er nog de impact van AI-modellen op mensen”, zei hij. “De impact op de geestelijke gezondheid van mensen, de effecten van mensen die met deze modellen omgaan en wat dat kan veroorzaken. Al deze dingen moeten, denk ik, vanuit veiligheidsoogpunt worden aangepakt.”
OpenAI heeft dit jaar al kritiek gekregen op het gedrag van zijn vlaggenschip-chatbot, waaronder een rechtszaak wegens dood door schuld van Californische ouders wier tienerzoon in april zelfmoord pleegde na langdurige interacties met ChatGPT.
Kolter, directeur van de machine learning-afdeling van Carnegie Mellon, begon begin jaren 2000 als eerstejaarsstudent aan de Georgetown University AI te bestuderen, lang voordat het in de mode was.
“Toen ik met machine learning begon te werken, was dit een esoterisch nichegebied”, zegt hij. “We noemden het machine learning omdat niemand de term AI wilde gebruiken, omdat AI een ouderwets vakgebied was dat te veel beloofde en te weinig opleverde.”
De 42-jarige Kolter volgt OpenAI al jaren en was zo dicht bij de oprichters dat hij in 2015 het lanceringsfeest op een AI-conferentie bijwoonde. Toch had hij niet verwacht hoe snel AI zich zou ontwikkelen.
“Ik denk dat heel weinig mensen, zelfs mensen die diep in machine learning werken, echt anticipeerden op de huidige staat waarin we ons bevinden, de explosie van capaciteiten, de explosie van risico’s die zich nu voordoen”, zei hij.
Voorstanders van AI-veiligheid zullen de herstructurering van OpenAI en het werk van Kolter nauwlettend in de gaten houden. Een van de scherpste critici van het bedrijf zegt dat hij ‘voorzichtig optimistisch’ is, vooral als de groep van Kolter ‘echt in staat is personeel aan te nemen en een robuuste rol te spelen’.
“Ik denk dat hij het soort achtergrond heeft dat logisch is voor deze rol. Hij lijkt een goede keuze om deze rol te leiden”, zegt Nathan Calvin, algemeen adviseur bij de kleine non-profitorganisatie voor AI-beleid Encode. Calvin, op wie OpenAI zich richtte met een dagvaarding bij hem thuis als onderdeel van zijn feitenonderzoek ter verdediging tegen de Musk-rechtszaak, zei dat hij wil dat OpenAI trouw blijft aan zijn oorspronkelijke missie.
“Sommige van deze toezeggingen kunnen heel groot zijn als de bestuursleden ze serieus nemen,” zei Calvin. “Het kunnen ook gewoon de woorden op papier zijn en behoorlijk los staan van alles wat er daadwerkelijk gebeurt. Ik denk dat we nog niet weten in welke van die woorden we ons bevinden.”
