Ben Edwards
In juli vorig jaar kondigde OpenAI de vorming aan van een nieuw onderzoeksteam om zich voor te bereiden op de opkomst van superslimme kunstmatige intelligentie die in staat is zijn makers te slim af te zijn en te overweldigen. Ilya Sutskever, hoofdwetenschapper van OpenAI en een van de medeoprichters van het bedrijf, is benoemd tot medeleider van dit nieuwe team. OpenAI zei dat het team 20 procent van zijn rekenkracht zal ontvangen.
Het ‘superalignment-team’ van OpenAI is nu verdwenen, bevestigt het bedrijf. Na het vertrek van een aantal betrokken onderzoekers komt dinsdag het nieuws dat Sutskever het bedrijf gaat verlaten ontslag de andere co-leider van het team. Het werk van de groep zal worden opgenomen in andere OpenAI-onderzoeksinspanningen.
Het vertrek van Sutskever haalde de krantenkoppen, want hoewel hij CEO Sam Altman hielp bij het lanceren van OpenAI in 2015 en de richting bepaalde van het onderzoek dat leidde tot ChatGPT, was hij ook een van de vier bestuursleden die Altman in november ontsloeg. Altman werd vijf chaotische dagen later opnieuw aangesteld als CEO na een massale opstand van OpenAI-personeel en het sluiten van een deal waarbij Sutskever en twee andere bedrijfsdirecteuren het bestuur verlieten.
Uren nadat het vertrek van Sutskever dinsdag werd aangekondigd, zei Jan Leike, een voormalige DeepMind-onderzoeker en de andere co-leider van het superalignment-team, gepubliceerd op X dat hij ontslag nam.
Noch Sutskever noch Leike reageerden op verzoeken om commentaar. Sutskever gaf geen verklaring voor zijn besluit om te vertrekken, maar hij bood wel steun voor het huidige pad van OpenAI in een bericht op X. “Het traject van het bedrijf is niets minder dan wonderbaarlijk geweest, en ik heb er vertrouwen in dat OpenAI een AGI zal bouwen die veilig en nuttig is”, schreef hij.
Leica aangekondigd draad op X op vrijdag, waarin hij uitlegde dat zijn beslissing voortkwam uit een meningsverschil over de prioriteiten van het bedrijf en hoeveel middelen aan zijn team waren toegewezen.
“Ik ben al een tijdje in conflict met het leiderschap van OpenAI over de belangrijkste prioriteiten van het bedrijf, totdat we uiteindelijk een omslagpunt bereikten”, schreef Leike. “De afgelopen maanden heeft mijn team tegen de wind in gevaren. Soms hadden we moeite met rekenen en werd het steeds moeilijker om dit cruciale onderzoek te doen.”
De ontbinding van het supertuningteam van OpenAI draagt bij aan recente bewijzen van onrust binnen het bedrijf na een managementcrisis afgelopen november. Twee onderzoekers van het team, Leopold Aschenbrenner en Pavel Izmailov, werden ontslagen wegens het lekken van bedrijfsgeheimen, zo meldde The Information vorige maand. Een ander teamlid, William Saunders, verliet OpenAI in februari, volgens een online forumpost namens hem.
Nog twee OpenAI-onderzoekers die zich bezighouden met AI-beleid en -bestuur lijken het bedrijf onlangs te hebben verlaten. Volgens LinkedIn verliet Cullen O’Keefe in april zijn rol als hoofd van het beleidsgrensonderzoek. Daniel Kokotajlo, een OpenAI-onderzoeker die co-auteur is van verschillende artikelen over de gevaren van capabelere AI-modellen, “verliet OpenAI vanwege een verlies aan vertrouwen dat het zich verantwoordelijk zal gedragen in het tijdperk van AGI”, aldus een bericht op een onlinesite. forum namens hem. . Geen van de onderzoekers die blijkbaar vertrokken, reageerde op verzoeken om commentaar.
OpenAI weigerde commentaar te geven op het vertrek van Sutskever of andere leden van het superalignment-team, of op de toekomst van zijn werk op het gebied van AI-risico’s op de lange termijn. Het onderzoek naar de risico’s die gepaard gaan met krachtigere modellen zal nu worden geleid door John Schulman, die na de training mede leiding geeft aan het team dat verantwoordelijk is voor het verfijnen van de AI-modellen.
Het superalignment-team was niet het enige team dat nadacht over hoe AI onder controle kon worden gehouden, hoewel het publiekelijk wordt gepositioneerd als het belangrijkste team dat aan de verste versie van het probleem werkt. In een blogpost waarin het superalignment-team afgelopen zomer werd aangekondigd, stond: “We hebben momenteel geen oplossing om potentieel superintelligente AI te beheren of te controleren en te voorkomen dat deze schurkenstaten wordt.”
Het charter van OpenAI verplicht het bedrijf tot de veilige ontwikkeling van zogenaamde kunstmatige algemene intelligentie, of technologie die de mens kan evenaren of overtreffen, veilig en ten behoeve van de mensheid. Sutskever en andere leiders daar spraken vaak over de noodzaak om voorzichtig te werk te gaan. Maar OpenAI was ook vroeg met het ontwikkelen en openbaar maken van experimentele AI-projecten voor het publiek.
OpenAI was ooit ongebruikelijk onder vooraanstaande AI-laboratoria vanwege de ijver waarmee onderzoeksleiders als Sutskever spraken over de creatie van bovenmenselijke kunstmatige intelligentie en het potentieel van dergelijke technologie om de mensheid voort te stuwen. Dat soort verdomde AI-praat kwam vorig jaar veel vaker voor nadat ChatGPT OpenAI tot het meest prominente en meest bezochte technologiebedrijf ter wereld maakte. Terwijl onderzoekers en beleidsmakers worstelden met de implicaties van ChatGPT en het vooruitzicht van aanzienlijk capabelere AI, werd het minder controversieel om bang te zijn dat AI mensen of de mensheid als geheel zou schaden.
De existentiële angst is sindsdien bekoeld – en AI moet nog een grote sprong maken – maar de noodzaak om AI te reguleren blijft een hot topic. En deze week onthulde OpenAI een nieuwe versie van ChatGPT die de relatie van mensen met technologie opnieuw op krachtige en misschien problematische nieuwe manieren zou kunnen veranderen.
Het vertrek van Sutskever en Leike komt kort na de laatste grote onthulling van OpenAI – een nieuw “multimodaal” AI-model genaamd GPT-4o waarmee ChatGPT de wereld kan zien en op een meer natuurlijke en mensachtige manier kan praten. Een live demo liet zien hoe de nieuwe versie van ChatGPT menselijke emoties nabootst en zelfs met gebruikers probeert te flirten. OpenAI zei dat het de nieuwe interface binnen een paar weken beschikbaar zal maken voor betalende gebruikers.
Er zijn geen aanwijzingen dat het recente vertrek iets te maken heeft met de inspanningen van OpenAI om mensachtige kunstmatige intelligentie te ontwikkelen of producten te leveren. Maar de nieuwste ontwikkelingen roepen ethische vragen op over privacy, emotionele manipulatie en cyberveiligheidsrisico’s. OpenAI heeft een andere onderzoeksgroep, het Readiness Team, die zich op deze vragen richt.
Dit verhaal verscheen oorspronkelijk op wired.com.