Tjaren geleden publiceerde de Oxford-filosoof Nick Bostrom Superintelligentie, een boek dat onderzoekt hoe superintelligente machines kunnen worden gemaakt en wat de implicaties van dergelijke technologie kunnen zijn. Eén ervan was dat zo’n machine, als ze werd gecreëerd, moeilijk te controleren zou zijn en zelfs de wereld zou kunnen overnemen om haar doelen te bereiken (wat in Bostroms gevierde gedachte-experiment het maken van paperclips was).
Het boek verkocht zeer goed, wat aanleiding gaf tot levendige debatten, maar ook tot veel onenigheid. Critici klaagden dat het gebaseerd was op een simplistische kijk op “intelligentie”, dat het de waarschijnlijkheid overschatte dat er in de nabije toekomst superintelligente machines zouden verschijnen, en dat het geen geloofwaardige oplossingen voorstelde voor de problemen die het opriep. Maar het had de grote verdienste dat het mensen aan het denken zette over een mogelijkheid die tot nu toe beperkt was gebleven tot de verder afgelegen grenzen van de academische wereld en de sciencefiction.
Nu, tien jaar later, volgt opnieuw een schot op hetzelfde doelwit. Deze keer is het echter geen boek, maar een substantieel (165 pagina’s tellend) essay getiteld Situational Awareness: The Coming Decade. De auteur is een jonge Duitser, Leopold Aschenbrenner, die nu in San Francisco woont en rondhangt in de cerebrale kringen van het Silicon Valley-publiek. Op papier klinkt hij een beetje als een wonderkind in de stijl van Sam Bankman-Fried: een wiskundetovenaar die in zijn tienerjaren afstudeerde aan een Amerikaanse elite-universiteit, tijd in Oxford doorbracht met het Future of Humanity Institute-publiek en werkte voor de ‘superalignment’ van OpenAI. team (inmiddels opgeheven), voordat hij een investeringsmaatschappij startte die zich richtte op AGI (Artificial General Intelligence) met financiering van de gebroeders Collison, Patrick en John – de oprichters van Stripe – een paar stoere koekjes die geen verliezers steunen.
Deze Aschenbrenner is dus slim, maar hij heeft ook een rol in het spel. Het tweede punt kan relevant zijn omdat de kern van zijn mega-essay is dat superintelligentie op komst is (met AGI als springplank) en dat de wereld er niet klaar voor is.
Het essay bestaat uit vijf delen. De eerste toont het pad van GPT-4 (waar we nu zijn) naar AGI (waarvan hij denkt dat het al in 2027 zou kunnen gebeuren). De tweede volgt een hypothetisch pad van AGI naar daadwerkelijke superintelligentie. Het derde gaat over vier ‘uitdagingen’ die superintelligente machines de wereld zullen opleveren. Deel 4 beschrijft wat hij het ‘project’ noemt dat nodig is om een wereld te besturen die is uitgerust (gedomineerd?) door superintelligente machines. Het vijfde deel is Aschenbrenners boodschap aan de mensheid in de vorm van drie ‘bestaansvormen’ van ‘AGI-realisme’.
In zijn kijk op de manier waarop AI zich in de nabije toekomst zal ontwikkelen, is Aschenbrenner fundamenteel een optimistische determinist, in de zin dat hij extrapoleert vanuit het recente verleden in de veronderstelling dat trends zich voortzetten. Hij kan geen stijgende grafiek zien zonder deze uit te breiden. Het beoordeelt LLM’s (grote taalmodellen) op basis van vaardigheid. GPT-2 was dus het “kleuterschool”-niveau; GPT-3 vormde de “basis”; GPT-4 is een ‘slimme middelbare scholier’ en de enorme toename van de rekenkracht zal ons tegen 2028 blijkbaar leiden naar ‘slimme modellen zoals PhD’s of experts die naast ons kunnen samenwerken als medewerkers’. Waarom beschouwen AI-boosters trouwens altijd PhD-houders als het toonbeeld van menselijke perfectie?
Na 2028 komt de echt grote sprong: van AGI naar superintelligentie. In het universum van Aschenbrenner stopt AI niet bij vaardigheden op menselijk niveau. “Honderden miljoenen AGI’s zouden AI-onderzoek kunnen automatiseren, waardoor een decennium aan algoritmische vooruitgang in één jaar zou kunnen worden samengevat. We zouden snel overgaan van menselijk niveau naar extreem bovenmenselijke kunstmatige-intelligentiesystemen. De kracht – en het gevaar – van superintelligentie zou dramatisch zijn.”
na het promoten van de nieuwsbrief
Het derde deel van het essay bevat een verkenning van hoe zo’n wereld eruit zou kunnen zien, waarbij de nadruk ligt op vier aspecten ervan: de onvoorstelbare (en voor het milieu rampzalige) computervereisten die nodig zijn om deze te laten functioneren; de moeilijkheid om de veiligheid van AI-laboratoria in een dergelijke wereld te handhaven; het probleem van het afstemmen van machines op menselijke doelen (moeilijk, maar niet onmogelijk, volgens Aschenbrenner); en de militaire implicaties van een wereld van superintelligente machines.
Pas wanneer hij bij het vierde van deze thema’s komt, begint Aschenbrenners analyse echt in thema’s uiteen te vallen. Als een steen uit Blackpool loopt de analogie van kernwapens door zijn denken heen. Hij is van mening dat de VS zich in een stadium bevinden wat betreft kunstmatige intelligentie na de eerste Trinity-test van J. Robert Oppenheimer in New Mexico – een voorsprong op de USSR, maar niet lang meer. En in deze metafoor speelt China uiteraard de rol van het Sovjet-imperium.
Plotseling veranderde superintelligentie van een probleem voor de mensheid in een urgente kwestie van de Amerikaanse nationale veiligheid. ‘De VS hebben een voordeel’, schrijft hij. “We moeten hem gewoon houden. En nu zijn we het aan het verpesten. Bovenal moeten we de AI-laboratoria snel en radicaal afsluiten, voordat we in de komende 12 tot 24 maanden de belangrijkste AGI-doorbraken kunnen realiseren… We moeten computerclusters bouwen in de VS, niet in dictaturen die geld aanbieden. En ja, Amerikaanse AI-laboratoria hebben de plicht om samen te werken met de inlichtingengemeenschap en het leger. Het Amerikaanse leiderschap op het gebied van AGI zal geen vrede en vrijheid garanderen door alleen maar de beste apps voor het AI-meisje te creëren. Het is niet mooi, maar we moeten AI bouwen voor de Amerikaanse defensie.”
Het enige dat nodig is, is een nieuw Manhattan-project. En het AGI-industriële complex.
Wat ik lees
Despoot ontslagen
In het voormalige Oostblok zijn ze doodsbang voor een Trump-presidentschap, is een interessant stuk in de Nieuwe Republiek over mensen die het een en ander weten over het leven onder tirannie.
Normandië opnieuw bezocht
D-Day 80 Years After: World War II and the ‘Great Acceleration’ van historicus Adam Tooze reflecteert op de verjaardag van de oorlog.
Een wettige overlast
Monopoly Round-Up: Harvey Weinstein van Antitrust is een blogpost van Matt Stoller over Joshua Wright, een advocaat die jarenlang een verwoestende impact had op de handhaving van de antitrustwetgeving in de VS.