Gary Marcus: Waarom hij de grootste criticus van kunstmatige intelligentie werd

Je hebt misschien gelezen over de getuigenis van Gary Marcus voor de Senaat in mei 2023, toen hij naast Sam Altman zat en opriep tot strikte regulering van Altmans bedrijf, OpenAI, en van andere technologiebedrijven die plotseling all-in zijn gegaan op generatieve AI. . Misschien heb je enkele van zijn argumenten op Twitter opgemerkt met Geoffrey Hinton en Yann LeCun, twee van de zogenaamde ‘Godfathers of AI’. Op de een of andere manier kennen de meeste mensen die tegenwoordig aandacht besteden aan kunstmatige intelligentie de naam Gary Markus, en ze weten dat hij niet blij is met de huidige staat van AI.

Hij zet zijn zorgen volledig uiteen in zijn nieuwe boek, Silicon Valley temmen: hoe we AI voor ons kunnen laten werkenvandaag gepubliceerd door de MIT Press. Marcus doorloopt de directe gevaren die generatieve AI met zich meebrengt, waaronder zaken als in massa geproduceerde desinformatie, het gemakkelijk creëren van deep-fake-pornografie en de diefstal van creatief intellectueel eigendom om nieuwe modellen te trainen (hij neemt de AI-apocalyps niet mee als gevaar, hij is geen doem). Hij vraagt ​​zich ook af hoe Silicon Valley de publieke opinie en het overheidsbeleid heeft gemanipuleerd, en legt zijn ideeën uit voor het reguleren van AI-bedrijven.

Marcus studeerde cognitieve wetenschappen bij de legendarische Steven Pinker, was jarenlang professor aan de New York University en was medeoprichter van twee kunstmatige-intelligentiebedrijven, Geometrische Intelligence en Robust.AI. Hij sprak met IEEE-spectrum over zijn reis naar dit punt.

Wat was je eerste kennismaking met AI?

Gary MarcusBen Wong

Gary Marcus: Nou, ik begon met coderen toen ik acht jaar oud was. Een van de redenen waarom ik de laatste twee jaar van de middelbare school kon overslaan, was omdat ik op mijn Commodore 64 een vertaler Latijn-naar-Engels schreef in de programmeertaal Logo. Dus tegen de tijd dat ik 16 was, zat ik al in universiteit en werkt aan AI en cognitieve wetenschappen.

Dus je was al geïnteresseerd in AI, maar je hebt cognitieve wetenschappen gestudeerd in zowel je bachelor als je doctoraat. bij MIT.

Marcus: Een deel van de reden waarom ik de cognitieve wetenschap ben gaan studeren, was dat ik dacht dat als ik zou begrijpen hoe mensen denken, dit misschien zou kunnen leiden tot nieuwe benaderingen van AI. Ik denk dat we een brede kijk moeten hebben op hoe de menselijke geest werkt als we echt geavanceerde kunstmatige intelligentie willen bouwen. Als wetenschapper en filosoof zou ik zeggen dat het nog steeds onbekend is hoe we kunstmatige algemene intelligentie of zelfs maar een betrouwbare algemene kunstmatige intelligentie zullen opbouwen. Maar dat is ons niet gelukt met deze grote statistische modellen, en we hebben ze een grote kans gegeven. In feite werd 75 miljard dollar uitgegeven aan generatieve kunstmatige intelligentie, en nog eens 100 miljard dollar aan zelfrijdende auto’s. En geen van hen heeft een stabiele AI geproduceerd waarop we kunnen vertrouwen. We weten niet zeker wat we moeten doen, maar we hebben goede redenen om te denken dat alleen maar dingen groter maken niet zal werken. De huidige aanpak stuit steeds weer op dezelfde problemen.

Wat zijn volgens jou de belangrijkste problemen waarmee hij voortdurend wordt geconfronteerd?

Marcus: Nummer één zijn hallucinaties. Deze systemen halen veel woorden door elkaar en komen met dingen die soms waar zijn en andere niet. Dat ik zeg dat ik een kip heb die Henrietta heet, is gewoon niet waar. En dat doen ze veel. We hebben dit bijvoorbeeld zien gebeuren bij advocaten die nota’s schreven met fictieve zaken.

Ten tweede is hun redenering zeer slecht. Mijn favoriete voorbeelden van de laatste tijd zijn deze rivieroversteekproblemen waarbij je een man en een kool en een wolf en een geit hebt die moeten oversteken. Het systeem heeft veel geleerde voorbeelden, maar begrijpt niet echt wat er aan de hand is. Als je hem een ​​eenvoudiger probleem geeft, zoals Doug Hofstadter mij stuurde, zoals: ‘Een man en een vrouw hebben een boot en willen een rivier oversteken. Wat zijn ze aan het doen?” Hij bedenkt deze gekke oplossing waarbij een man de rivier oversteekt, de boot daar achterlaat, terugzwemt, er gebeurt iets.

Soms neemt hij kool mee, gewoon voor de lol.

Marcus: Dat zijn dus hardnekkige inschattingsfouten waarbij er duidelijk iets mis is. Elke keer dat we op deze fouten wijzen, zegt iemand: “Ja, maar we krijgen nog meer gegevens. Wij zullen het repareren.” Nou, dat hoor ik al bijna dertig jaar. En hoewel er enige vooruitgang is geboekt, zijn de kernproblemen niet veranderd.

Laten we teruggaan naar 2014, toen u uw eerste AI-bedrijf oprichtte: Geometrische Intelligence. Ik neem aan dat u destijds meer optimistisch was over AI?

Marcus: Ja, ik was veel meer in de stemming. Ik was niet alleen optimistischer over de technische kant. Ik was ook meer geneigd tegenover mensen die AI voor het goede gebruikten. Vroeger voelde AI als een kleine onderzoeksgemeenschap van mensen die de wereld echt wilden helpen.

Wanneer zijn er teleurstellingen en twijfels ontstaan?

Marcus: In 2018 dacht ik al dat deep learning overhyped werd. Dat jaar schreef ik dit stuk genaamd ‘Deep Learning, Critical Assessment’, waar Yann LeCun destijds een hekel aan had. Ik was al niet tevreden met deze aanpak en dacht niet dat het zou werken. Maar dat is toch niet hetzelfde als teleurgesteld zijn?

Toen de grote taalmodellen populair werden [around 2019]Ik vond het meteen een slecht idee. Ik dacht gewoon dat dit de verkeerde manier was om AI vanuit filosofisch en technisch perspectief na te streven. En het werd duidelijk dat de media en sommige mensen in machine learning door de hype werden misleid. Dat stoorde mij. Dus schreef ik artikelen over GPT-3 [an early version of OpenAI’s large language model] anno 2020 een onzinkunstenaar zijn. Als wetenschapper was ik destijds behoorlijk teleurgesteld op dit gebied. En toen werd het nog veel erger toen ChatGPT in 2022 uitkwam en het grootste deel van de wereld alle perspectief verloor. Ik begon me steeds meer zorgen te maken over desinformatie en hoe grote taalmodellen deze zouden versterken.

Je maakt je niet alleen zorgen over startups, maar ook over grote, gevestigde technologiebedrijven die op de generatieve AI-bandwagon springen, toch? Zoals Microsoft, dat samenwerkte met OpenAI?

Marcus: De laatste druppel die mij deed overstappen van AI-onderzoek naar beleidswerk was toen duidelijk werd dat Microsoft hoe dan ook door zou gaan met haasten. Het was heel anders dan in 2016 toen ze uitkwamen [an early chatbot named] Tay. Het was slecht, ze haalden het twaalf uur later van de markt, en toen schreef Brad Smith een boek over verantwoorde AI en wat ze leerden. Maar eind februari 2023 was het duidelijk dat Microsoft de manier waarop ze hierover dachten echt had veranderd. En toen hadden ze dit belachelijke artikel ‘Sparks of AGI’, waarvan ik denk dat het de grootste hype was. En ze hebben Sydney niet meegenomen na Kevin Roose’s gekke praatje [the chatbot] Sydney zei dat hij moest scheiden en zo. Het werd mij zojuist duidelijk dat de sfeer en waarden van Silicon Valley inderdaad zijn veranderd, en niet op een goede manier.

Ik ben ook teleurgesteld in de Amerikaanse regering. Ik denk dat de regering-Biden goed werk heeft geleverd met hun uitvoeringsbesluit. Maar het werd duidelijk dat de Senaat niet de noodzakelijke actie zou ondernemen. Ik sprak in mei 2023 in de Senaat. Ik had toen het gevoel dat beide partijen erkenden dat we dit niet allemaal aan zelfregulering kunnen overlaten. En toen was ik teleurgesteld [with Congress] het afgelopen jaar, en dat heeft geleid tot het schrijven van dit boek.

U praat veel over de risico’s die inherent zijn aan de huidige generatieve AI-technologie. Maar dan zeg je ook: ‘Het werkt niet zo goed.’ Zijn de twee visies coherent?

Marcus: Er was een kop: “Gary Marcus noemde AI dom, nu noemt hij het gevaarlijk.” De implicatie was dat de twee dingen niet naast elkaar konden bestaan. Maar in feite bestaan ​​ze naast elkaar. Ik denk nog steeds dat Gen AI dom is en zeker niet te vertrouwen of op te rekenen. En toch is het gevaarlijk. En sommige gevaren komen eigenlijk voort uit zijn domheid. Het is dus bijvoorbeeld niet goed geworteld in de wereld, dus het is gemakkelijk voor een slechte acteur om het te manipuleren om allerlei soorten onzin te zeggen. Nu kan er een toekomstige AI zijn die om een ​​andere reden gevaarlijk kan zijn, omdat deze zo slim en sluw is dat hij mensen te slim af is. Maar dat is niet de huidige stand van zaken.

U zei dat generatieve AI een zeepbel is die op barsten staat. Waarom denk je dat?

Marcus: Voor alle duidelijkheid: ik denk niet dat generatieve AI zal verdwijnen. Voor sommige doeleinden is dit een goede methode. Als u automatisch aanvullen wilt maken, is dit de beste methode die ooit is uitgevonden. Maar er is sprake van een financiële zeepbel omdat mensen AI-bedrijven waarderen alsof ze AI kunnen oplossen. Volgens mij is dat niet realistisch. Ik denk niet dat we zelfs maar in de buurt van AGI zijn. Dus je blijft zitten met: “Oké, wat kun je doen met generatieve kunstmatige intelligentie?”

Omdat Sam Altman vorig jaar zo’n goede verkoper was, fantaseerde iedereen dat we binnenkort AGI zouden hebben en dat je deze tool in elk aspect van elk bedrijf zou kunnen gebruiken. En een heleboel bedrijven hebben een hoop geld uitgegeven aan het testen van generatieve AI op allerlei dingen. Dus brachten ze er 2023 mee door. En wat je in 2024 zag, waren rapporten waarin onderzoekers naar gebruikers van Microsofts Copilot gingen (niet de codeertool, maar de meer algemene AI-tool) en zij zeiden: “Ja, dat werkt niet echt zo goed.” Vorig jaar waren er veel van dit soort recensies.

De realiteit is dat AI-bedrijven momenteel geld verliezen. OpenAI leed vorig jaar een operationeel verlies van ongeveer $ 5 miljard. Misschien kun je een gen-AI van $ 2 miljard verkopen aan menselijke onderzoekers. Maar tenzij ze het voortdurend adopteren en je veel meer geld betalen, zal het niet werken. Ik begon OpenAI een mogelijke WeWork AI te noemen nadat het op 86 miljard dollar werd gewaardeerd. Wiskunde leek me gewoon niet logisch.

Wat wMoet ik je ervan overtuigen dat je ongelijk hebt? Wat zou een duizelingwekkend moment zijn?

Marcus: Nou, ik heb veel verschillende beweringen gedaan, en ze kunnen allemaal ongelijk hebben. Wat de technische kant betreft: als iemand een model van pure grote taal zou kunnen krijgen om niet te hallucineren en de hele tijd betrouwbaar te denken, zou ik het mis hebben wat betreft de fundamentele bewering die ik heb gedaan over hoe deze dingen werken. Dus dat zou een manier zijn om mij te weerleggen. Het is nog niet gebeurd, maar het is in ieder geval logisch mogelijk.

Wat de financiële kant betreft, kan ik het gemakkelijk mis hebben. Maar het ding over bubbels is dat ze meestal een functie van de psychologie zijn. Denk ik dat de markt rationeel is? Nee. Dus zelfs als dingen de komende vijf jaar geen geld opleveren, kunnen mensen er geld in blijven steken.

De plaats waar ik graag wil bewijzen dat ik ongelijk heb, is de Amerikaanse Senaat. Ze zouden samen kunnen komen, toch? Ik ren rond en zeg: “Ze gaan niet snel genoeg”, maar ik zou graag willen dat het tegendeel bewezen wordt. Ik heb een lijst met de twaalf belangrijkste risico’s van generatieve AI in het boek. Als de Senaat iets had aangenomen dat feitelijk op alle twaalf van toepassing was, zou mijn cynisme verloren zijn gegaan. Ik zou het gevoel hebben dat ik een jaar lang een boek heb geschreven en ik zou heel erg gelukkig zijn.