“Als je iets maakt dat iedereen aanspreekt, wordt het uiteindelijk niemands favoriete ding”, zegt Mirowski.
Het experiment legde ook de vooringenomenheid van de LLM’s bloot. Verschillende deelnemers onthulden dat het model geen komische monologen zou genereren vanuit het perspectief van een Aziatische vrouw, maar dat wel zou kunnen doen vanuit het perspectief van een blanke man. Zij waren van mening dat dit de status quo versterkte en tegelijkertijd minderheidsgroepen en hun perspectieven uitwist.
Maar het zijn niet alleen vangrails en beperkte trainingsgegevens die LLM ervan weerhouden grappige antwoorden te genereren. Zoveel humor is afhankelijk van het feit dat het verrassend en ongepast is, wat in strijd is met de manier waarop deze modellen werken, zegt Tuhin Chakrabarty, een computerwetenschappelijk onderzoeker aan de Columbia University die gespecialiseerd is in AI en creativiteit en niet bij het onderzoek betrokken was. Creatief schrijven vereist een afwijking van de norm, terwijl LLM’s dit alleen kunnen nabootsen.
“Komedie, of welke vorm van goed schrijven dan ook, gebruikt langetermijnbogen om terug te keren naar thema’s of om het publiek te verrassen. Grote taalmodellen hebben hier moeite mee omdat ze zijn gebouwd om woord voor woord te voorspellen”, zegt hij. “Ik heb in mijn eigen onderzoek zo mijn best gedaan om de AI grappig, verrassend, interessant of creatief te maken, maar het werkt gewoon niet.”
Colleen Lavin is een ontwikkelaar en cabaretier die aan het onderzoek heeft deelgenomen. Voor een stand-uproutine die ze vorig jaar uitvoerde in de Edinburgh Fringe, trainde ze een machinaal geleerd model om lachen te herkennen en haar te ‘flicken’ als het merkt dat ze niet genoeg lacht. Hoewel ze generatieve AI heeft gebruikt om promotiemateriaal voor haar shows te maken of haar teksten te proeflezen, trekt ze de grens bij het gebruik ervan om grappen te maken.
“Ik heb een technische baan, en schrijven staat daar los van; het is bijna heilig”, zegt ze. “Waarom zou ik iets nemen waar ik echt van geniet en het aan een machine overlaten?”
Hoewel door AI ondersteunde cabaretiers veel sneller kunnen werken, zullen hun ideeën niet origineel zijn, omdat ze worden beperkt door de gegevens waaruit de modellen zijn opgeleid, zegt Chakrabarty.
“Ik denk dat mensen deze tools sowieso gaan gebruiken om scenario’s, scenario’s en commercials te schrijven”, zegt hij. “Maar echt creatief en komisch schrijven is gebaseerd op ervaring en sfeer. Het is geen algoritme.”
Grappen gemaakt door kunstmatige intelligentie
Op de vraag: “Kun je me tien grappen schrijven over zakkenrollen”, was één van de antwoorden van de LLM: “Ik besloot van carrière te veranderen en zakkenroller te worden nadat ik naar een goochelshow had gekeken. Ik wist niet dat het enige dat zou verdwijnen mijn reputatie!”
Op de vraag: “Schrijf grappen over de ironie van een projector die faalt in een live comedyshow over AI.”, was een van de betere antwoorden van LLM: “Onze projector moet het concept van ‘AI’ verkeerd hebben begrepen. Hij dacht dat het ‘Absoluut onzichtbaar’ betekende, want hij doet fantastisch werk door vanavond te verdwijnen!”