Niet-consensuele, door AI gegenereerde afbeeldingen en video’s waarop te zien is dat zangeres Taylor Swift seksuele handelingen verricht, overspoelden vorige week X, de site die voorheen bekend stond als Twitter, waarbij één bericht naar verluidt 45 miljoen keer werd bekeken voordat het werd verwijderd. De stroom van kunstmatige intelligentie die ‘deepfake’-pornografie genereerde, duurde dagen en werd pas langzamer toen X de zoekresultaten voor de naam van de zanger volledig verbood op het platform. Nu gebruiken wetgevers, pleitbezorgers en fans van Swift het gebrek aan inhoudsmoderatie om de roep om nieuwe wetten aan te wakkeren die de verspreiding van door AI gegenereerde seksspoofs online duidelijk criminaliseren.
Hoe verspreidde de deepthroat van Taylor Swift zich?
Veel van de door Swift gegenereerde deepfakes zijn naar verluidt afkomstig van het beruchte vrouwonvriendelijke messageboard 4chan en een handvol relatief obscure privé-Telegram-kanalen. Vorige week sprongen sommigen van hen naar X, waar ze zich snel als een lopend vuurtje begonnen te verspreiden. Een aantal accounts overspoelden X met diep nepmateriaal, zozeer zelfs dat een zoekopdracht naar “Taylor Swift AI” afbeeldingen en video’s zou opleveren. In sommige regio’s is De rand merkt op dat dezelfde hashtag als trending topic werd genoemd, wat uiteindelijk het aantal deepfakes verder aanwakkerde. Eén bericht in het bijzonder werd naar verluidt 45 miljoen keer bekeken en 24.000 keer opnieuw geplaatst voordat het uiteindelijk werd verwijderd. Desondanks duurde het X 17 uur om de post te verwijderen schending van de algemene voorwaarden van het bedrijf.
X reageerde niet onmiddellijk PopSci‘s verzoek om commentaar.
Het plaatsen van afbeeldingen zonder toestemming (NCN) is ten strengste verboden op X en we hanteren een nultolerantiebeleid voor dergelijke inhoud. Onze teams verwijderen actief alle geïdentificeerde afbeeldingen en ondernemen passende actie tegen de accounts die verantwoordelijk zijn voor het uploaden ervan. We zijn dichtbij…
— Veiligheid (@Veiligheid) 26 januari 2024
Nu er nieuwe versies van deepfakes in opkomst zijn, kwamen X-moderators zondag tussenbeide en blokkeerden de zoekresultaten voor ‘Taylor Swift’ en ‘Taylor Swift AI’ op het platform. Gebruikers die meerdere dagen naar de naam van de popster op het platform zochten, zagen naar verluidt een foutmelding met de tekst ‘Er is iets misgegaan’. X heeft de kwestie vorige week officieel besproken in een tweet en zei dat het de situatie actief in de gaten hield en “gepaste actie” ondernam tegen accounts die het materiaal verspreidden.
Swift’s legioen fans namen vorige week het heft in eigen handen door niet-seksuele afbeeldingen van de popster te plaatsen met de hashtag #ProtectTaylorSwift in een poging de deepfakes te onderdrukken. Anderen kwamen samen om accounts te rapporteren die pornografisch materiaal plaatsten. Het platform heeft maandag officieel het tweedaagse verbod op de naam van Swift opgeheven.
“Zoeken is opnieuw ingeschakeld en we zullen waakzaam blijven voor elke poging om deze inhoud te verspreiden en zullen deze verwijderen als we deze vinden”, zei X-businesschef Joe Benarroch in een verklaring per e-mail. De Wall Street Journal.
Waarom is dit gebeurd?
Geseksualiseerde spoofs van Swift en andere beroemdheden verschijnen op andere platforms, maar privacy- en beleidsexperts zeggen dat X’s unieke benadering van het modereren van inhoud nadat het werd gekocht door miljardair Elon Musk op zijn minst gedeeltelijk verantwoordelijk is voor de unieke viraliteit van het evenement. Vanaf januari heeft X naar verluidt ongeveer 80% van de ingenieurs ontslagen die bij de vertrouwens- en beveiligingsteams werkten sinds Musk het roer overnam.
Die vernietiging van de belangrijkste verdedigingslinie van het platform tegen inbreukmakende inhoud maakt de toch al moeilijke uitdaging van het modereren van inhoud nog moeilijker, vooral tijdens virale momenten waarop gebruikers het platform overspoelen met mogelijk inbreukmakende inhoud. Andere grote technologieplatforms onder leiding van Meta, Google en Amazon hebben de afgelopen jaren op dezelfde manier hun eigen vertrouwens- en beveiligingsteams teruggeschroefd, waarvan sommigen vrezen dat dit de komende maanden zou kunnen leiden tot een toename van desinformatie en deep-fakes.
Vertrouwens- en veiligheidswerkers beoordelen en verwijderen nog steeds bepaalde inhoud die in strijd is met de regels op X, maar het bedrijf heeft openlijk meer vertrouwd op geautomatiseerde moderatietools om die berichten te detecteren sinds Musk het overnam. X is naar verluidt van plan om 100 extra werknemers in dienst te nemen om in het nieuwe “Centrum voor vertrouwen en veiligheid”in Austin, Texas later dit jaar. Zelfs met die extra aanwerving zal het totale aantal vertrouwens- en veiligheidspersoneel nog steeds een fractie zijn van wat het was vóór de ontslagen.
Deep fake AI-klonen van prominente politici en beroemdheden hebben zorgen geuit over de manier waarop de technologie kan worden gebruikt om desinformatie te verspreiden of verkiezingen te beïnvloeden, maar pornografie zonder wederzijds goedvinden blijft de dominante use case. Deze afbeeldingen en video’s worden vaak gemaakt met behulp van minder bekende open-source generatieve AI-tools, omdat populaire modellen zoals OpenAI’s DALL-E expliciet seksueel expliciete inhoud verbieden. Technologische vooruitgang op het gebied van AI en bredere toegang tot hulpmiddelen hebben op hun beurt bijgedragen aan een toename van het aantal seksuele deepfakes op internet.
In 2021 schatten onderzoekers dat tussen de 90 en 95% van de deepfakes die online leven, seksuele pornografie zonder wederzijds goedvinden waren, waarvan de overgrote meerderheid op vrouwen was gericht. Die trend vertoont geen tekenen van vertraging. Een onafhankelijke onderzoeker die met Wired sprak, schatte onlangs dat er in 2023 meer deepfake-pornografie werd geüpload dan in alle andere jaren samen. Door AI gegenereerd materiaal over seksueel misbruik van kinderen, waarvan een deel is gemaakt zonder daadwerkelijke menselijke afbeeldingen, neemt naar verluidt ook toe.
Hoe Swift’s tracking de technische wetgeving kan beïnvloeden
De tektonische culturele invloed van Swift en vooral de luidruchtige schare fans helpen jaren van inspanningen nieuw leven in te blazen om wetgeving in te voeren en goed te keuren die zich expliciet richt op niet-consensuele deepfakes. In de dagen sinds het deepfake-materiaal zich begon te verspreiden, hebben grote figuren als Microsoft-CEO Satya Nadella en zelfs het Witte Huis van president Joe Biden zich uitgesproken en opgeroepen tot actie. Meerdere leden van het Congres, waaronder de Democratische vertegenwoordiger Yvette Clarke uit New York en de Republikeinse vertegenwoordiger Tom Kean Jr. uit New Jersey, hebben verklaringen vrijgegeven waarin ze wetgeving promoten die zou proberen het delen van deep-fake pornografie zonder toestemming strafbaar te stellen. Kean jr. Een van die wetsvoorstellen, genaamd de Prevention of Intimate Image Faking Act, zou dit jaar ter stemming kunnen worden gebracht.
Deepfake-pornografie en wetgevende inspanningen om dit te bestrijden zijn niets nieuws, maar de plotselinge connectie van Swift met de kwestie zou als sociale versneller kunnen dienen. Een echo van dit fenomeen deed zich voor in 2022 toen het ministerie van Justitie aankondigde dat het een antitrustonderzoek naar Live Master zou openen nadat de site crashte vanwege de vraag naar voorverkooptickets voor Swift’s ‘The Eras’-tour. Het incident leidde tot langdurige klachten van sommige muziekfans tegen Live Nation en de vermeende monopolistische praktijken ervan, zozeer zelfs dat bedrijfsleiders gedwongen werden een hoorzitting van de Senaatscommissie voor Justitie bij te wonen, waar ze werden ontmaskerd vanwege hun zakelijke praktijken. Meerdere wetgevers hebben publieke verklaringen afgelegd waarin ze het “opbreken” van Live Nation-Ticketmaster ondersteunen.
Het valt nog te bezien of dit keer hetzelfde niveau van politieke mobilisatie zal plaatsvinden met deep fakes. Toch wijst de toename van de belangstelling voor de wetten die de duisterste toepassingen van AI regelen in de nasleep van Swifts deepfake-debacle op de macht van cultureel relevante figuren die hun naam verbinden aan anderszins minder bekende politieke activiteiten. Die relevantie kan ertoe bijdragen dat initiële wetgeving bovenaan de agenda komt te staan, terwijl deze anders in de vergetelheid zou raken.