TDe nieuwspresentator ziet er heel vreemd uit als ze een partijdige en pejoratieve boodschap in het Mandarijn overbrengt: de vertrekkende president van Taiwan, Tsai Ing-wen, is zo efficiënt als slappe spinazie, en haar ambtstermijn wordt geplaagd door economische onderprestaties, sociale problemen en protesten.
“Water spinazie kijkt naar het water spinazie. Het bleek water te zijn Spinazie is niet zomaar een naam”, zegt de gastheer, in een uitgebreide metafoor over Tsai “Hollow Tsai” – een woordspeling op het Mandarijnse woord voor waterspinazie.
Dit is geen conventionele journalist, ook al is het gebrek aan onpartijdigheid niet langer een schok. Het anker wordt gegenereerd door een programma voor kunstmatige intelligentie, en het segment probeert, zij het op onhandige wijze, de presidentsverkiezingen in Taiwan te beïnvloeden.
De bron en maker van de video zijn onbekend, maar de video is bedoeld om kiezers wantrouwend te maken tegenover politici die Taiwan op afstand willen houden van China, dat het zelfbesturende eiland claimt als onderdeel van zijn grondgebied. Het is het nieuwste voorbeeld van een subgenre van het door AI gegenereerde desinformatiespel: de deepfake-nieuwspresentator of tv-presentator.
Dergelijke avatars circuleren op sociale media en verspreiden door de staat gesteunde propaganda. Experts zeggen dat dit soort video zich zal blijven verspreiden naarmate de technologie toegankelijker wordt.
“Het hoeft niet perfect te zijn”, zegt Tyler Williams, onderzoeksdirecteur bij Graphika, een onderzoeksbureau voor desinformatie. “Als een gebruiker alleen maar door X of TikTok scrollt, ziet hij de kleine nuances niet op een kleiner scherm.”
Beijing heeft al geëxperimenteerd met nieuwsankers gegenereerd door kunstmatige intelligentie. In 2018 introduceerde het staatsbedrijf Xinhua News Agency Qiu Hao, een digitaal nieuwsanker, die beloofde “24 uur per dag, 365 dagen per jaar” nieuws naar de kijkers te brengen. Hoewel het Chinese publiek over het algemeen enthousiast is over het gebruik van digitale avatars in de media, is Qiu Hao er niet in geslaagd dit aan te slaan.
China loopt voorop in het desinformatie-element van deze trend. Vorig jaar verspreidden pro-Chinese botaccounts op Facebook en X deep-fake-video’s van nieuwslezers die zich voordeden als een fictieve omroep genaamd Wolf News. In één video werd de Amerikaanse regering ervan beschuldigd er niet in te zijn geslaagd wapengeweld aan te pakken, terwijl een andere video de rol van China op een internationale top benadrukte.
In een rapport dat in april werd gepubliceerd, zei Microsoft dat Chinese door de staat gesteunde cybergroepen de verkiezingen in Taiwan hebben aangevallen met door kunstmatige intelligentie gegenereerde desinformatie, waaronder het gebruik van nepnieuwspresentatoren of -presentatoren in tv-stijl. In een door Microsoft aangehaald fragment deed de door AI gegenereerde gastheer ongefundeerde beweringen over het privéleven van de uiteindelijke succesvolle kandidaat voor soevereiniteit – Lai Ching-te – waarin hij verklaarde dat hij buitenechtelijke kinderen had.
Microsoft zei dat de nieuwsankers zijn gemaakt met behulp van de videobewerkingstool CapCut, ontwikkeld door het Chinese bedrijf ByteDance, eigenaar van TikTok.
Clint Watts, directeur van het Threat Analysis Center van Microsoft, wijst op het officiële gebruik door China van synthetische nieuwsankers op de binnenlandse mediamarkt, waardoor het land het format ook heeft kunnen perfectioneren. Het is nu een instrument voor desinformatie geworden, hoewel er tot nu toe weinig merkbare impact is geweest.
“De Chinezen zijn veel meer gefocust op het inbrengen van AI in hun systemen – propaganda, desinformatie – ze zijn daar heel snel naartoe verhuisd. Ze proberen alles. Het is niet bijzonder efficiënt,’ zei Watts.
Externe leveranciers zoals CapCut bieden het nieuwsankerformaat als sjabloon aan, zodat het gemakkelijk kan worden aangepast en in massa kan worden geproduceerd.
Er zijn ook clips met avatars die fungeren als een kruising tussen een professionele tv-presentator en een influencer die rechtstreeks in de camera spreekt. Een video geproduceerd door een door de Chinese staat gesteunde groep genaamd Storm 1376 – ook bekend als Spamouflage – toont een blonde, vrouwelijke, door AI gegenereerde gastheer die beweert dat de VS en India in het geheim wapens verkopen aan het leger van Myanmar.
Het algehele effect is verre van overtuigend. Ondanks de realistisch ogende presentator wordt de video ondermijnd door een stijve stem die duidelijk door de computer is gegenereerd. Andere voorbeelden die zijn ontdekt door NewsGuard, een organisatie die desinformatie en desinformatie in de gaten houdt, tonen een TikTok-account gekoppeld aan Spamouflage, waarbij door AI gegenereerde avatars worden gebruikt om commentaar te geven op Amerikaans nieuws, zoals voedselkosten en benzineprijzen. Eén video toont een avatar met een door de computer gegenereerde stem die de prijzen van Walmart bespreekt onder de slogan: “Ligt Walmart tegen je over het gewicht van hun vlees?”
NewsGuard zei dat de avatarvideo’s deel uitmaakten van een pro-China-netwerk dat zich “verspreidde” voorafgaand aan de Amerikaanse presidentsverkiezingen. Het registreerde 167 accounts die sinds vorig jaar zijn aangemaakt en die verband houden met Spamouflage.
Andere landen hebben geëxperimenteerd met diepe valse ankers. Door de staat gesteunde Iraanse hackers hebben onlangs de tv-streamingdiensten in de Verenigde Arabische Emiraten verstoord om een zeer valse nieuwslezer uit te zenden over de oorlog in Gaza. Vrijdag meldde de Washington Post dat de terreurgroep Islamitische Staat door kunstmatige intelligentie gegenereerde nieuwslezers – die helmen en uniformen dragen – gebruikt om propaganda uit te zenden.
En één Europees land experimenteert openlijk met door AI gegenereerde presentatoren: het Oekraïense ministerie van Buitenlandse Zaken heeft een AI-woordvoerster gelanceerd, Victoria Shi, die de gelijkenis gebruikt van Rosalia Nombra – een Oekraïense zangeres en mediapersoonlijkheid die toestemming gaf haar imago te gebruiken. Het resultaat is, althans op het eerste gezicht, indrukwekkend.
Vorig jaar heeft Beijing richtlijnen vrijgegeven voor het markeren van inhoud, waarin staat dat afbeeldingen of video’s die met behulp van AI zijn gegenereerd, duidelijk van een watermerk moeten worden voorzien. Maar Jeffrey Ding, een assistent-professor aan de George Washington Universiteit die zich richt op technologie, zei dat het “een open vraag” is hoe de etiketteringsvereisten in de praktijk zullen worden geïmplementeerd, vooral met betrekking tot overheidspropaganda.
En hoewel Chinese richtlijnen vereisen dat ‘valse’ informatie in door AI gegenereerde inhoud tot een minimum wordt beperkt, is de prioriteit voor Chinese toezichthouders het ‘controleren van de informatiestroom en ervoor zorgen dat de geproduceerde inhoud niet politiek gevoelig is en geen ontwrichting van de samenleving veroorzaakt’. zei Ding. . Dit betekent dat als het om nepnieuws gaat, “wat voor de Chinese regering als desinformatie aan het Taiwanese front wordt beschouwd, heel anders zou kunnen zijn dan de correcte of waarachtigere interpretatie van de desinformatie”.
Deskundigen geloven nog niet dat computergegenereerde nieuwslezers effectieve hoaxes zijn: Tsai’s Soevereiniteitspartij heeft in Taiwan gewonnen, ondanks de inspanningen van de avatars. Macrina Wang, plaatsvervangend redacteur voor nieuwscontrole bij NewsGuard, zei dat de avatarinhoud die ze zag “behoorlijk grof” was, maar steeds groter werd. Voor het geoefende oog waren deze video’s duidelijk nep, zei ze, met scheve bewegingen en een gebrek aan veranderend licht of schaduwen op de figuur van de avatar tussen de weggeefacties. Uit sommige reacties onder de TikTok-video blijkt echter dat mensen ervoor zijn gevallen.
‘Het risico bestaat dat de gemiddelde mens er zo over denkt [avatar] is een echt persoon’, zei ze, eraan toevoegend dat AI video-inhoud ‘boeiender, klikbaarder en viraler maakt’.
Watts van Microsoft zei dat de meest waarschijnlijke evolutie van de nieuwsankertactiek een video was die een echt nieuwsanker manipuleerde, in plaats van een volledig door AI gegenereerde figuur. We konden zien dat “elke grote nieuwspresentator werd gemanipuleerd om iets te zeggen wat hij niet zei”, zei Watts. Het is “veel waarschijnlijker” dan een volledig synthetische inspanning.
In hun rapport van vorige maand zeiden Microsoft-onderzoekers dat ze niet veel voorbeelden waren tegengekomen van door AI gegenereerde inhoud die impact heeft op de offline wereld.
“Zelden heeft het gebruik van door AI aangedreven generatieve inhoud door natiestaten een groot bereik op sociale media bereikt, en in slechts enkele gevallen hebben we daadwerkelijke misleiding van het publiek door dergelijke inhoud gezien”, aldus het rapport.
In plaats daarvan wordt het publiek aangetrokken tot eenvoudige vervalsingen, zoals valse tekstverhalen versierd met valse medialogo’s.
Watts zei dat er een kans was dat een volledig door AI gegenereerde video een verkiezing zou kunnen beïnvloeden, maar de tool om zo’n clip te maken bestond nog niet. “Ik vermoed dat de tool die bij die video werd gebruikt… nog niet op de markt is.” De meest effectieve AI-videomessenger is misschien nog geen nieuwsanker. Maar het onderstreept het belang van de video voor staten die verwarring bij de kiezers proberen te zaaien.
Bedreigingsactoren zullen ook wachten op een voorbeeld van een door AI gegenereerde video die de aandacht van het publiek trekt – en deze vervolgens repliceren. Zowel OpenAI als Google hebben de afgelopen maanden AI-videomakers gedemonstreerd, hoewel geen van beide hun tools aan het publiek heeft vrijgegeven.
“Het effectieve gebruik van synthetische persona’s in video’s die mensen daadwerkelijk bekijken, zal eerst in de commerciële ruimte gebeuren. En dan zul je zien dat dreigingsactoren daarop overgaan.”
Aanvullend onderzoek door Chi Hui Lin