Miriam al-Adib hoorde voor het eerst van de foto’s toen ze thuiskwam van een zakenreis. ‘Mama,’ zei haar dochter. “Ik wil je iets laten zien.”
Het meisje, 14, opende haar telefoon om een expliciete foto van zichzelf te laten zien. “Het is een schok als je het ziet”, zegt Adib, een gynaecoloog uit de Zuid-Spaanse stad Almendralejo en moeder van vier dochters. “De foto is volkomen realistisch… Als ik het lichaam van mijn dochter niet kende, zou ik gedacht hebben dat die foto echt was.”
Het was een deepfake, een van de tientallen naaktfoto’s van Almendralej-schoolmeisjes gemaakt door kunstmatige intelligentie (AI) die wekenlang door de stad circuleerden in een WhatsApp-groep die was opgezet door andere schoolkinderen.
Sommige meisjes wier overeenkomsten zich verspreidden, weigerden naar school te gaan, kregen paniekaanvallen, werden in het openbaar gechanteerd en gepest. “Ik was bang dat deze beelden pornosites hadden bereikt waar we vandaag de dag niet eens van weten”, vertelde Adib vanuit haar kliniek in de stad aan de Guardian.
Openbaar aanklagers overwegen de aanklacht tegen enkele kinderen,
die de afbeeldingen heeft gemaakt met behulp van een applicatie die is gedownload van internet. Maar ze zijn er niet in geslaagd de mensen te identificeren die de app hebben ontwikkeld, van wie de aanklagers vermoeden dat ze ergens in Oost-Europa zijn gevestigd, zeiden ze.
Het Spaanse incident haalde vorig jaar het wereldnieuws en maakte van Almendralejo, een klein stadje met vervaagde kerken en pleinen uit de renaissance nabij de Portugese grens, de locatie van de laatste in een reeks waarschuwingsschoten uit een nabije toekomst waarin AI-tools iedereen in staat stellen om hyperrealistische afbeeldingen met een paar klikken.
Maar hoewel de diepe leugens van popsterren als Taylor Swift de meeste aandacht hebben gekregen, vertegenwoordigen ze het topje van de ijsberg van aanstootgevende beelden die zich online verspreiden en die de politie grotendeels niet kan tegenhouden.
Terwijl Adib duizenden kilometers verderop op de Westfield High School in New Jersey plaatjesles gaf, deed zich een opvallend soortgelijk geval voor: veel meisjes waren het doelwit van expliciete nepafbeeldingen die door leerlingen in hun klassen waren gegenereerd. Het incident in New Jersey leidde tot een civiele rechtszaak en droeg bij aan een tweeledige inspanning in het Amerikaanse Congres om het maken en verspreiden van nepbeelden zonder toestemming te verbieden.
Centraal bij beide incidenten in Spanje en New Jersey stond dezelfde app, genaamd ClothOff.
In het jaar sinds de lancering van de app hebben de mensen die ClothOff runnen zorgvuldig hun anonimiteit bewaakt, door hun stem digitaal te vervormen om vragen van de media te beantwoorden en, in één geval, AI te gebruiken om een volledig neppersoon te creëren waarvan zij beweerden dat het hun CEO was.
Maar het zes maanden durende onderzoek, uitgevoerd voor een nieuwe Guardian-podcastserie genaamd Black Box, kan de namen onthullen van verschillende mensen die voor ClothOff hebben gewerkt of van wie uit ons onderzoek blijkt dat ze verbonden zijn met de app.
Hun spoor leidt naar Wit-Rusland en Rusland, maar loopt via bedrijven die in Europa zijn geregistreerd en lege bedrijven in het hart van Londen.
ClothOff, wiens website meer dan 4 miljoen hits per maand ontvangt, dringt er bij gebruikers op aan om “iedereen die AI gebruikt uit te schakelen”. De app is toegankelijk via de smartphone door op een knop te klikken die bevestigt dat de gebruiker ouder dan 18 is en ongeveer £ 8,50 in rekening brengt voor 25 credits.
Credits worden gebruikt om foto’s van een vrouw of meisje te uploaden en dezelfde afbeelding zonder kleding terug te sturen.
Broer en zus in Wit-Rusland
Uit screenshots van The Guardian blijkt dat een Telegram-account op naam van Dasha Babicheva, wiens sociale media-accounts suggereren dat ze midden twintig is en in de Wit-Russische hoofdstad Minsk woont, zaken deed namens ClothOff, inclusief discussies over bankapps , websitewijzigingen en zakelijke partnerschappen.
In één schermafbeelding vertelt een account op naam van Babic aan een collega bij een ander bedrijf dat als verslaggevers vragen hebben over ClothOff, ze “via deze e-mail contact met ons kunnen opnemen”, met vermelding van de perscontactpersoon van de website.
Het Instagram-account van Babicevo, dat enkele van dezelfde afbeeldingen deelde met een Telegram-account op haar naam en hetzelfde telefoonnummer vermeldde, werd privé gemaakt nadat de Guardian navraag begon te doen, en het telefoonnummer werd uit het profiel verwijderd.
Babiceva beantwoordde geen gedetailleerde vragen.
Alaiksandr Babichau, 30, op sociale media-accounts geïdentificeerd als de broer van Dasha Babicheva, lijkt ook nauw verbonden te zijn met ClothOff.
In de vacature stuurde ClothOff sollicitanten door naar een e-mailadres van de AI-Imagecraft-website.
Domeinnaamrecords voor AI-Imagecraft geven aan dat de naam van de website-eigenaar op verzoek van de eigenaar is verborgen.
Maar AI-Imagecraft heeft een vrijwel identieke dubbele website, A-Imagecraft, waarvan de eigenaar niet verborgen is: deze wordt vermeld als Babichau. Guardian kon inloggen bij A-Imagecraft en AI-Imagecraft met dezelfde gebruikersnaam en hetzelfde wachtwoord, wat aangeeft dat de twee websites met elkaar verbonden zijn.
Er zijn nog meer verbindingen tussen Babichau en ClothOff. The Guardian heeft screenshots gezien van een gesprek tussen ClothOff-personeel en een potentiële zakenpartner. Het ClothOff-personeel wordt alleen bij naam geïdentificeerd en een van hen, door een ander personeelslid geïdentificeerd als “de oprichter”, heeft de Telegram-weergavenaam “Al”.
The Guardian vergeleek video’s die op Al’s Telegram-account waren geplaatst met openbaar beschikbare beelden die op een account op naam van Alaiksandr Babichau waren geplaatst. Zowel Al als Babichau bleken video’s en foto’s te hebben geüpload van hetzelfde hotel in Macau op 24 januari en van kamers in hetzelfde hotel in Hong Kong op 26 januari. De correlatie suggereert dat de twee verhalen toebehoren aan mensen die tegelijkertijd naar de steden reisden, of aan dezelfde persoon.
Babichau werd vorige week telefonisch benaderd en ontkende elke verbinding met de deepfake-app, beweerde dat hij geen zus had genaamd Dasha en zei dat het Telegram-account op zijn naam, waarop zijn telefoonnummer stond, niet van hem was. In reactie op verdere vragen beëindigde hij abrupt het telefoongesprek en reageerde niet op gedetailleerde vragen via e-mail.
Kort na het gesprek werd The Guardian geblokkeerd door een Telegram-account waarvan hij beweerde dat het niet van hem was.
Een geldspoor door Londen
Uit de betalingen aan ClothOff bleek hoeveel moeite de makers van de app deden om hun identiteit te verbergen. De transacties leidden tot een in Londen geregistreerd bedrijf genaamd Texture Oasis, een bedrijf dat beweert producten te verkopen voor gebruik in architecturale en industriële projecten.
Maar het bedrijf lijkt een shell-bedrijf te zijn dat is ontworpen om betalingen aan ClothOff te verbergen.
De tekst op de website van het bedrijf werd gekopieerd van de website van een ander, legitiem bedrijf, evenals de lijst met personeelsleden. Toen de Guardian contact opnam met een van de mensen die vermeld stonden als werknemer van Texture Oasis, zei hij dat hij nog nooit van het bedrijf had gehoord. Uit ons onderzoek zijn geen andere verbanden gebleken tussen het genoemde personeel en ClothOff, wat de suggestie vergroot dat de personeelslijst is gekopieerd.
The Guardian onthulde ook verbanden tussen ClothOff en een online videogamemarktplaats genaamd GGSel, die door de CEO werd beschreven als een manier voor Russische spelers om westerse sancties te omzeilen.
Beide websites vermeldden vorig jaar kort hetzelfde bedrijfsadres: een in Londen gevestigd bedrijf genaamd GG Technology Ltd, geregistreerd op naam van een Oekraïens staatsburger genaamd Yevhen Bondarenko. Beide websites hebben inmiddels alle verwijzingen naar het bedrijf verwijderd.
Op een LinkedIn-account op naam van Babichau staat hij vermeld als medewerker van GGSel.
Ondertussen heeft een account met de naam Alexander German, beschreven als een webontwikkelaar wiens LinkedIn zegt dat hij ook bij GGSel werkt, websitecode voor ClothOff geüpload naar een account met de naam zichzelf op GitHub, een coderingsrepository. Deze broncode werd korte tijd later verwijderd.
Op een telefoonnummer op zijn LinkedIn ontkende iemand die zichzelf identificeerde als Alexander German dat hij een webontwikkelaar was of op enigerlei wijze verbonden was met ClothOff.
Verschillende LinkedIn-accounts die hun dienstverband bij GGSel op hun profiel vermeldden, verwijderden alle verwijzingen naar het bedrijf of verwijderden hun achternamen en foto’s nadat de Guardian begon te informeren naar verbanden tussen GGSel en ClothOff.
In een verklaring ontkende GGSel elke betrokkenheid bij ClothOff en zei dat het geen banden had met GG Technology Ltd, maar niet kon of wilde uitleggen waarom het bedrijf vorig jaar als eigenaar op zijn website werd vermeld. Er stond dat noch Babichau, noch German ooit in dienst waren geweest en contact zouden opnemen met LinkedIn om hen te vragen profielreferenties naar hun naam te verwijderen.
Bondarenko verwijderde woensdag zijn sociale media-accounts en was door The Guardian niet bereikbaar voor commentaar.
ClothOff zei in antwoord op vragen dat het geen banden heeft met GGSel of een van de in dit artikel genoemde bedrijven. De woordvoerder beweerde dat het onmogelijk was om zijn app te gebruiken om afbeeldingen van mensen onder de 18 jaar te ‘verwerken’, maar gaf niet aan hoe of waarom – of hoe de app de afbeeldingen genereerde, inclusief die van kinderen, in Spanje. Ze speculeerden dat de beelden in New Jersey mogelijk via een concurrerende dienst waren gemaakt.
Donderdag leek de toegang tot de ClothOff-website en -app in Groot-Brittannië geblokkeerd, maar bleef elders beschikbaar.
Uit het onderzoek bleek dat het steeds moeilijker wordt om echte mensen te onderscheiden van valse identiteiten, die vergezeld kunnen gaan van foto’s, video’s en zelfs audio-opnamen van hoge kwaliteit. Een volledig verslag van dit verhaal zal worden onthuld in de aflevering van aanstaande donderdag van Black Box.
-
Aanvullende rapportage door Matteo Fagotto, Phil McMahon, Oliver Laughland, Manisha Ganguly, Andrew Roth, Yanin Sorokina en Kateryna Malofieieva.