Waarom worden AI-bedrijven gewaardeerd in de miljoenen en miljarden dollars door het creëren en distribueren van tools die door AI gegenereerd materiaal over seksueel misbruik van kinderen (CSAM) kunnen creëren?
Een beeldgenerator genaamd Stable Diffusion versie 1.5, gemaakt door AI-bedrijf Runway met financiering van Stability AI, is specifiek betrokken bij de productie van CSAM. En populaire platforms zoals Hugging Face en Civitai hosten dat model en anderen die mogelijk zijn getraind in echte beelden van seksueel misbruik van kinderen. In sommige gevallen overtreden bedrijven zelfs de wet door synthetisch CSAM-materiaal op hun servers te hosten. En waarom pompen reguliere bedrijven en investeerders als Google, Nvidia, Intel, Salesforce en Andreesen Horowitz honderden miljoenen dollars in deze bedrijven? Hun steun komt neer op het subsidiëren van inhoud voor pedofielen.
Als AI-beveiligingsexperts hebben we deze vragen gesteld om deze bedrijven aan te spreken en druk op hen uit te oefenen om de corrigerende maatregelen te nemen die we hieronder schetsen. En vandaag zijn we blij om een grote triomf te kunnen melden: schijnbaar als antwoord op onze vragen is Stable Diffusion 1.5 verwijderd uit Hugging Face. Maar er moet nog veel worden gedaan, en voor aanzienlijke vooruitgang kan wetgeving nodig zijn.
Omvang van het CSAM-probleem
Voorstanders van kinderveiligheid begonnen vorig jaar aan de bel te trekken: onderzoekers van de Stanford Internet Observatory en de technische non-profitorganisatie Thorn publiceerden in juni 2023 een verontrustend rapport. Ze ontdekten dat algemeen beschikbare en ‘open’ tools voor het genereren van AI-beelden al in gebruik zijn en worden misbruikt door kwaadwillende actoren om materiaal te creëren voor seksueel misbruik van kinderen. In sommige gevallen maakten slechte acteurs hun eigen aangepaste versies van deze modellen (een proces dat bekend staat als fine-tuning) met echt materiaal van seksueel kindermisbruik om aangepaste afbeeldingen van specifieke slachtoffers te creëren.
Afgelopen oktober werd in een rapport van de Britse non-profitorganisatie Internet Watch Foundation (die een hotline beheert voor het melden van materiaal over seksueel misbruik van kinderen) het gemak beschreven waarmee kwaadwillende actoren nu fotorealistisch, door AI gegenereerd materiaal over seksueel misbruik van kinderen creëren. De onderzoekers namen een ‘momentopname’-onderzoek op van een CSAM-forum op het dark web, waarbij meer dan 11.000 door AI gegenereerde afbeeldingen werden geanalyseerd die gedurende een periode van een maand waren geplaatst; hiervan werden bijna 3.000 ernstig genoeg geacht om als criminelen te worden geclassificeerd. Het rapport roept op tot sterker regelgevend toezicht op generatieve AI-modellen.
Om dit materiaal te maken kunnen AI-modellen worden gebruikt omdat ze al voorbeelden hebben gezien. Stanford-onderzoekers ontdekten afgelopen december dat een van de belangrijkste datasets die worden gebruikt om beeldgenererende modellen te trainen duizenden CSAM-onderdelen bevat. Veel van de populairste downloadbare open source AI-beeldgeneratoren, waaronder het populaire Stable Diffusion-model versie 1.5, worden getraind met behulp van deze gegevens. Die versie van Stable Diffusion is gemaakt door Runway, hoewel Stability AI betaalde voor de rekenkracht om de dataset te produceren en het model te trainen, en Stability AI daaropvolgende versies uitbracht.
Runway reageerde niet op een verzoek om commentaar. Een woordvoerder van Stability AI benadrukte dat het bedrijf Stable Diffusion versie 1.5 niet heeft uitgebracht of onderhouden, en zegt dat het bedrijf “robuuste beveiligingen” tegen CSAM heeft geïmplementeerd in daaropvolgende modellen, waaronder het gebruik van gefilterde trainingsdatasets.
Ook afgelopen december ontdekten onderzoekers van het sociale media-analysebedrijf Graphika de proliferatie van tientallen ‘uitkleed’-diensten, waarvan er vele gebaseerd zijn op open-source AI-beeldgeneratoren, waaronder mogelijk Stable Diffusion. Met deze diensten kunnen gebruikers geklede afbeeldingen van mensen uploaden en wat experts niet-consensuele intieme afbeeldingen (NCII) noemen van zowel minderjarigen als volwassenen, ook wel deep fake pornografie genoemd. Dergelijke websites kunnen gemakkelijk worden gevonden via Google-zoekopdrachten en gebruikers kunnen online voor diensten betalen met creditcards. Veel van deze diensten richten zich alleen op vrouwen en meisjes, en dit soort instrumenten zijn gebruikt om beroemdheden als Taylor Swift en politici als de Amerikaanse vertegenwoordiger Alexandria Ocasio-Cortez te targeten.
AI-gegenereerde CSAM heeft echte effecten. Het ecosysteem voor kinderveiligheid is al overbelast: jaarlijks worden miljoenen vermoedelijke CSAM-bestanden gemeld aan hotlines. Alles wat aan die stroom aan inhoud wordt toegevoegd – vooral fotorealistisch misbruikmateriaal – maakt het moeilijker om kinderen te vinden die actief gevaar lopen. Tot overmaat van ramp gebruiken sommige kwaadwillende actoren de bestaande CSAM om synthetische beelden van deze overlevenden te creëren – een gruwelijke hernieuwde inbreuk op hun rechten. Anderen gebruiken gemakkelijk verkrijgbare ‘nudificatie’-apps om seksuele inhoud te creëren op basis van goedaardige afbeeldingen van echte kinderen en gebruiken die nieuw gegenereerde inhoud vervolgens in seksuele afpersingsplannen.
Eén overwinning tegen AI genereerde CSAM
Op basis van het Stanford-onderzoek van afgelopen december is het in de AI-gemeenschap algemeen bekend dat Stable Diffusion 1.5 is getraind op materiaal van seksueel misbruik van kinderen, net als elk ander model dat is getraind op de LAION-5B-dataset. Kwaadwillige actoren maken actief misbruik van deze modellen om door AI gegenereerde CSAM te creëren. Zelfs als het wordt gebruikt om goedaardiger materiaal te creëren, leidt het gebruik ervan inherent tot een nieuw slachtoffer van de kinderen wier beelden van misbruik in hun trainingsgegevens terechtkwamen. Daarom vroegen we populaire AI-hostingplatforms Hugging Face en Civitai waarom ze Stable Diffusion 1.5 en afgeleide modellen hosten, waardoor ze gratis te downloaden zijn?
Het is vermeldenswaard dat Jeff Allen, een datawetenschapper bij het Integrity Institute, ontdekte dat Stable Diffusion 1.5 de afgelopen maand meer dan 6 miljoen keer is gedownload van Hugging Face, waardoor het de populairste AI-beeldgenerator op het platform is.
Toen we Hugging Face vroegen waarom het het model bleef hosten, beantwoordde bedrijfswoordvoerder Brigitte Tousignant de vraag niet rechtstreeks, maar verklaarde in plaats daarvan dat het bedrijf CSAM niet tolereert op zijn platform, een aantal beveiligingshulpmiddelen bevat en de gemeenschap aanmoedigt om dit te doen. gebruik het Safe Stable-model Diffusie dat ongepaste beelden identificeert en onderdrukt.
Vervolgens hebben we gisteren Hugging Face gecontroleerd en ontdekten dat Stable Diffusion 1.5 niet langer beschikbaar is. Tousignant vertelde ons dat Hugging Face het niet had verwijderd en stelde voor contact op te nemen met Runway – wat we deden, maar nog steeds niets terughoorden.
Het is ongetwijfeld een succes dat dit model niet meer te downloaden is via Hugging Face. Helaas is het nog steeds beschikbaar op Civitai, net als honderden afgeleide modellen. Toen we contact opnamen met Civitai, vertelde een woordvoerder ons dat ze niet wisten welke trainingsgegevens door Stable Diffusion 1.5 werden gebruikt en dat ze deze alleen zouden verwijderen als er aanwijzingen waren voor misbruik.
Platforms moeten nerveus worden over hun verantwoordelijkheid. Vorige week werd Pavel Durov, CEO van berichtenapp Telegram, gearresteerd als onderdeel van een onderzoek naar CSAM en andere misdaden.
Wat is CSAM gegenereerd door kunstmatige intelligentie
Het gestage ritme van verontrustende rapporten en door AI gegenereerd nieuws over CSAM en NCII is niet opgehouden. Terwijl sommige bedrijven proberen de veiligheid van hun producten te verbeteren met de hulp van de Technology Coalition, welke vooruitgang hebben we gezien met betrekking tot het bredere probleem?
In april kondigden Thorn en All Tech Is Human een initiatief aan om grote technologiebedrijven, generatieve AI-ontwikkelaars, modelhostingplatforms en meer samen te brengen om Safety by Design-principes te definiëren en zich hieraan te binden, waarbij preventie van seksueel misbruik van kinderen centraal staat in de ontwikkeling. producten verwerken. Tien bedrijven (waaronder Amazon, Civitai, Google, Meta, Microsoft, OpenAI en Stability AI) hebben zich aan deze principes gecommitteerd, en verschillende anderen hebben meegewerkt aan het co-auteur zijn van een gerelateerd document met meer gedetailleerde aanbevolen oplossingen. De principes roepen bedrijven op om AI-modellen te ontwikkelen, implementeren en onderhouden die proactief de risico’s voor de veiligheid van kinderen aanpakken; systemen bouwen om ervoor te zorgen dat al het onrechtmatige materiaal dat daadwerkelijk wordt geproduceerd, op betrouwbare wijze wordt gedetecteerd; en de verspreiding beperken van de onderliggende modellen en diensten die worden gebruikt om dit beledigende materiaal te creëren.
Dit soort vrijwillige toezeggingen zijn een begin. Rebecca Portnoff, hoofd data science van Thorn, zegt dat het initiatief aansprakelijkheid nastreeft door van bedrijven te eisen dat ze rapporten uitbrengen over hun voortgang op het gebied van mitigatiemaatregelen. Het werkt ook samen met standaardbepalende instellingen als IEEE en NIST om hun inspanningen te integreren in nieuwe en bestaande standaarden, waardoor de deur wordt geopend voor audits door derden die “verder gaan dan het eersysteem”, zegt Portnoff. Portnoff merkt ook op dat Thorn samenwerkt met beleidsmakers om hen te helpen wetten te maken die zowel technisch haalbaar als effectief zijn. Veel deskundigen zeggen dat het tijd is om af te stappen van vrijwillige verplichtingen.
Wij geloven dat er een roekeloze race to the bottom gaande is in de AI-industrie. Bedrijven vechten zo hard om te zijn technisch met het voordeel dat velen van hen negeren ethisch en misschien zelfs legaal gevolgen van hun producten. Hoewel sommige regeringen – waaronder de Europese Unie – vooruitgang boeken bij het reguleren van kunstmatige intelligentie, zijn ze niet ver genoeg gegaan. Als wetten het bijvoorbeeld illegaal maken om AI-systemen aan te bieden die CSAM kunnen produceren, zouden technologiebedrijven dit kunnen opmerken.
De realiteit is dat sommige bedrijven weliswaar aan vrijwillige verplichtingen zullen voldoen, maar veel bedrijven niet. En van degenen die dat wel doen, zullen velen te traag handelen, ofwel omdat ze er niet klaar voor zijn, ofwel omdat ze moeite hebben om hun concurrentievoordeel te behouden. Ondertussen zullen kwaadwillende actoren zich tot deze diensten wenden en grote schade aanrichten. Een dergelijke uitkomst is onaanvaardbaar.
Wat technologiebedrijven moeten doen tegen door AI gegenereerde CSAM
Deskundigen zagen dit probleem al van mijlenver aankomen, en voorstanders van kinderveiligheid adviseerden op gezond verstand gebaseerde strategieën om het te bestrijden. Als we de kans missen om iets te doen om de situatie op te lossen, zullen we allemaal de verantwoordelijkheid dragen. Op zijn minst zouden alle bedrijven, inclusief bedrijven die open source-modellen vrijgeven, wettelijk verplicht moeten zijn om te voldoen aan de verplichtingen die zijn uiteengezet in Thorn’s Safety by Design-principes:
- Detecteer, verwijder en rapporteer CSAM uit hun trainingsdatasets voordat ze hun generatieve AI-modellen trainen.
- Inclusief robuuste watermerken en systemen voor inhoudsoorsprong in hun generatieve AI-modellen, zodat de gegenereerde afbeeldingen kunnen worden gekoppeld aan de modellen die ze hebben gemaakt, zoals vereist zou zijn onder de Californische wet die zou leiden tot Normen voor de herkomst van digitale inhoud voor bedrijven die in het land actief zijn. Het wetsvoorstel zal waarschijnlijk binnen een maand worden ondertekend door gouverneur Gavin Newson.
- Verwijder alle generatieve AI-modellen waarvan bekend is dat ze CSAM-getraind zijn of die CSAM kunnen produceren van uw platforms. Weigeren deze modellen opnieuw te hosten, tenzij ze volledig opnieuw zijn samengesteld en de CSAM is verwijderd.
- Identificeer modellen die opzettelijk zijn afgestemd op CSAM en verwijder ze permanent van uw platforms.
- Verwijder ‘nudificerende’ apps uit appstores, blokkeer zoekresultaten voor deze tools en services en werk samen met betalingsproviders om betalingen aan hun makers te blokkeren.
Er is geen reden waarom generatieve AI gruwelijke kindermishandeling zou moeten bevorderen. Maar we zullen alle beschikbare instrumenten nodig hebben – vrijwillige toezeggingen, regelgeving en publieke druk – om van koers te veranderen en de race naar de bodem te stoppen.
De auteurs zijn dankbaar Rebecca Portnoff van doorn, David Thiel Stanford internetobservatorium, Jeff Allen Instituut voor Integriteit, Ravit Dotan TechBetter en onderzoeker op het gebied van technologiebeleid Owen Doyle voor hun hulp bij dit artikel.
Uit artikelen op uw website
Gerelateerde artikelen op internet