Aurich Lawson | Getty-afbeeldingen
Wetshandhavingsfunctionarissen gebruiken nu kunstmatige intelligentie om afbeeldingen van nepkinderen te genereren en hen te helpen online kinderroofdieren te vangen, volgens een rechtszaak die de staat New Mexico deze week tegen Snapchat heeft aangespannen.
Volgens de rechtszaak is het ministerie van Justitie van New Mexico de afgelopen maanden een undercoveronderzoek gestart om te bewijzen dat Snapchat “het belangrijkste socialemediaplatform is voor het delen van materiaal over seksueel misbruik van kinderen (CSAM)” en seksuele afpersing van minderjarigen omdat het “algoritme dient kinderen aan volwassen roofdieren.”
Als onderdeel van hun onderzoek heeft de onderzoeker “een lokbestelling opgesteld voor een 14-jarig meisje, Sexy14Heather.”
Ondanks dat Snapchat het profiel van de nep-minderjarige op privé had gezet en het account geen volgers toevoegde, werd ‘Heather’ al snel breed aanbevolen door ‘gevaarlijke accounts, waaronder de accounts genaamd ‘child.rape’ en ‘pedo_lover10’, die onder andere nog explicieter zijn. Dat blijkt uit een persbericht van het ministerie van Justitie van New Mexico.
En nadat “Heather” een volgverzoek van slechts één account had geaccepteerd, werden de verwijzingen nog erger. “Snapchat suggereerde meer dan 91 gebruikers, waaronder talloze volwassen gebruikers wier accounts seksueel expliciete inhoud bevatten of bedoeld waren om seksueel expliciete inhoud te delen”, aldus de klacht van New Mexico.
“Snapchat is een broedplaats voor roofdieren om seksueel expliciete afbeeldingen van kinderen te verzamelen en ze te vinden, te verzorgen en af te persen”, aldus de klacht uit New Mexico.
De onderzoeker deed zich voor als ‘Sexy14Heather’ en verving de berichten door accounts voor volwassenen, waaronder gebruikers die ‘ongepaste berichten en expliciete foto’s stuurden’. In één gesprek met een gebruiker genaamd “50+ SNGL DAD 4 YNGR” registreerde een nep-tienermeisje “haar leeftijd, stuurde een foto en klaagde dat haar ouders haar naar school lieten gaan”, waarbij de gebruiker werd gevraagd “haar foto” te sturen als evenals seksueel suggestieve gesprekken. Andere accounts vroegen ‘Heather’ om ‘mogelijk expliciete inhoud te verhandelen’, en verschillende ‘probeerden een minderjarige te dwingen CSAM te delen’, aldus het ministerie van Justitie van New Mexico.
“Heather” testte ook de zoekfunctie van Snapchat en ontdekte dat “hoewel ze geen seksueel expliciete taal gebruikte, het algoritme moest bepalen dat ze naar CSAM zocht” toen ze naar andere tieners zocht. “Hij begon gebruikers geassocieerd met handelen aan te bevelen” aan CSAM, inclusief accounts met gebruikersnamen als “naughtypics”, “addfortrading”, “teentr3de”, “gayhorny13yox” en “teentradevirgin”, zo bleek uit het onderzoek, “wat suggereert dat deze accounts ook betrokken waren bij in CSAM-uitbreiding.”
Dit nieuwe gebruik van kunstmatige intelligentie werd ingegeven nadat de politie van Albuquerque een man had aangeklaagd, Alejandro Marquez, die schuldig pleitte en werd veroordeeld tot 18 jaar gevangenisstraf wegens het verkrachten van een 11-jarig meisje dat hij in 2022 via de Quick Add-functie van Snapchat had ontmoet, aldus in de klacht van New Mexico. Onlangs werd in een rechtszaak in New Mexico gesteld dat een man uit Albuquerque, Jeremy Guthrie, deze zomer werd gearresteerd en veroordeeld wegens ‘het verkrachten van een twaalfjarig meisje dat hij via Snapchat had ontmoet en gecultiveerd’.
In het verleden heeft de politie zich online voorgedaan als kinderen om kinderroofdieren te vangen met behulp van foto’s van jonger uitziende volwassen vrouwen of zelfs jongere foto’s van politieagenten. Het gebruik van door AI gegenereerde beelden kan worden beschouwd als een meer ethische manier om deze prikkels uit te voeren, zei advocaat voor seksmisdrijven Keri Goldberg tegen Ars, omdat “een AI-lokvogelprofiel minder problematisch is dan het gebruik van afbeeldingen van een echt kind.”
Maar het gebruik van AI zou onderzoeken kunnen compliceren en zijn eigen ethische zorgen met zich mee kunnen brengen, waarschuwde Goldberg, terwijl deskundigen op het gebied van kinderveiligheid en wetshandhavers waarschuwen dat het internet steeds meer bezaaid is met door AI gegenereerde CSAM.
“In de zin dat AI wordt gebruikt om hen in de val te lokken, kunnen beklaagden zichzelf verdedigen als ze zeggen dat de overheid hen heeft aangezet tot het plegen van een misdaad waarvoor ze nog niet vatbaar waren”, vertelde Goldberg aan Ars. “Natuurlijk zou het ethisch verontrustend zijn als de overheid nep-materiaal over seksueel misbruik van kinderen (CSAM) zou maken, omdat die beelden illegaal zijn en we niet willen dat er nog meer CSAM in omloop is.”
Deskundigen hebben gewaarschuwd dat AI-beeldgeneratoren nooit mogen worden getraind op datasets die afbeeldingen van echte kinderen combineren met expliciete inhoud om gevallen van door AI gegenereerde CSAM te voorkomen, wat vooral schadelijk is als het lijkt alsof het een echt kind afbeeldt of het daadwerkelijke offer van een kind. kind. misbruik.
Er was slechts één door AI gegenereerde afbeelding opgenomen in de rechtszaak in New Mexico, dus het is onduidelijk in hoeverre het ministerie van Justitie AI gebruikt en of agenten mogelijk geavanceerdere methoden gebruiken om meerdere afbeeldingen van hetzelfde nepkind te genereren. Het is ook onduidelijk welke ethische bezwaren er werden afgewogen voordat agenten AI-lokvogels gingen gebruiken.
Het ministerie van Justitie van New Mexico heeft niet gereageerd op het verzoek van Ars om commentaar.
Goldberg vertelde Ars dat “er binnen de wetshandhaving standaarden moeten zijn over hoe AI op verantwoorde wijze wordt gebruikt”, waarbij hij waarschuwde dat “we waarschijnlijk meer op AI gerichte verdedigingsmechanismen zullen zien als de overheid de technologie op een manipulatieve manier gebruikt om iemand onder druk te zetten om zich te begaan. een misdaad.”