Een website die een kunstmatige-intelligentiedienst belooft die nauwkeurig afbeeldingen van penissen kan scannen op tekenen van seksueel overdraagbare infecties, wekt woede op van voorstanders van de gezondheidszorg en experts op het gebied van digitale privacy, waaronder veel andere critici. Maar terwijl het internet (en Jimmy Fallon) de makers van Calmara de afgelopen week onder vuur nam, duurde het in werkelijkheid twee jaar voordat het zover was.
Waar komt AI ‘intiem beste’ vandaan?
In 2022 debuteerde het bedrijf HeHealth als een online manier om “binnen enkele minuten antwoorden te krijgen over de gezondheid van uw penis”. Om deze informatie te ontvangen, gebruikt de website een combinatie van vragenlijsten en wat het bedrijf beweert een “65-96 procent accuraat” AI-screeningsinstrument te zijn dat naar verluidt is getraind op eigen datasets om fotografisch bewijs van verschillende seksueel overdraagbare infecties, waaronder genitale wratten, te markeren. , herpesuitbarstingen en syfilis. “Kanker” is ook opgenomen in de lijst met tekens die kunnen worden gescand. Als de resultaten ‘positief’ zijn, kan HeHealth gebruikers vervolgens doorverwijzen naar gezondheidswerkers voor daadwerkelijke fysieke onderzoeken, diagnoses en behandelingsopties. Sindsdien is het grotendeels onder de radar gebleven, waarbij naar verluidt in de afgelopen twee jaar slechts ongeveer 31.000 mensen gebruik hebben gemaakt van de zogenaamd anonieme, gecodeerde diensten. En toen kwam Calmara.
Met een website die overladen is met slogans gericht op Generatie Z, zet Calmara zichzelf op de markt als de nieuwe ‘intieme vriend’ van vrouwen, die aanbiedt foto’s van de penissen van hun potentiële sekspartners te scannen op aanwijzingen voor seksueel overdraagbare aandoeningen. Volgens de laatste LinkedIn-post van de CEO van HeHealth zijn HeHealth en Calmara “totaal verschillende producten.” Volgens de website van Calmara wordt Calmara echter mogelijk gemaakt door de eigenaren van HeHealth en gebruikt het dezelfde AI. Calmara wordt ook aangeprezen als (momenteel) vrij en “echt in haar element als ze zich op D concentreert.”
In een bericht van 19 maart beweerde een ‘anonieme gebruiker’ dat Calmara ‘het gesprek over seksuele gezondheid al verandert’. Calmara heeft de afgelopen week zeker tot een gesprek geleid – alleen niet het soort dat de makers waarschijnlijk bedoelden.
Nieuwe applicatie
Zowel Calmarina als HeHealth erkennen in de kleine lettertjes dat hun SOA-beoordelingen “niet mogen worden gebruikt als vervanging voor professioneel medisch advies, diagnose, behandeling of behandeling van welke ziekte of aandoening dan ook.” Er is een voor de hand liggende reden waarom dit, ondanks de hype, eigenlijk geen echt medisch diagnostisch hulpmiddel is.
Er is geen AI nodig die ‘zo scherp is dat je zou zweren dat hij een SAT heeft gescoord’ om te onthouden dat de meeste soa’s asymptomatisch zijn. In die gevallen zouden ze zeker niet zichtbaar zijn op de foto. Bovendien laat een herdrukt artikel met typefouten waarin de AI van Calmarin wordt uitgelegd, zien dat deze is getraind op een uiterst beperkte beelddatabase die ‘synthetische’ penisfoto’s of computergegenereerde afbeeldingen bevatte. Ondertussen is de verrassende nauwkeurigheid ervan moeilijk vast te stellen: Calmara’s voorgedrukte artikel zegt dat de AI ongeveer 94,4 procent nauwkeurig is, terwijl de startpagina 95 procent zegt. Scroll nog iets verder naar beneden en de FAQ-sectie biedt 65 tot 90 procent zekerheid. Het is geen erg bemoedigende aanpak om veilige seksuele praktijken aan te moedigen, waarvoor waarschijnlijk wederzijdse, betrouwbare uitspraken over seksuele gezondheid nodig zijn.
“Op het eerste gezicht is de dienst zo misleidend dat je hem gemakkelijk als satire kunt afdoen”, schreef seks- en cultuurcriticus Ella Dawson vorige week in een virale blogpost. Calmara’s centrale verwaandheid – dat nieuwe intieme partners zich comfortabel genoeg zullen voelen om foto’s te maken van hun geslachtsdelen om te worden ‘gescand’ door een AI-dienst – is moeilijk voorstelbaar in het echte leven. “… Dit is niet hoe mensen met elkaar communiceren. Dit is geen manier om het gesprek over seksuele gezondheid te normaliseren. En dit is niet hoe we de praktijk van veiliger seks bevorderen.”
Geen leeftijdsverificatie
Gezien de specifieke doelgroep van een jongere doelgroep, zei Dawson PopSci ze gelooft dat “het gemakkelijk te begrijpen is hoe een minderjarige Calmara in een moment van paniek kan vinden en gebruiken voor zelfdiagnose”, wat zowel voor de hand liggende juridische als ethische problemen zou opleveren. Ten eerste kunnen expliciete afbeeldingen van minderjarigen materiaal over seksueel misbruik van kinderen (CSAM) vormen. Hoewel Calmara specifiek stelt dat zijn programma niet door minderjarigen mag worden gebruikt, ontbreekt het op het moment van schrijven nog steeds aan de meest elementaire protocollen voor leeftijdsverificatie.
“Het ontbreken van enige leeftijdsverificatie bij Calmara, of zelfs een selectievakje waarin gebruikers worden gevraagd te bevestigen dat ze achttien jaar of ouder zijn, is niet alleen lui, het is ook onverantwoord”, besluit Dawson.
Twijfelachtige privacypraktijken
Wat nog belangrijker is, is dat het simpelweg sturen van een waarschuwing naar uw ‘wellness’-websites het ‘juridische equivalent van magisch elfenstof’ kan zijn, aldus een samenvatting van digitale privacy-expert Carey Lening. Hoewel de FAQ-sectie van Calmara veel vager is over de technische details, stelt de FAQ-pagina van HeHealth dat hun diensten HIPAA-compatibel zijn omdat ze Amazon Web Services (AWS) gebruiken “om gegevens te verzamelen, verwerken, onderhouden en opslaan” – wat technisch gezien precies is.
Op de pagina gewijd aan HIPAA-regelgeving maakt AWS duidelijk dat er niet zoiets bestaat als “HIPAA-certificering” voor cloudserviceproviders. In plaats daarvan stemt AWS “ons HIPAA-risicobeheerprogramma af” om te voldoen aan de vereisten “die van toepassing zijn op ons bedrijfsmodel.” Volgens AWS gebruikt het “hogere beveiligingsnormen die consistent zijn met de HIPAA-beveiligingsregel” waardoor “gedekte entiteiten en hun zakenpartners” die onder de HIPAA vallen, AWS kunnen gebruiken voor het verwerken, onderhouden en opslaan van beschermde gezondheidsinformatie. Kortom, als u akkoord gaat met het gebruik van Calmara of HeHealth, gaat u ermee akkoord dat AWS afbeeldingen van penissen verwerkt, ongeacht of deze van u zijn of van iemand anders.
[Related: A once-forgotten antibiotic could be a new weapon against drug-resistant infections.]
Bovendien zegt Lenning dat de makers van Calmara mogelijk geen rekening hebben gehouden met recente staatswetten, zoals de Washington My Health and My Data Act, met zijn ‘extreem brede en uitgebreide kijk op consumentengezondheidsgegevens’ die aan het einde van de maand aan kracht zou moeten winnen. Juni. De My Health My Data Act, de eerste in zijn soort in de VS, is specifiek ontworpen om persoonlijke gezondheidsinformatie te beschermen die mogelijk buiten de HIPAA-kwalificaties valt.
“Kortom, ze hebben hun juridische due diligence niet uitgevoerd”, betoogde Lanning.
“Wat frustrerend is vanuit het perspectief van privacyvoorvechters en praktijkmensen is niet dat ze ‘gezondheidsinnovatie hebben omarmd’ en ‘een verschil hebben gemaakt’, maar dat ze een karakteristieke ‘beweeg snel, maak dingen kapot’-benadering van het probleem hebben gekozen”, zegt ze. vervolgt. “Het simpele feit is ja [online] De verontwaardiging is volkomen voorspelbaar, omdat de mensen bij Calmara naar mijn mening het risico op schade die hun app kan veroorzaken niet adequaat hebben ingeschat.”
Houd Calmara en ga verder
Toen Calmara en de oprichters van HeHealth rechtstreeks naar deze kwesties werden gevraagd, leken ze ontevreden.
“De meeste kritiek is gebaseerd op verkeerde informatie en verkeerde informatie”, schreef Yudara Kulaathne, CEO van HeHealth en medeoprichter van Calmare. PopSci afgelopen vrijdag, verwijzend naar de eerdere privacyverklaring van LinkedIn. Kulaathne voegde eraan toe dat er rekening wordt gehouden met “zorgen over de mogelijkheid dat anonieme gegevens opnieuw worden geïdentificeerd”.
Maandag plaatste Kulaathne nog een openbare post op LinkedIn, waarin hij beweerde dat hij aan het werk was en zich bezighield met ‘kwesties op het gebied van gezondheid en persoonlijke informatie (PHI),’ ‘CSAM-kwesties’, ‘kwesties met betrekking tot communicatie’ en ‘vragen met betrekking tot synthetische gegevens. ”
“We pakken de meeste van de geuite zorgen aan, en veel veranderingen zijn onmiddellijk doorgevoerd”, schreef Kulaathne.
Toen Calmara CEO Mei-Ling Lu werd gecontacteerd voor meer details, vermeed hij kritiek per e-mail te beantwoorden, maar bood hij het aan PopSci een audiobestand van “een van onze gebruikers” waarin wordt verteld hoe een naamloze gebruiker en haar partner de AI van HeHealth (en nu Calmarin) gebruikten om te bepalen of ze herpes hadden.
“[W]Toen ze op het punt stonden te vertrekken, realiseerde ze zich dat er iets ‘mis’ was met de lul van haar partner, maar hij zei: ‘Je weet hoeveel ik zweet, dit zijn hitteblaren”, schrijft Lu. Nadat ze een paar dagen later soortgelijke ‘hitteblaren’ hadden opgemerkt, raadpleegden Stacy en haar partner de AI-scanner van HeHealth, die de geüploade foto’s markeerde en ze doorverwees naar gezondheidswerkers die bevestigden dat ze allebei herpes hadden.
Voor alle duidelijkheid: medische organisaties zoals de Mayo Clinic bieden vrijelijk beknopte, nauwkeurige informatie over herpessymptomen, waaronder pijn of jeuk, samen met knobbels of blaren rond de geslachtsorganen, anus of mond, pijnlijk urineren en afscheiding uit de urethra of vagina. . De symptomen verschijnen meestal 2 tot 12 dagen na de infectie, en hoewel veel mensen die besmet zijn met het virus milde of geen symptomen vertonen, kunnen ze de ziekte nog steeds naar anderen verspreiden.
Ondertussen belooft Calmara’s geweldige (NSFW) promotievideo met dubbele inhoud dat het “DE PERFECTE WEBSITE VOOR UITBREIDING” is, maar hoeveel bananen er ook worden getoond, het gebruik van kunstmatige intelligentie om uw penis opnieuw te gebruiken lijkt niet bijzonder betrouwbaar, comfortabel of zelfs natuurlijk. .