Er was iets vreemds in haar stem, dachten ze. Het was bekend, maar na een tijdje begon het zich overal te verspreiden.
Zoals vaste BBC-kijkers weten, is het accent van wetenschapspresentator Liz Bonnin Iers. Maar deze voicemail, die ogenschijnlijk toestemming gaf om haar imago te gebruiken in een reclamecampagne, leek haar aan de andere kant van de wereld te plaatsen.
Het bericht bleek nep – gegenereerd door kunstmatige intelligentie om de stem van Bonnin na te bootsen. Haar managementteam kreeg het in handen nadat ze deze week het gezicht van de presentatrice in online advertenties voor insectenspray zagen, iets waar ze zich niet voor had aangemeld.
“In het begin klinkt het als mij, maar dan klink ik een beetje Australisch, en dan is het uiteindelijk zeker Engels. Alles is gefragmenteerd en er is geen ritme”, zegt Bonnin, vooral bekend van zijn presentaties Bang Goes the Theory en Our Changing Planet.
“Ik voel me een overtreding en het is niet prettig”, voegde ze eraan toe. “Godzijdank was het gewoon insectenspray en zou ik niet voor iets heel vreselijks reclame maken!”
Howard Carter, CEO van Incognito, het bedrijf achter de mislukte campagne, beweert dat hij een reeks voicemails heeft ontvangen van iemand waarvan hij dacht dat het Bonnin was. Hij zei dat deze voicemails hem “bevestigden” dat hij inderdaad met haar sprak.
Hij had eerder haar steun gezocht voordat hij werd benaderd door een Facebook-profiel dat de identiteit van Bonn overnam. Hij beweert dat de berichten die de twee uitwisselden hem ertoe brachten te geloven dat zij de echte deal was, ondanks dat hij vond dat het profiel “een beetje raar” was.
De persoon die de identiteit van Bonnin aannam, gaf Carter een telefoonnummer en e-mailadres. Ze gaven hem ook contactgegevens van iemand die zich voordeed als lid van de Wildlife Trusts, de liefdadigheidsinstelling waarvan Bonnin voorzitter is. Hij zei dat de deal tot stand was gekomen via WhatsApp en e-mails. Hij beweert ook minstens één keer aan de telefoon te hebben gesproken met een van de oplichters die zich voordeed als Bonnin.
Op 13 maart ontving Carter via e-mail een contract waarvan hij dacht dat Bonnin elektronisch had ondertekend. Op 15 maart stuurde het bedrijf £20.000 naar een rekening die aan de digitale bank was gekoppeld, zo blijkt uit bankafschriften. Foto’s van Bonnin voor gebruik in de campagne werden vijf dagen later verzonden.
Verdere e-mails verzonden door Incognito bleven onbeantwoord. De campagne werd maandag gelanceerd met behulp van citaten en afbeeldingen van oplichters. Een paar uur later zei Bonnin op X dat ze niet had ingestemd met enige goedkeuring van het bedrijf.
Een persoon die zich voordeed als Bonnin stuurde Carter dinsdag een sms om zich te verontschuldigen en zei dat hij zijn sociale media niet gebruikte, daarbij verwijzend naar server- en beveiligingsproblemen. Op dit punt drong het tot Carter door dat hij bedrogen was.
Bonnin zei: “Het spijt me heel erg voor wat het bedrijf heeft meegemaakt. Voor hen is het helemaal niet leuk, maar het is een overtreding van beide kanten. Het herinnert ons eraan dat als het te mooi lijkt om waar te zijn en te gemakkelijk, of een beetje raar, drie- of viervoudig gecontroleerd moet worden.”
Ze voegde eraan toe: “Als iemand contact met je opneemt en zegt: ‘Hé, laten we niet de professionele route kiezen’, pas dan op.”
Carter beweert dat hij niet via het managementbureau van Bonnin heeft getekend, omdat een persoon die haar vertegenwoordigde zei dat ze ‘ons een plezier deed, zolang we het maar rechtstreeks met haar doen en haar hoofdbureau er niet bij betrekken’.
In een spraakbericht dat door de Guardian wordt beluisterd, spreekt de door AI gegenereerde Bonnin een reeks nadrukkelijke zinnen uit, zoals “Ik moet u bedanken voor het verduidelijken van de richting die u voor ogen heeft voor onze samenwerking.”
Twee experts op het gebied van kunstmatige intelligentie die de spraaknotitie evalueerden, waren het erover eens dat deze waarschijnlijk kunstmatig was gegenereerd. Surya Koppisetti, senior toegepast wetenschapper bij beelddetectie-startup Reality Defender, zei: “Er zijn tekortkomingen en problemen met de recitatiesnelheid die consistent zijn met door AI gegenereerde spraak. De dialoog heeft een inconsistent accent.” Koppisetti voegde eraan toe dat de spraakkwaliteit “ondanks het lawaai opmerkelijk helder” was.
Michael Keeling, een senior datawetenschapper bij de kunstmatige intelligentiefaculteit van het bedrijf, zei dat de ‘constante, monotone’ kunstmatige achtergrondruis in een bericht ‘een klassieke manier is om iets er realistischer uit te laten zien’. “Als je hiernaar luistert via een telefoon in een drukke straat, is het een stuk gemakkelijker om er langs te komen”, voegde hij eraan toe.
Bonnin zei dat het incident een “waarschuwingsboodschap” was over de mogelijke valkuilen van AI. “Er zijn veel manieren waarop AI kan worden gebruikt ten behoeve van de samenleving. We hebben gehoord dat het kan worden gebruikt om kanker te identificeren, maar het is niet voldoende gereguleerd. De technologie zal alleen maar beter en geavanceerder worden”, voegde ze eraan toe.
Incognito zei dat hij het incident had gemeld bij de politie en zijn bank. In de verklaring stond: “Wij hopen het [our CEO] Het vallen voor deze uitgebreide oplichting zal een waarschuwing zijn voor anderen om niet voor dezelfde of soortgelijke oplichting te trappen. Geavanceerde criminelen die AI en andere computergegenereerde communicatie gebruiken, hebben Howard en Incognito verschillende keren aangevallen.
“Het is begrijpelijk dat veel bedrijven niet willen dat het publiek hoort dat ze zijn opgelicht vanwege schaamte en schaamte. Als ethisch, transparant geleid bedrijf vinden wij het onze plicht om mensen en hun bedrijven te waarschuwen voor de opkomst van dergelijke sluwe misleidingen. Howard en alle anderen in onze organisatie verontschuldigen zich bij Liz Bonnin en haar medewerkers voor de schade die we per ongeluk hebben veroorzaakt.”
De BBC reageerde niet op een verzoek om commentaar. De Wildlife Trust weigerde commentaar te geven.