Hoe een AI-‘debunkbot’ de gedachten van complottheoretici kan veranderen

In 2024 lijken complottheorieën op internet vrijwel onmogelijk te vermijden. Podcasters, prominente publieke figuren en leidende politieke figuren hebben zuurstof geblazen in de ooit marginale ideeën van samenzwering en bedrog. Mensen luisteren. In het hele land zei bijna de helft van de door YouGov ondervraagde volwassenen dat ze geloofden dat er een geheime groep mensen was die de wereldgebeurtenissen controleerde. Bijna een derde (29%) gelooft dat er met stemmachines is gemanipuleerd om de stemmen bij de presidentsverkiezingen van 2020 te veranderen. Een verrassend aantal Amerikanen denkt dat de aarde plat is. Iedereen die tijd heeft besteed aan het proberen deze beweringen van een ware gelovige te weerleggen, weet wat een uitdagende taak dit kan zijn. Maar wat als een groot taalmodel als ChatGPT een deel van dat hoofdpijnveroorzakende zware werk zou kunnen doen?

Een groep onderzoekers van het Massachusetts Institute of Technology, Cornell en American University heeft dat idee op de proef gesteld met een aangepaste chatbot die ze nu een ‘debunkbot’ noemen. De onderzoekers, die hun bevindingen publiceerden in Wetenschap, Zelfbenoemde complottheoretici voerden een voortdurend gesprek met een chatbot, die de opdracht kreeg gedetailleerde tegenargumenten te formuleren om hun standpunt te weerleggen en uiteindelijk te proberen van gedachten te veranderen. Uiteindelijk verminderden gesprekken met de chatbot het algehele vertrouwen van de deelnemers in hun complottheorie met gemiddeld 20%. Ongeveer een kwart van de deelnemers verwierp hun complottheorie volledig nadat ze met de AI hadden gesproken.

“We zien dat AI grotendeels een niet-samenzweerderige verklaring heeft gegeven voor deze schijnbaar samenzweerderige gebeurtenissen en mensen heeft aangemoedigd om kritisch na te denken en tegenbewijs te leveren”, zei MIT-professor en co-auteur David Rand tijdens een persconferentie.

“Dit is echt spannend”, voegde hij eraan toe. “Het leek te werken en het werkte op grote schaal.”

Onderzoekers hebben een AI ontwikkeld die is afgestemd op detectie

Bij het experiment waren 2.190 Amerikaanse volwassenen betrokken die openlijk beweerden in ten minste één idee te geloven dat voldeed aan de algemene beschrijving van een complottheorie. De deelnemers waagden zich aan de samenzwering en de ideologische gok, waarbij ze enige steun betuigden voor oudere klassieke theorieën, variërend van de moord op president John F. Kennedy en ontvoeringen door buitenaardse wezens tot modernere beweringen over Covid-19 en de verkiezingen van 2020. Aan elke deelnemer werd gevraagd om op een schaal van 0-100% aan te geven hoe sterk hij in een bepaalde theorie geloofde. Vervolgens werd hen gevraagd om schriftelijk verschillende redenen of verklaringen te geven waarom zij in die theorie geloofden.

Die antwoorden werden vervolgens ingevoerd in debunkbot, een aangepaste versie van het OpenAI GPT Turbo-model. De onderzoekers hebben de bot verfijnd om elk stukje ‘bewijs’ van de complottheoreticus aan te pakken en te reageren met nauwkeurige tegenargumenten uit de trainingsgegevens. De onderzoekers zeggen dat de debunkbot de opdracht kreeg om gebruikers “zeer effectief” van hun overtuigingen te overtuigen, terwijl ze een respectvolle en duidelijke toon handhaafden. Na drie rondes zwart en verder met de AI, werd de proefpersonen opnieuw gevraagd om te beoordelen hoe sterk ze geloofden in de door hen gestelde complottheorie.

De algehele waardering voor de steun voor complotovertuigingen daalde daarna met gemiddeld 16,8 punten. Bijna een derde van de respondenten verliet de uitwisseling en zei dat ze niet langer zeker waren van de overtuiging die ze binnengingen. Deze veranderingen in het geloof bleven grotendeels bestaan, zelfs toen de onderzoekers twee maanden later opnieuw contact opnamen met de deelnemers. In gevallen waarin deelnemers geloofden in een ‘echte’ complottheorie – zoals de pogingen van de tabaksindustrie om kinderen aan de haak te slaan of de geheime MKUltra-mindcontrol-experimenten van de CIA – bevestigde de AI deze overtuigingen feitelijk en leverde meer bewijs om ze te ondersteunen. Sommige respondenten die na de dialoog van mening veranderden, bedankten de chatbot voor het helpen de andere kant te zien.

“Dit is de eerste keer dat ik een antwoord kreeg dat echt, logisch en betekenisvol was”, zei een van de deelnemers na het experiment. “Ik moet toegeven dat dit echt mijn fantasie op gang bracht als het gaat om het onderwerp van de Illuminati.”

“Onze bevindingen dagen fundamenteel de opvatting uit dat bewijsmateriaal en argumenten van weinig nut zijn als je ‘in het konijnenhol stapt’ en in een complottheorie gelooft”, aldus de onderzoekers.

Hoe heeft de chatbot zijn weg gevonden?

De onderzoekers zijn van mening dat het voor de hand liggende succes van de chatbot ligt in het vermogen om snel toegang te krijgen tot winkels met gerichte, gedetailleerde, feitelijke gegevens. In theorie zou een mens hetzelfde proces kunnen uitvoeren, maar dan zou hij in het nadeel zijn. Complottheoretici kunnen vaak geobsedeerd zijn door hun keuzevraag, wat betekent dat ze er veel meer details over kunnen ‘weten’ dan een scepticus die hun beweringen probeert te weerleggen. Als gevolg hiervan kunnen menselijke debunkers verdwalen in hun pogingen om verschillende obscure argumenten te weerleggen. Dit kan een niveau van geheugen en geduld vereisen dat goed geschikt is voor AI.

“Het is echt waardevol om te weten dat het bewijsmateriaal ertoe doet”, zei professor en co-auteur van de Cornell University, Gordon Pennycook, tijdens de briefing. “Voordat we dit soort technologie hadden, was het niet eenvoudig om precies te weten wat we moesten blootleggen. Met deze nieuwe technologie kunnen we adaptiever werken.”

Populaire wetenschap testten de bevindingen met een versie van de chatbot die door de onderzoekers werd aangeleverd. In ons voorbeeld vertelden we de AI dat we denken dat de maanlanding van 1969 een hoax was. Om ons argument te ondersteunen, hebben we drie gespreksonderwerpen herhaald die veel voorkomen onder maanlandingssceptici. We vroegen waarom de geschilderde vlag in de wind wappert als de maan geen atmosfeer heeft, hoe astronauten de passage door de sterk bestraalde Van Allen-gordels konden overleven zonder gewond te raken, en waarom de VS ondanks de technologische vooruitgang niet nog iemand op de maan hebben gezet. Binnen drie seconden zorgde de chatbot voor een paragraaf waarin elk van deze punten duidelijk werd weerlegd. Toen ik de AI irritant bleef vragen hoe deze cijfers van corrupte overheidsbronnen kon vertrouwen, een ander vaak voorkomend refrein onder complottheoretici, reageerde de chatbot geduldig door mijn zorgen te erkennen en mij op aanvullende gegevens te wijzen. Het is onduidelijk of zelfs de meest behendige menselijke debunker zijn kalmte zou kunnen bewaren als hij voortdurend onder druk wordt gezet met strohalmen en onfeilbare beweringen.

AI-chatbots zijn niet perfect. Talrijke onderzoeken en voorbeelden uit de praktijk tonen aan dat enkele van de populairste AI-tools die door Google en OpenAI zijn gepubliceerd, consequent feiten en cijfers verzinnen of ‘hallucineren’. In dit geval huurden de onderzoekers een professionele factchecker in om verschillende beweringen te verifiëren die de chatbot deed tijdens gesprekken met studiedeelnemers. De factchecker controleerde niet alle duizenden AI-reacties. In plaats daarvan beoordeelden ze meer dan 128 claims, verdeeld over een representatieve steekproef van gesprekken. 99,2% van deze AI-claims bleek waar te zijn en 0,8% bleek onwaar. De factchecker achtte geen van deze beweringen volledig onwaar.

Een AI-chatbot kan op een dag een complottheoreticus ontmoeten op webforums

“We willen niet het risico lopen dat het perfecte het goede in de weg staat”, zei Pennycock. “Zeker, juist [the AI model] levert heel veel goed bewijsmateriaal op in deze gesprekken. Er kunnen gevallen zijn waarin de kwaliteit niet goed is, maar over het algemeen is het beter om informatie te krijgen dan niet.”

Vooruitkijkend hopen de onderzoekers dat hun debunkbot of iets dergelijks in de echte wereld kan worden gebruikt om complottheoretici te ontmoeten waar ze zijn en hen misschien hun overtuigingen te laten heroverwegen. Onderzoekers hebben gesuggereerd dat een versie van de bot mogelijk zou kunnen verschijnen op Reddit-forums die populair zijn bij complottheoretici. Als alternatief zouden onderzoekers mogelijk Google-advertenties kunnen weergeven op zoektermen die veel voorkomen onder complottheoretici. In dat geval kan de gebruiker, in plaats van te krijgen waar hij om vroeg, naar een chatbot worden geleid. De onderzoekers zeggen dat ze ook geïnteresseerd zijn in samenwerking met grote technologieplatforms zoals Meta om manieren te vinden om deze chabots naar de platforms te brengen. Of mensen bereid zijn de tijd te nemen om buiten het experiment met robots in discussie te gaan, blijft echter verre van zeker.

Toch zeggen de auteurs van het artikel dat de bevindingen een fundamenteler punt onderstrepen: feiten en rede kunnen, wanneer ze op de juiste manier worden gepresenteerd, sommige mensen uit hun samenzweringskonijnenhol halen.

“Argumenten en bewijsmateriaal mogen niet in de steek worden gelaten door degenen die het geloof in dubieuze complottheorieën willen verminderen”, schreven de onderzoekers.

“Psychologische behoeften en motivaties verblinden samenzweerders niet inherent voor bewijsmateriaal. Er is alleen maar echt bewijs nodig om daar te komen.”

Tenminste, als je volhardend en geduldig genoeg bent.