AI-chatbots worden in snel tempo geïntroduceerd voor een breed scala aan functies
Andriy Onufriyenko/Getty Images
Kan kunstmatige intelligentie de waarheid vertellen? Waarschijnlijk niet, maar ontwikkelaars van chatbots met een groot taalmodel (LLM) zouden wettelijk verplicht moeten worden om de kans op fouten te verkleinen, zegt een team van ethici.
“Wat we alleen maar proberen te doen is een stimuleringsstructuur creëren om bedrijven ertoe aan te zetten meer nadruk te leggen op waarheid of nauwkeurigheid wanneer ze systemen bouwen”, zegt Brent Mittelstadt van de Universiteit van Oxford.
LLM-chatbots, zoals ChatGPT, genereren menselijke antwoorden op vragen van gebruikers, gebaseerd op statistische analyse van grote hoeveelheden tekst. Maar hoewel hun antwoorden doorgaans plausibel lijken, zijn ze ook gevoelig voor fouten – een fout die ‘hallucinatie’ wordt genoemd.
“We hebben hele, hele indrukwekkende generatieve AI-systemen, maar ze gaan heel vaak de fout in, en voor zover we de basiswerking van het systeem kunnen begrijpen, is er geen fundamentele manier om dit op te lossen”, zegt Mittelstadt.
Dit is een “zeer groot probleem” voor LLM-systemen, aangezien ze zijn geïntroduceerd voor gebruik in verschillende contexten, zoals overheidsbesluiten, waarbij het belangrijk is dat ze feitelijk nauwkeurige, waarheidsgetrouwe antwoorden geven en eerlijk zijn over beperkingen. van hun kennis, zegt hij.
Om het probleem op te lossen stellen hij en zijn collega’s een reeks maatregelen voor. Ze zeggen dat grote taalmodellen op een vergelijkbare manier moeten reageren als mensen zouden reageren als er feitelijke vragen worden gesteld.
Het betekent eerlijk zijn over wat je wel en niet weet. “Het gaat erom dat je de nodige stappen zet om daadwerkelijk voorzichtig te zijn met wat je beweert”, zegt Mittelstadt. “Als je ergens niet zeker van bent, verzin je niet zomaar iets om overtuigend te zijn. Je zegt liever: ‘Hé, weet je wat? Ik weet het niet. Laat me daar eens naar kijken. Ik kom bij je terug.”
Dit lijkt een prijzenswaardig doel, maar Eerke Boiten van De Montfort University, VK vraagt zich af of het verzoek van de ethicus technisch haalbaar is. Bedrijven proberen LLM’s zover te krijgen dat ze zich aan de waarheid houden, maar tot nu toe is dit zo arbeidsintensief gebleken dat het niet praktisch is. “Ik begrijp niet hoe ze verwachten dat wettelijke vereisten iets verplichten dat ik technologisch gezien fundamenteel onmogelijk acht”, zegt hij.
Mittelstadt en zijn collega’s stellen enkele eenvoudigere stappen voor die de LLM meer waar zouden kunnen maken. Modellen moeten aan bronnen worden gekoppeld, zegt hij – iets wat velen van hen nu doen om hun beweringen te bewijzen, terwijl een breder gebruik van een techniek die bekend staat als augmented generation retrieval om antwoorden te vinden de kans op hallucinaties zou kunnen beperken.
Hij stelt ook dat LLM’s die worden ingezet in gebieden met een hoog risico, zoals de besluitvorming van de overheid, de bronnen waaruit ze kunnen putten moeten verminderen of beperken. “Als we een taalmodel hadden dat we alleen in de geneeskunde wilden gebruiken, zouden we het kunnen beperken zodat het alleen wetenschappelijke artikelen kon doorzoeken die in hoogwaardige medische tijdschriften zijn gepubliceerd”, zegt hij.
Ook het veranderen van percepties is belangrijk, zegt Mittelstadt. ‘Als we van dat idee af kunnen komen [LLMs] goed zijn in het beantwoorden van feitelijke vragen, of in ieder geval dat ze je een betrouwbaar antwoord geven op feitelijke vragen, en je ze in plaats daarvan meer ziet als iets dat je kan helpen met de feiten die je ze presenteert, dat zou goed zijn”, hij zegt.
Catalina Goanta van de Universiteit Utrecht zegt dat onderzoekers zich te veel richten op de technologie en niet genoeg op de langetermijnkwesties van leugens in het publieke debat. “Alleen al het denigreren van de LLM in een dergelijke context wekt de indruk dat mensen volkomen ijverig zijn en nooit zulke fouten zouden maken”, zegt ze. “Vraag het aan elke rechter die je tegenkomt, in welk rechtsgebied dan ook, en ze zullen horrorverhalen hebben over nalatigheid van advocaten en omgekeerd – en dat is geen machineprobleem.”
Onderwerpen: