Aurich Lawson | Getty-afbeeldingen
We ervaren nu al bijna anderhalf jaar de generatieve AI-boom, nadat OpenAI ChatGPT eind 2022 werd uitgebracht. Maar ondanks de transformerende effecten op de aandelenkoersen van bedrijven, hebben generatieve AI-tools, aangedreven door grote taalmodellen (LLM), nog steeds Er zijn grote nadelen die ervoor zorgen dat ze niet zo nuttig zijn als velen zouden willen. Advanced Download Generation, of RAG, heeft tot doel een aantal van deze tekortkomingen op te lossen.
Misschien wel het meest opvallende nadeel van LLM’s is hun neiging tot confabuleren (ook wel ‘hallucineren’ genoemd), wat een creatieve techniek is om hiaten op te vullen die AI-taalmodellen gebruiken wanneer ze hiaten in hun kennis tegenkomen die niet aanwezig waren in hun trainingsgegevens. Ze genereren plausibel klinkende tekst die kan neigen naar nauwkeurigheid als de trainingsgegevens solide zijn, maar die verder volledig fictief kunnen zijn.
Het vertrouwen op verzonnen AI-modellen brengt mensen en bedrijven in de problemen, zoals we in het verleden schreven. In 2023 zagen we twee zaken waarin advocaten rechtszaken aanhaalden, verzonnen door AI, die niet bestonden. We hebben rechtszaken tegen OpenAI besproken waarin ChatGPT onschuldige mensen beschuldigde van het doen van vreselijke dingen. In februari schreven we over de chatbot van de klantenservice van Air Canada die zijn restitutiebeleid bedacht, en in maart werd een chatbot uit New York betrapt op het verwarren van stadsregels.
Dus als generatieve AI de technologie moet zijn die de mensheid de toekomst in stuwt, moet iemand gaandeweg de confabulatie-knikken gladstrijken. Dat is waar RAG in beeld komt. De voorstanders hopen dat de techniek zal helpen generatieve AI-technologie om te zetten in betrouwbare assistenten die de productiviteit kunnen verhogen zonder dat mensen de antwoorden dubbel moeten controleren of raden.
“RAG is een manier om de LLM-prestaties te verbeteren, waarbij het LLM-proces in wezen wordt gecombineerd met zoeken op internet of een ander proces voor het ophalen van documenten” om LLM’s te helpen zich aan de feiten te houden, zegt Noah Giansiracusa, universitair hoofddocent wiskunde aan de Bentley University.
Laten we eens nader bekijken hoe het werkt en wat de beperkingen zijn.
Een raamwerk voor het verbeteren van de AI-nauwkeurigheid
Hoewel RAG nu wordt beschouwd als een techniek die generatieve kunstmatige intelligentie-problemen helpt oplossen, dateert het eigenlijk van vóór ChatGPT. Onderzoekers bedachten de term in een academisch artikel uit 2020 van onderzoekers van Facebook AI Research (FAIR, nu Meta AI Research), University College London en New York University.
Zoals we al zeiden, worstelen LLM’s met feiten. Bard, de intrede van Google in de generatieve AI-race, maakte een gênante fout tijdens de eerste openbare demonstratie van de James Webb Space Telescope in februari 2023. Door deze fout werd ongeveer $100 miljard aan waarde van moederbedrijf Alphabet weggevaagd. LLM’s geven het statistisch meest waarschijnlijke antwoord op basis van hun trainingsgegevens en begrijpen niets van wat ze geven, wat betekent dat ze valse informatie kunnen presenteren die correct lijkt als je geen deskundige kennis van een onderwerp hebt.
LLM’s missen ook actuele kennis en het vermogen om hiaten in hun kennis te identificeren. “Wanneer iemand een vraag probeert te beantwoorden, kan hij op zijn geheugen vertrouwen en meteen met het antwoord komen, of hij kan iets als Google doen of naar Wikipedia kijken en dan proberen een antwoord samen te stellen op basis van wat hij daar vindt. . – en filteren die informatie nog steeds via hun interne kennis van de materie”, zei Giansiracusa.
Maar LLM’s zijn natuurlijk geen mensen. Hun trainingsgegevens kunnen snel verouderd raken, vooral bij tijdgevoelige zoekopdrachten. Bovendien kan de LLM de specifieke bronnen van zijn kennis vaak niet onderscheiden, omdat al zijn trainingsgegevens in een soort soep door elkaar worden gemengd.
In theorie zou RAG het updaten van AI-modellen veel goedkoper en gemakkelijker moeten maken. “Het mooie van RAG is dat wanneer nieuwe informatie beschikbaar komt, in plaats van het model opnieuw te trainen, het enige wat nodig is de externe kennisbasis van het model uitbreidt met de bijgewerkte informatie”, aldus Peterson. “Dit vermindert de tijd en kosten van LLM-ontwikkeling en vergroot tegelijkertijd de schaalbaarheid van het model.”