Gezien de taaldiversiteit van India staan bedrijven op het gebied van digitale inhoud nu al voor de uitdaging om inhoud accuraat weer te geven en te vertalen. Google wordt geconfronteerd met een soortgelijk probleem met AI-recensies die onlangs in het land zijn geïntroduceerd.
Het bedrijf introduceerde eerder in augustus Hindi-taalondersteuning voor AI-previews in het land. Gebruikers in India kunnen ook overschakelen van Hindi naar Engels zonder de zoekpagina te verlaten. Maar deze functie is teleurstellend inconsistent.
Een eenvoudig voorbeeld is het resultaat dat we hebben geselecteerd op de blog van Google. De GIF toonde het antwoord op “Cheeni ki jagah chai mai kya daal sakte hai?” wat zich vertaalt naar “Wat is een vervanger voor suiker in thee?” Tijdens het testen hebben we de woordvolgorde gewijzigd in “Chai mai cheeni ke jagah kya daal sakte hai?”, maar Google liet het antwoord gewoon niet zien.
Een ander probleem dat ons opviel, is de letterlijke vertaling van Engelse woorden. Toen we in het Hindi vroegen: “Wat voor eten kunnen we in de zomer eten?” een van de antwoorden was “Chiknai wali cheezien”, wat zich vertaalt naar “Sticky stuff” – en het is verwarrend. Toen ik overschakelde naar het Engels, liet Google me de optie “Oily” zien, wat heel iets anders is dan “sticky” als het om eten gaat. Hoe dan ook, het is een beetje een vreemd voorstel.
In een ander geval, toen we vroegen naar het eigendom van YouTube, zeiden de AI-previews “Tot 16 februari 2023 was Neal Mohan de CEO van Google” in het Hindi, wat niet klopt. De Engelse tekst had de juiste versie: “Vanaf 16 februari 2023 is Neal Mohan de CEO van Google”.
Er zijn ook kwalitatieve problemen. Toen we vroegen: “Wanneer is Diwali dit jaar?” in plaats van een eenvoudig antwoord kregen we een paragraaf over de Diwali van vorig jaar, daarna een carrousel van links, en Dan het juiste antwoord waar we naar op zoek waren.
Toen we herhaaldelijk vroegen of je zowel in het Hindi als in het Engels pittig eten kunt eten, kregen we via de AI-review inconsistente antwoorden.
Er zijn echter meer zorgwekkende resultaten met betrekking tot andere onderwerpen, zoals menstruatie en zwangerschap. Op een van onze vragen, over wanneer iemand zou moeten nadenken over het krijgen van kinderen na het huwelijk, zegt de eerste paragraaf van het overzichtsantwoord dat paren minstens twee jaar moeten wachten, wat Hindi verwart.
Er wordt ook vermeld dat als iemand rond zijn 25e trouwt, hij “drie jaar” de tijd heeft – zonder aan te geven waarom. Deze paragraaf is blijkbaar afkomstig uit een Hindi-diavoorstellingartikel op een Indiase nieuwssite, die de informatie schreef op basis van verschillende meningen op Quora en andere blogs.
Op de vraag welk voedsel je moet eten als je menstrueert, suggereerden sommige antwoorden: “Drink melk met veel spullen” en citroen voor stemmingswisselingen.
De AI-recensie van Google mist ook de context: toen we vroegen naar eetgelegenheden in Delhi, suggereerde het dat Bangla Sahib Gurudwara, een Sikh-plaats van aanbidding, 24 uur per dag geopend is en dat je thee en Indiase snacks zoals Samosa en Kachori kunt krijgen. Er wordt echter niets belangrijks vermeld dat het originele artikel vermeldde: dat u deze items kon krijgen buiten Gurudwara, het sleutelwoord dat de AI-tool miste bij het samenvatten. Snacks zijn niet aanwezig op de plaats van aanbidding.
Sommige resultaten voor soortgelijke vragen in het Engels zijn veel beter dan die in het Hindi. Dit kan deels te wijten zijn aan het feit dat er meer en betere bronnen beschikbaar zijn in die taal. Maar sommige van de problemen die we hebben benadrukt, waren te wijten aan fouten in het Google-systeem, zoals samenvattingen die niet in de context stonden en onjuiste vertalingen. Google heeft in India aan zoek- en taalproblemen gewerkt en er wordt verwacht dat het bij de eerste lancering een beter resultaat had moeten opleveren.
Google vertelde TechCrunch dat zijn AI-voorbeelden alleen verschijnen voor zoekopdrachten waarbij het een groot vertrouwen heeft in de kwaliteit van de uitvoer, en zegt dat de functie “geworteld is in onze belangrijkste zoekkwaliteitssystemen” en “alleen informatie zal tonen die wordt ondersteund door de beste webresultaten.
“Uit onze tests blijkt dat de nauwkeurigheid van AI-previews vergelijkbaar is met die van andere functies zoals Featured Snippets. Wanneer er zich problemen voordoen, kunnen deze het gevolg zijn van het feit dat onze systemen webinhoud verkeerd interpreteren of onnauwkeurigheden op het web weerspiegelen – en we gebruiken deze voorbeelden om te verbeteren, zoals we doen met alle zoekfuncties”, vertelde een woordvoerder van Google aan TechCrunch.
Google kan de kwaliteit van de bronnen die het citeert de schuld geven. Het was echter het algoritme van Google dat de vraag besliste en de bronnen waren de moeite waard om samen te vatten met AI. Niet alle gebruikers zullen naar het materiaal op de bronpagina’s kijken en alleen maar naar Google verwijzen voor het weergeven van onjuiste of onbegrijpelijke antwoorden.
AI-previews waren een teleurstellende onderneming voor Google. Eerder dit jaar kreeg het bedrijf veel kritiek omdat het in reacties op Reddit verscheen waarin gebruikers werden gevraagd lijm aan pizza toe te voegen. AI-recensies vertelden een andere gebruiker om te eten “één kleine steen per dag”, het antwoord dat werd overgenomen De ui. Veel voorbeelden die we in het Hindi hebben getest, gaven eenvoudigweg geen nauwkeurige informatie over het onderwerp.
India heeft er meer dan 830 miljoen internetgebruikersen een groot aantal van hen gebruikt Google om te zoeken. Als het bedrijf wil dat meer mensen AI-preview in lokale talen gebruiken, zal het zijn inspanningen op het gebied van taal- en inhoudsnauwkeurigheid moeten opvoeren.