Met behulp van memes zijn gebruikers van sociale media rode teams geworden voor halfbakken AI-functies

“Schaarlopen is een cardio-oefening die je hartslag kan verhogen en concentratie en focus vereist”, zegt de nieuwe AI-zoekfunctie van Google. “Sommigen zeggen dat het ook je poriën kan verbeteren en kracht kan geven.”

De AI-functie van Google haalde dit antwoord van een website genaamd Little Old Lady Comedy, wat, zoals de naam duidelijk maakt, een komedieblog is. Maar de blunder is zo belachelijk dat hij de ronde doet op sociale media, samen met andere ogenschijnlijk onnauwkeurige recensies over de AI van Google. In feite associëren gewone gebruikers deze producten nu op sociale media.

Op het gebied van cyberbeveiliging zullen sommige bedrijven ‘rode teams’ inhuren – ethische hackers – die proberen in te breken in hun producten alsof ze slechte actoren zijn. Als het rode team een ​​kwetsbaarheid vindt, kan het bedrijf deze repareren voordat het product wordt verzonden. Google heeft zeker een vorm van red teaming uitgevoerd voordat het een AI-product op Google Zoeken uitbracht, dat naar schatting biljoenen zoekopdrachten per dag verwerkt.

Het is dus verrassend als een bedrijf met geweldige middelen als Google producten met duidelijke tekortkomingen blijft leveren. Daarom is het nu een meme geworden om het falen van AI-producten te clownen, vooral in een tijd waarin AI steeds alomtegenwoordiger wordt. We hebben het gezien met slechte spelling op ChatGPT, het onvermogen van videogeneratoren om te begrijpen hoe mensen spaghetti eten, en Grok AI-nieuwssamenvattingen op X die, net als Google, geen satire begrijpen. Maar deze memes zouden feitelijk kunnen dienen als nuttige feedback voor bedrijven die AI ontwikkelen en testen.

Ondanks het opvallende karakter van deze tekortkomingen bagatelliseren technologiebedrijven vaak de impact ervan.

“De voorbeelden die we hebben gezien zijn over het algemeen zeer ongebruikelijke vragen en zijn niet representatief voor de ervaringen van de meeste mensen”, vertelde Google in een verklaring per e-mail aan TechCrunch. “We hebben uitgebreide tests uitgevoerd voordat we deze nieuwe ervaring lanceerden en zullen deze geïsoleerde voorbeelden gebruiken terwijl we onze systemen als geheel blijven verfijnen.”

Niet alle gebruikers zien dezelfde AI-resultaten, en tegen de tijd dat er een bijzonder slechte AI-suggestie verschijnt, is het probleem vaak al opgelost. In een recenter geval dat viraal ging, suggereerde Google dat als je een pizza maakt, maar de kaas niet blijft plakken, je ongeveer een achtste kopje lijm aan de saus kunt toevoegen om ‘het meer plakkerig te maken’. Het blijkt dat de AI dit antwoord haalt uit een elf jaar oude Reddit-opmerking van een gebruiker genaamd “f––smith.”

Het is niet alleen een ongelooflijke fout, maar het geeft ook aan dat AI-contentdeals mogelijk overgewaardeerd zijn. Google heeft een deal van $60 miljoen met Reddit om de inhoud ervan in licentie te geven om bijvoorbeeld AI-modellen te trainen. Reddit heeft vorige week een soortgelijke deal getekend met OpenAI, en het gerucht gaat dat Automattic-eigendommen WordPress.org en Tumblr in gesprek zijn om gegevens te verkopen aan Midjourney en OpenAI.

Het strekt Google tot eer dat veel van de bugs die op sociale media circuleren, afkomstig zijn van onconventionele zoekopdrachten die zijn ontworpen om de AI uit te dagen. Ik hoop in ieder geval dat niemand serieus op zoek is naar de “gezondheidsvoordelen van hardlopen met een schaar”. Maar sommige van deze fouten zijn ernstiger. Wetenschapsjournalist Erin Ross meldde op X dat Google onjuiste informatie heeft verspreid over wat je moet doen als je wordt gebeten door een ratelslang.

Uit de post van Ross, die ruim 13.000 likes heeft gekregen, blijkt dat de AI aanbeveelde een tourniquet op de wond aan te brengen, de wond door te snijden en het gif eruit te zuigen. Volgens de US Forest Service zijn dit allemaal dingen die je nodig hebt Nee doen, als het je bijt. Ondertussen deelde auteur T Kingfisher op Bluesky een bericht waarin hij liet zien hoe Google Gemini een paddestoel ten onrechte identificeerde als een gewone witte champignon – screenshots van het bericht zijn als waarschuwing naar andere platforms verspreid.

Wanneer een slecht AI-antwoord viraal gaat, kan de AI meer in de war raken door de nieuwe inhoud over het onderwerp die als gevolg daarvan ontstaat. Woensdag plaatste New York Times-verslaggever Aric Toler een screenshot van de X met een vraag waarin werd gevraagd of de hond ooit in de NHL had gespeeld. Het antwoord van de AI was ja – om de een of andere reden noemde de AI Calgary Flames-speler Martin Pospisil een hond. Als je nu dezelfde vraag stelt, haalt de AI een artikel uit de Daily Dot tevoorschijn over hoe de AI van Google blijft denken dat honden sporten. De AI voedt zich met zijn eigen fouten en vergiftigt deze verder.

Dit is een inherent probleem bij het trainen van deze grote AI-modellen op internet: soms liegen mensen op internet. Maar net zoals er geen regel is tegen een hond die basketbal speelt, is er helaas ook geen regel tegen grote technologiebedrijven die slechte AI-producten leveren.

Zoals ze zeggen: garbage in, garbage out.