Google heeft een nieuwe manier gevonden om te demonstreren wat zijn Gemini AI-model kan doen, met behulp van een robot.
Dit was een robot van Google’s Everybody Robots Division, die vorig jaar werd gesloten. Maar blijkbaar bestaan de robots nog steeds, dus heeft Google een gele vlinderdas om een van hen gedaan en vervolgens Gemini gebruikt om de robot te leren hoe hij op commando’s moet reageren en hoe hij door de kantoorruimte van DeepMind moet navigeren.
Om dit te bereiken gebruikt Google VLM-visietaalmodellen die zijn getraind op afbeeldingen en video’s samen met tekst, waardoor ze vragen kunnen beantwoorden en taken kunnen uitvoeren die perceptie vereisen.
In één video vraagt een Google-medewerker de robot bijvoorbeeld om hem ergens heen te brengen om dingen te tekenen. De robot zegt dat hij even moet nadenken en leidt de medewerker vervolgens naar het whiteboard. In een andere video wordt de robot verteld de instructies op een wit bord te volgen, waarop een kaart de routebeschrijving toont om naar het zogenaamde blauwe gebied te gaan. De robot volgt de aanwijzingen naar het robotica-testgebied en kondigt vervolgens aan: “Ik heb de instructies op het whiteboard met succes gevolgd.”
Druk op play om de robot in actie te zien en laat ons in de reacties weten wat je ervan vindt!