Om het systeem te ontwikkelen, hebben onderzoekers van de New York University en Meta Stretch getest, een in de handel verkrijgbare robot gemaakt door Hello Robot die bestaat uit een eenheid op wielen, een hoge paal en een intrekbare arm, in in totaal tien kamers in vijf huizen.
Terwijl de onderzoeker in de kamer met de robot was, scande hij de omgeving met behulp van Record3D, een iPhone-app die het lidar-systeem van de telefoon gebruikt om 3D-video vast te leggen die hij deelt met de robot.
Het OK-Robot-systeem voerde vervolgens een open source AI-objectdetectiemodel uit over de frames van de video. Dit, gecombineerd met andere open-sourcemodellen, hielp de robot objecten in die kamer te identificeren, zoals een speelgoeddraak, een tube tandpasta en een pakje speelkaarten, evenals locaties in de kamer, waaronder een stoel, een tafel, en een prullenbak.
Het team gaf de robot vervolgens de opdracht een specifiek object op te pakken en naar een nieuwe locatie te verplaatsen. In 58,5% van de gevallen slaagde de robottang hierin; het slagingspercentage steeg tot 82% in kamers die minder druk waren. (Hun onderzoek is nog niet door vakgenoten beoordeeld.)
De recente hausse aan AI heeft geleid tot enorme sprongen in de taal- en computervisiemogelijkheden, waardoor robotica-onderzoekers toegang hebben gekregen tot AI-modellen en open source-tools die drie jaar geleden nog niet bestonden, zegt Matthias Minderer, senior computer vision-onderzoeker bij Google. DeepMind, dat niet bij het project betrokken was.
“Ik zou zeggen dat het nogal ongebruikelijk is om volledig te vertrouwen op kant-en-klare modellen en behoorlijk indrukwekkend om ze te laten werken”, zegt hij.