Deze modellen werden ingezet op Stretch, een robot bestaande uit een eenheid op wielen, een hoge paal en een intrekbare arm die een iPhone vasthoudt, om te testen hoe succesvol ze in nieuwe omgevingen taken konden uitvoeren zonder extra instellingen. Hoewel ze een voltooiingspercentage van 74,4% behaalden, konden de onderzoekers dit verhogen tot een succespercentage van 90% toen ze beelden van de iPhone en de op het hoofd van de robot gemonteerde camera vastlegden en deze doorgaven aan een recent OpenAI GPT-4o LLM-model. en gevraagd of de taak succesvol is voltooid. Als GPT-4o nee zei, resetten ze eenvoudigweg de robot en probeerden het opnieuw.
Een belangrijke uitdaging voor robotici is dat het trainen en testen van hun modellen in laboratoriumomgevingen niet representeert wat er in de echte wereld zou kunnen gebeuren. Dit betekent dat onderzoek dat machines helpt zich betrouwbaarder te gedragen in nieuwe omgevingen zeer welkom is, zegt Mohit Shridhar, en een onderzoeker gespecialiseerd in robotmanipulatie die niet bij het werk betrokken was.
“Het is leuk om te zien dat het in al deze verschillende huizen en keukens wordt geëvalueerd, want als je een robot in een willekeurig huis in het wild aan het werk kunt krijgen, is dat het echte doel van robotica”, zegt hij.
Het project zou kunnen dienen als een algemeen recept voor het bouwen van andere bruikbare robotmodellen voor andere taken, waardoor robots nieuwe vaardigheden kunnen worden aangeleerd met minimaal extra werk en het voor mensen die geen getrainde robotici zijn gemakkelijker wordt om toekomstige robots in huis te halen, zegt Shafiullah.
“De droom waar we voor gaan is dat ik iets kan trainen, het online kan zetten, en dat jij het moet kunnen downloaden en op een robot bij je thuis kunt laten draaien”, zegt hij.