Een uitgeprobeerde versie van de ANYmal quad, zoals aangepast door de Swiss-Mile in Zürich, wordt steeds beter en beter. Beginnend met een commerciële viervoeter, maakte het toevoegen van aangedreven wielen de robot snel en efficiënt, terwijl hij nog steeds stoepranden en trappen kon hanteren. Een paar jaar geleden leerde de robot opstaan, wat een efficiënte manier is om zich te verplaatsen en hem veel knuffelbaarder te maken, maar belangrijker nog: het ontgrendelde de mogelijkheid voor de robot om zijn armwiel te gaan manipuleren. -been arm.
Het uitvoeren van enige praktische manipulatie met ANYmal is ingewikkeld, omdat de ledematen zijn ontworpen als benen en niet als armen. Maar bij het Robotics Systems Laboratory van de ETH Zürich konden ze deze robot leren zijn ledematen te gebruiken om deuren te openen en zelfs een pakketje van een tafel te pakken en in een doos te laten vallen.
Als hij in de echte wereld een fout maakt, heeft de robot al herstelvaardigheden geleerd.
ETHZ-onderzoekers lieten de robot dit complexe gedrag op betrouwbare wijze uitvoeren met behulp van een soort versterkend leren dat nieuwsgierigheidsgestuurd leren wordt genoemd. In de simulatie krijgt de robot een doel dat hij moet bereiken. In dit geval wordt de robot beloond voor het bereiken van het doel om door een deur te lopen of een pakketje in een doos te krijgen. Dit zijn doelen van zeer hoog niveau (ook wel ‘zeldzame beloningen’ genoemd), en de robot krijgt onderweg geen enkele aanmoediging. In plaats daarvan moet hij bedenken hoe hij de hele taak helemaal opnieuw kan voltooien.
De volgende stap is om de robot een op aanraking gebaseerd gevoel van verrassing te geven.
Gezien de onpraktische hoeveelheid simulatietijd zou de robot er waarschijnlijk zelf achter komen hoe hij deze taken moet uitvoeren. Maar om het een bruikbaar uitgangspunt te geven, introduceerden de onderzoekers het concept van nieuwsgierigheid, dat de robot aanmoedigt om te spelen met objecten die aan een doel zijn gekoppeld. “In de context van dit artikel verwijst ‘nieuwsgierigheid’ naar het natuurlijke verlangen of de motivatie van onze robot om zijn omgeving te verkennen en te leren”, zegt auteur Marko Bjelonić, “waardoor hij oplossingen voor taken kan ontdekken zonder dat ingenieurs expliciet hoeven te specificeren wat Bij het openen van de deur wordt de robot verteld geïnteresseerd te zijn in de positie van de deurknop, terwijl bij het pakken van pakketten de robot wordt verteld geïnteresseerd te zijn in de beweging en locatie van het pakket. deze nieuwsgierigheid om manieren te vinden om met die parameters te spelen en deze te veranderen, helpt de robot zijn doelen te bereiken, zonder dat onderzoekers enige andere vorm van input hoeven te leveren.
Het gedrag dat de robot via dit proces bereikt, is betrouwbaar en ook gevarieerd, wat een van de voordelen is van het gebruik van zeldzame beloningen. “Het leerproces is gevoelig voor kleine veranderingen in de trainingsomgeving”, legt Bjelonić uit. “Dankzij deze gevoeligheid kan de agent verschillende oplossingen en paden verkennen, wat mogelijk kan leiden tot een meer innovatieve taakvoltooiing in complexe, dynamische scenario’s.” Met de taak om bijvoorbeeld een deur te openen, heeft de robot ontdekt hoe hij deze moet openen met een van zijn eindeffectoren of beide tegelijk, waardoor hij de taak in de echte wereld beter kan voltooien. Pakketmanipulatie is zelfs nog interessanter, omdat de robot tijdens de training het pakket soms liet vallen, maar leerde hoe hij het zelf weer kon oppakken. Dus als hij in de echte wereld een fout maakt, heeft de robot al herstelvaardigheden geleerd.
Er is hier nog steeds sprake van verkennend bedrog, aangezien de robot vertrouwt op het op visuele code gebaseerde systeem van AprilTags om hem te vertellen waar relevante dingen (zoals deurknoppen) zich in de echte wereld bevinden. Maar dat is een vrij kleine sluiproute, aangezien het rechtstreeks detecteren van zaken als deuren en pakketten een redelijk goed begrepen probleem is. Bjelonić zegt dat de volgende stap is om de robot een op aanraking gebaseerd gevoel van verrassing te geven om verkenning aan te moedigen, wat iets zachter is dan wat we hier zien.
Bedenk ook dat, hoewel dit beslist een onderzoekspaper is, Swiss-Mile een bedrijf is dat deze robot de wereld in wil krijgen om nuttige dingen te doen. Dus, in tegenstelling tot het meeste pure onderzoek dat we behandelen, is de kans hier iets groter dat ELK stukje wiel-arm-been-arm zijn weg zal vinden naar een praktische toepassing.
Uit artikelen op uw website
Gerelateerde artikelen op internet