Covariant kondigt universeel AI-platform voor robots aan

Wanneer IEEE-spectrumschreef voor het eerst over Covariant in 2020, het was een nieuwe robotica-startup die robotica op grote schaal wilde toepassen op opslag via de magie van een end-to-end neuraal netwerk. Destijds concentreerde Covariant zich op dit gebruiksscenario voor picken, omdat het een toepassing vertegenwoordigt die onmiddellijke waarde kan bieden: magazijnbedrijven betalen Covariant voor hun robots om artikelen in hun magazijnen te picken. Maar voor Covariant was het opwindende deel dat het verzamelen van artikelen in magazijnen de afgelopen vier jaar een enorme hoeveelheid manipulatiegegevens uit de echte wereld heeft opgeleverd – en je kunt waarschijnlijk wel raden waar dat naartoe gaat.

Vandaag kondigt Covariant de RFM-1 aan, die het bedrijf beschrijft als een robotica-basismodel dat robots ‘mensachtige redeneringen’ geeft. Dat komt uit het persbericht, en hoewel ik niet noodzakelijkerwijs teveel in de “menselijke” of “reden” zou lezen, is wat Covariant hier aan de hand is behoorlijk cool.

Het ‘kernmodel’ betekent dat RFM-1 kan worden getraind op meer data om meer dingen te doen. Op dit moment draait het allemaal om opslagmanipulatie, want daar is het op getraind, maar zijn mogelijkheden kunnen worden uitgebreid door hem meer data te geven. “Ons bestaande systeem is al goed genoeg om zeer snelle, zeer variabele pick-and-place te doen”, zegt Pieter Abbeel, medeoprichter van Covariant. “Maar nu gaan we verder. Elke taak, elke incarnatie – het is een langetermijnvisie. Robotica-basismodellen die miljarden robots over de hele wereld aandrijven.” Zo te zien was de taak van Covariant, het inzetten van een grote vloot magazijnautomatiseringsrobots, voor hen de snelste manier om de tientallen miljoenen trajecten (hoe de robot beweegt tijdens een taak) te verzamelen die ze nodig hadden om de 8 miljard parameter RFM te trainen. . -1 model.

Covariant

“De enige manier waarop je kunt doen wat wij doen, is door robots overal ter wereld een hoop gegevens te laten verzamelen”, zegt Abbeel. “Hierdoor kunnen we een basisrobotmodel trainen dat uniek in staat is.”

Er zijn andere pogingen daartoe geweest: het RTX-project is een recent voorbeeld. Maar terwijl RT-X afhankelijk is van onderzoekslaboratoria die de gegevens delen die ze nodig hebben om een ​​dataset te creëren die groot genoeg is om bruikbaar te zijn, doet Covariant dit op zichzelf, dankzij zijn vloot van magazijnrobots. “RT-X omvat ongeveer een miljoen trajecten aan gegevens”, zegt Abbeel, “maar we kunnen dat verslaan omdat we elke paar weken een miljoen trajecten ontvangen.”

“Door het bouwen van een waardevolle plukrobot die in 15 landen wordt ingezet met tientallen klanten, hebben we feitelijk een dataverzamelingsmachine.” -Pieter Abbeel, Covariant

Je kunt de huidige uitvoering van RFM-1 zien als een voorspellingsmachine voor op zuiging gebaseerde objectmanipulatie in magazijnomgevingen. Het model bevat foto’s, video’s, gewrichtshoeken, krachtmetingen, vacuümbekerkracht – alles wat te maken heeft met het soort robotmanipulatie dat Covariant doet. Al deze dingen zijn met elkaar verbonden binnen de RFM-1, wat betekent dat je al deze dingen aan het ene uiteinde van de RFM-1 kunt plaatsen en uit het andere uiteinde van het model een voorspelling komt. Die voorspelling kan de vorm hebben van een afbeelding, een video of een reeks opdrachten aan de robot.

Wat belangrijk is om te begrijpen over dit alles is dat RFM-1 niet beperkt is tot het kiezen van alleen dingen die het eerder heeft gezien, of alleen werken aan robots waarmee het directe ervaring heeft. Dat is het leuke van basismodellen: ze kunnen generaliseren binnen het domein van hun trainingsgegevens, en zo heeft Covariant hun bedrijf net zo succesvol kunnen opschalen als zij, door niet voor elke nieuwe bot opnieuw te hoeven trainen. elk nieuw artikel. Wat contra-intuïtief is aan deze grote modellen, is dat ze feitelijk beter met nieuwe situaties omgaan dan getrainde modellen specifiek voor die situaties.

Stel dat u een model wilt trainen om auto te rijden op de snelweg. De vraag is volgens Abbeel of het de moeite waard is om andere rijstijlen te trainen. Het antwoord is ja, want snelwegrijden is dat soms wel Nee via de snelweg. Er zullen ongelukken of verkeer gebeuren waardoor u anders moet rijden. Als je ook hebt getraind om in de stad te rijden, train je feitelijk aan de randen van de snelweg, wat op een gegeven moment van pas zal komen en je algehele prestaties zal verbeteren. Bij RFM-1 is het hetzelfde idee: training in veel verschillende soorten manipulatie (verschillende robots, verschillende objecten, enzovoort) betekent dat elk individueel type manipulatie veel beter in staat zal zijn.

In de context van generalisatie verwijst Covariant naar het vermogen van de RFM-1 om hun omgeving te “begrijpen”. Dit is misschien een lastig woord voor AI, maar wat relevant is, is dat de betekenis van ‘begrijpen’ gebaseerd is op waartoe de RFM-1 in staat is. Dat hoeft bijvoorbeeld niet begrijpen Om een ​​honkbal te kunnen vangen, heb je alleen maar veel ervaring nodig met het vangen van een honkbal, en dat is waar de RFM-1 is. Je zou kunnen Ook begrijp hoe je een honkbal moet vangen zonder ervaring maar wel met begrip van de natuurkunde, en de RFM-1 is dat wel Nee Ik doe dit en daarom aarzel ik om in deze context het woord ‘begrijpen’ te gebruiken.

Maar dit brengt ons bij een ander interessant kenmerk van RFM-1: het werkt als een zeer effectief, zij het beperkt, simulatiehulpmiddel. Als voorspellingsmachine die video streamt, kunt u deze vragen om te genereren hoe de volgende paar seconden van een actiereeks eruit zullen zien, en u krijgt een resultaat dat realistisch en nauwkeurig is, gebaseerd op al uw gegevens. Cruciaal is dat RFM-1 objecten effectief kan simuleren die traditioneel moeilijk te simuleren zijn, zoals diskettes.

Abbeel van Covariant legt uit dat het ‘wereldmodel’ waarop RFM-1 zijn voorspellingen baseert in feite een aangeleerd fysiek mechanisme is. “Het bouwen van natuurkundige motoren is een hele lastige taak om echt alle mogelijke dingen te dekken die in de wereld kunnen gebeuren”, zegt Abbeel. “Als je eenmaal ingewikkelde scenario’s hebt, wordt het heel snel heel onnauwkeurig, omdat mensen allerlei benaderingen moeten maken om de fysieke motor op de computer te laten draaien. We doen alleen deze grootschalige dataversie met het wereldmodel en het laat hele goede resultaten zien.”

Abbeel geeft als voorbeeld dat hij een robot vraagt ​​om te simuleren (of te voorspellen) wat er zal gebeuren als een cilinder loodrecht op een transportband wordt geplaatst. De voorspelling laat nauwkeurig zien dat de cilinder kantelt en rolt wanneer de band in beweging komt. Niet omdat de cilinder wordt gesimuleerd, maar omdat RFM-1 heeft gezien dat er veel dingen op veel transportbanden zijn geplaatst.

“Het is niet onwaarschijnlijk dat wat we hier bouwen over vijf jaar de enige soort simulator zal zijn die iemand ooit zal gebruiken.” -Pieter Abbeel, Covariant

Dit werkt alleen als er de juiste soort gegevens zijn waarop RFM-1 kan trainen, dus in tegenstelling tot de meeste simulatieomgevingen kan het momenteel niet worden gegeneraliseerd naar volledig nieuwe objecten of situaties. Maar Abbeel gelooft dat met voldoende gegevens een bruikbare simulatie van de wereld mogelijk zal zijn. “Het is niet onwaarschijnlijk dat wat we hier bouwen over vijf jaar de enige soort simulator zal zijn die iemand ooit zal gebruiken. Het is een meer capabele simulator dan een simulator die vanaf de grond af aan is opgebouwd, met botsingcontrole en eindige elementen en al dat soort dingen. Al die dingen zijn zo moeilijk om op wat voor manier dan ook in je fysica-engine in te bouwen, laat staan ​​een renderer om dingen eruit te laten zien zoals ze in de echte wereld doen – in zekere zin nemen we een sluiproute.”

De RFM-1 bevat ook taalgegevens zodat hij effectiever met mensen kan communiceren.Covariant

Als Covariant de mogelijkheden van RFM-1 wil uitbreiden in de richting van die langetermijnvisie van fundamentele modellen die ‘miljarden robots over de hele wereld’ aandrijven, is de volgende stap het voeden van meer gegevens van een grotere verscheidenheid aan robots die een breder scala aan taken uitvoeren. . “We hebben eigenlijk een data-invoerengine gebouwd”, zegt Abbeel. “Als u ons een ander soort gegevens wilt geven, zullen wij die ook invoeren.”

“We hebben er veel vertrouwen in dat een model als dit allerlei soorten robots zou kunnen aandrijven, misschien met meer gegevens over de soorten robots en de soorten situaties waarin het zou kunnen worden gebruikt.” -Pieter Abbeel, Covariant

Op de een of andere manier zal dat pad heel veel gegevens met zich meebrengen, en het zullen gegevens zijn die Covariant momenteel niet verzamelt met zijn vloot van magazijnmanipulatierobots. Dus als u bijvoorbeeld een humanoïde robotica-bedrijf bent, wat is dan uw motivatie om alle gegevens die u heeft verzameld met Covariant te delen? “Het komt erop neer dat we ze gaan helpen de echte wereld te betreden”, zegt Peter Chen, medeoprichter van Covariant. “Ik denk niet dat er echt veel bedrijven zijn die AI gebruiken om hun robots echt autonoom te maken in een productieomgeving. Als ze AI willen die robuust en krachtig is en hen daadwerkelijk kan helpen de echte wereld te betreden, zijn wij echt hun beste keuze.”

Het belangrijkste argument van Covariant hier is dat hoewel het zeker mogelijk is voor elk botbedrijf om zijn modellen individueel te trainen, de prestaties – althans voor iedereen die probeert te manipuleren – lang niet zo goed zouden zijn als het gebruik van een model dat alle manipulatiegegevens bevat die Covariant al heeft. heeft binnen RFM-1. “Ons langetermijnplan is altijd geweest om een ​​modelleringsbedrijf voor robotica-fundaties te worden”, zegt Chen. “Er waren gewoon niet genoeg gegevens, berekeningen en algoritmen om dit punt te bereiken, maar het bouwen van een universeel AI-platform voor robots, dat is waar Covariant vanaf het begin voor staat.”