AI is gebouwd op verouderde, gebrekkige motion capture-gegevens

Diversiteit van gedachten in industrieel ontwerp is van cruciaal belang: als niemand eraan denkt om technologie voor meerdere lichaamstypes te ontwerpen, kunnen mensen gewond raken. De uitvinding van veiligheidsgordels is een vaak genoemd voorbeeld van dit fenomeen, omdat deze zijn ontworpen op basis van mannequins die traditioneel mannelijke proporties hadden en de lichamen weerspiegelden van de teamleden die eraan werkten.

Hetzelfde fenomeen is nu aan het werk op het gebied van motion capture-technologie. Door de geschiedenis heen hebben wetenschappers geprobeerd te begrijpen hoe het menselijk lichaam beweegt. Maar hoe definiëren we het menselijk lichaam? Een paar decennia geleden evalueerden veel onderzoeken ‘gezonde mannelijke’ proefpersonen; anderen gebruikten verrassende modellen zoals uiteengereten lijken. Zelfs nu nog zijn sommige moderne onderzoeken die worden gebruikt bij het ontwerpen van valdetectietechnologie afhankelijk van methoden zoals het inzetten van stuntacteurs om te doen alsof ze vallen.

In de loop van de tijd zijn verschillende gebrekkige aannames gecodificeerd in standaarden voor motion capture-gegevens die worden gebruikt om sommige op AI gebaseerde technologieën te ontwerpen. Deze tekortkomingen betekenen dat op AI gebaseerde toepassingen mogelijk niet zo veilig zijn voor mensen die niet passen bij een vooropgezet ‘typisch’ lichaamstype, volgens een nieuw artikel dat onlangs is gepubliceerd als preprint en zal worden gepresenteerd op de Human Factors in Computing Systems Conference in Kunnen .

“We hebben ons verdiept in deze zogenaamde gouden standaarden die worden gebruikt voor allerlei soorten onderzoeken en ontwerpen, en veel ervan hadden gebreken of waren gericht op een heel specifiek lichaamstype”, zegt Abigail Jacobs, co-auteur van het onderzoek en assistent-professor bij de School of Information van de Universiteit van Michigan en het Centrum voor de Studie van Complexe Systemen. “We willen dat ingenieurs zich bewust zijn van hoe deze sociale aspecten gecodeerd worden in het technische – verborgen in wiskundige modellen die objectief of infrastructureel lijken.”

Dit is een belangrijk moment voor op AI gebaseerde systemen, zegt Jacobs, omdat we misschien nog tijd hebben om potentieel gevaarlijke aannames te onderkennen en te voorkomen dat ze worden gecodificeerd in AI-geïnformeerde toepassingen.

Motion capture-systemen creëren representaties van lichamen door gegevens te verzamelen van sensoren die op onderwerpen zijn geplaatst, en registreren hoe die lichamen door de ruimte bewegen. Deze schema’s worden onderdeel van de hulpmiddelen die onderzoekers gebruiken, zoals open source bewegingsdatabibliotheken en meetsystemen die tot doel hebben basisnormen te bieden voor de beweging van menselijke lichamen. Ontwikkelaars gebruiken deze basisprincipes steeds vaker om allerlei op AI gebaseerde toepassingen te bouwen: algoritmen voor valdetectie voor smartwatches en andere wearables, zelfrijdende voertuigen die voetgangers moeten detecteren, computergegenereerde beelden voor films en videogames, productieapparatuur die communiceert met menselijke werknemers en meer.

“Veel onderzoekers hebben geen toegang tot geavanceerde motion capture-laboratoria om gegevens te verzamelen, dus vertrouwen we steeds meer op benchmarks en standaarden om nieuwe technologie te bouwen”, zegt Jacobs. “Maar als deze benchmarks niet de vertegenwoordiging van alle instanties omvatten, vooral die mensen die waarschijnlijk betrokken zullen zijn bij gebruiksscenario’s in de echte wereld, zoals oudere mensen die kunnen vallen, kunnen deze normen behoorlijk misleidend zijn.”

Ze hoopt dat we kunnen leren van fouten uit het verleden, zoals camera’s die niet alle huidtinten nauwkeurig hebben vastgelegd, en veiligheidsgordels en airbags die mensen in alle soorten en maten niet beschermden bij auto-ongelukken.

Een lijk in een auto

Jacobs en haar collega’s van Cornell University, Intel en de Universiteit van Virginia voerden een systematisch literatuuronderzoek uit van 278 onderzoeken met betrekking tot motion capture. In de meeste gevallen, zo concludeerden ze, legden motion capture-systemen de bewegingen vast van “zij die mannelijk, blank, ‘bekwaam’ en met een laag gewicht zijn.”

En soms waren deze blanke mannenlichamen dood. In een overzicht van werk dat dateert uit de jaren dertig en dat drie historische tijdperken van bewegingsregistratie beslaat, bestudeerden de onderzoekers projecten die van invloed waren op de manier waarop wetenschappers uit die tijd de beweging van lichaamssegmenten begrepen. Een baanbrekend onderzoek uit 1955, gefinancierd door de luchtmacht, maakte bijvoorbeeld gebruik van overwegend blanke, mannelijke en slanke of atletische lichamen om een ​​optimale cockpit te creëren op basis van het bewegingsbereik van de piloot. Die studie verzamelde ook gegevens van acht uiteengereten kadavers.

Twintig jaar later werd in een studie, opgesteld voor de National Highway Traffic Safety Administration, gebruik gemaakt van soortgelijke methoden: zes uiteengereten mannelijke kadavers werden gebruikt om beschermingssystemen voor voertuigen te ontwerpen.

In het merendeel van de 278 onderzochte onderzoeken registreerden motion capture-systemen de bewegingen van “zij die mannelijk, blank, ‘bekwaam’ en met een laag gewicht zijn.”

Hoewel deze onderzoeken vele decennia oud zijn, zijn deze aannames in de loop van de tijd verankerd geraakt. Jacobs en haar collega’s vonden veel voorbeelden van deze achterhaalde conclusies die werden overgenomen in later onderzoek en uiteindelijk nog steeds van invloed waren op moderne motion imaging-studies.

“Als je naar de technische documenten van een modern systeem in productie kijkt, leggen ze de ‘traditionele basislijnen’ uit die ze gebruiken”, zegt Jacobs. Luchtmachtstudio ontwerpt cockpits van bevroren lijken.”

De componenten die ten grondslag liggen aan de beste technologiepraktijken zijn “altijd – een doelbewuste nadruk op de mens, niet op de mens – waardoor vaak de vooroordelen en onnauwkeurigheden uit het verleden behouden blijven”, zegt Kasia Chmielinski, directeur van het Data Nutrition Project en fellow aan Stanford University’s Digital Burgermaatschappij. Laboratorium. ‘Historische fouten vertegenwoordigen dus vaak de ‘neutrale’ basis van onze huidige technologische systemen. Dit kan ertoe leiden dat software en hardware niet voor alle populaties, ervaringen of doeleinden even goed werken.”

Deze problemen kunnen ingenieurs in de weg staan ​​die dingen willen repareren, zegt Chmielinski. “Omdat veel van deze problemen ingebakken zitten in de kernelementen van het systeem, zijn teams die vandaag de dag innoveren wellicht niet in staat om vooroordelen of fouten snel aan te pakken, ook al willen ze dat wel”, zegt ze. “Als je een app bouwt die sensoren van derden gebruikt, en de sensoren zelf een vooroordeel hebben in wat ze wel of niet detecteren, wat is dan de juiste aanpak?”

Jacobs zegt dat ingenieurs hun bronnen van ‘grondwaarheid’ moeten onderzoeken en moeten bevestigen dat de gouden standaarden waaraan zij meten in feite goud zijn. Technici moeten deze sociale evaluaties als onderdeel van hun werk beschouwen om technologieën voor iedereen te ontwerpen.

“Als je zegt: ‘Ik weet dat menselijke aannames ingebouwd zijn en vaak verborgen of verborgen zijn’, zal dat je helpen kiezen wat er in je dataset zit en hoe je dit in je werk rapporteert”, zegt Jacobs. “Het is sociotechnisch, en technologen hebben die lens nodig om te kunnen zeggen: mijn systeem doet wat ik zeg en veroorzaakt geen onnodige schade.”