Is die rots verplaatst, of is het een eekhoorn die de weg oversteekt? Het volgen van objecten die sterk op hun omgeving lijken, is een groot probleem voor veel autonome zichtsystemen. AI-algoritmen kunnen dit camouflageprobleem oplossen, maar vereisen tijd en rekenkracht. Een nieuwe camera ontworpen door onderzoekers in Zuid-Korea biedt een snellere oplossing. De camera is geïnspireerd op de ogen van de kat en maakt gebruik van twee aanpassingen waarmee hij objecten van hun achtergrond kan onderscheiden, zelfs ‘s nachts.
“In de toekomst zullen verschillende intelligente robots de ontwikkeling nodig hebben van visiesystemen die het beste geschikt zijn voor hun specifieke visuele taken”, zegt hij Jong Min-liedeen professor in elektrische en computertechniek aan het Gwangju Institute of Science and Technology en een van de ontwerpers van de camera. Het recente onderzoek van Song heeft zich gericht op het gebruik van “perfect aangepaste” dierenogen om de camerahardware te verbeteren, waardoor gespecialiseerde camera’s voor verschillende taken mogelijk worden. Vissenogen hebben bijvoorbeeld een breder gezichtsveld dankzij gebogen netvliezen. Katten zijn misschien gewoon en gemakkelijk over het hoofd te zien, zegt hij, maar hun ogen bieden eigenlijk veel inspiratie.
Deze camera kopieerde twee aanpassingen van de ogen van katten: hun verticale pupillen en de reflecterende structuur achter het netvlies. Gecombineerd zorgde dit ervoor dat de camera 10 procent nauwkeuriger was in het onderscheiden van gecamoufleerde objecten van hun achtergrond en 52 procent efficiënter in het absorberen van inkomend licht.
Gebruik de verticale pupil om de focus te verkleinen
Terwijl conventionele camera’s de voor- en achtergrond van een beeld duidelijk kunnen zien, richten de spleetpupillen van een kat zich rechtstreeks op het doelwit, waardoor het niet opgaat in de omgeving. Kim et al./Science Advances
Bij conventionele camerasystemen is, als er voldoende licht is, het diafragma – de cameraversie van de pupil – klein en rond. Deze structuur zorgt voor een grote scherptediepte (de afstand tussen de dichtstbijzijnde en verste objecten in focus), waarbij zowel de voorgrond als de achtergrond duidelijk zichtbaar zijn. Kattenogen daarentegen vernauwen zich overdag tot een verticale pupil. Hierdoor wordt de focus naar het doel verlegd, waardoor dit beter van de achtergrond wordt onderscheiden.
De onderzoekers 3D-printten een verticale gleuf die als opening voor hun camera moest dienen. Ze testten de verticale spleet met behulp van zeven computervisie-algoritmen die waren ontworpen om bewegende objecten te volgen. De verticale spleet verhoogde het contrast tussen het doelobject en de achtergrond, zelfs als ze visueel vergelijkbaar waren. Hij versloeg een conventionele camera in vijf van de zeven tests. In twee tests presteerde hij slechter dan de conventionele camera; de nauwkeurigheid van de twee camera’s lag binnen 10 procent van elkaar.
Reflectoren gebruiken om extra licht op te vangen
Katten kunnen ‘s nachts duidelijker zien dan conventionele camera’s dankzij reflectoren in hun ogen die extra licht op hun netvlies brengen.Kim et al./Science Advances
De ogen van een kat hebben een ingebouwde reflector, het tapetum lucidum genaamd, die zich achter het netvlies bevindt. Het reflecteert het licht dat door het netvlies gaat, terug naar het netvlies, zodat het zowel binnenkomend licht als gereflecteerd licht kan verwerken, waardoor katten een superieur nachtzicht krijgen. Je kunt deze biologische aanpassing zelf zien door ‘s nachts naar de ogen van een kat te kijken: ze zullen gloeien.
De onderzoekers creëerden een kunstmatige versie van deze biologische structuur door onder elke fotodiode in de camera een zilveren reflector te plaatsen. Fotodiodes zonder reflectoren genereerden stroom bij blootstelling aan meer dan 1,39 watt per vierkante meter licht, terwijl fotodiodes met reflectoren werden geactiveerd bij 0,007 W/m2 licht. Dit betekent dat de fotodiode een beeld zou kunnen genereren met ongeveer 1/200 van het licht.
Elke fotodiode wordt boven de reflector geplaatst en verbonden door metalen elektroden om een gebogen beeldsensor te creëren.Kim et al./Science Advances
Om visuele aberraties (onvolkomenheden in de manier waarop een cameralens het licht focust) te verminderen, besloten Song en zijn team om gebogen beeldsensorzoals de achterkant van het menselijk oog. In een dergelijke opstelling zal een standaard beeldsensorchip niet werken, omdat deze stijf en plat is. In plaats daarvan is het vaak afhankelijk van veel individuele fotodiodes die op een gebogen substraat zijn geplaatst. Een veelvoorkomend probleem met dergelijke gebogen sensoren is dat ze ultradunne siliciumfotodiodes nodig hebben, die inherent minder licht absorberen dan standaard beeldpixels. Maar reflectoren achter elke fotodiode in het kunstmatige kattenoog compenseerden dit, waardoor de onderzoekers een gebogen imager konden maken zonder dat dit ten koste ging van de lichtabsorptie.
Samen leidden de verticale spleten en reflectoren tot een camera die duidelijker kon zien in het donker en zich niet voor de gek liet houden door camouflage. “Het toepassen van deze twee functies op autonome voertuigen of intelligente robots zou op natuurlijke wijze hun vermogen kunnen verbeteren om objecten ‘s nachts duidelijker te zien en specifieke doelen nauwkeuriger te identificeren”, zegt Song. Hij stelt zich voor dat deze camera wordt gebruikt voor zelfrijdende auto’s of drones in complexe stedelijke omgevingen.
Het laboratorium van Song blijft werken aan het gebruik van biologische oplossingen om problemen met kunstmatige visie op te lossen. Ze ontwikkelen momenteel apparaten die de manier nabootsen waarop de hersenen beelden verwerken, in de hoop deze op een dag te combineren met hun biologisch geïnspireerde camera’s. Het doel, zegt Song, is ‘de neurale systemen van de natuur te imiteren’.
Het werk van Song en zijn collega verscheen deze week in het tijdschrift Wetenschappelijke vooruitgang.