Machine vision heeft geleerd radiogolven te gebruiken om door muren en in het donker te kijken

Actieherkenningsoutput met figuren die schoppen en op de rug kloppen MET CSAIL

Machine vision heeft een indrukwekkende staat van dienst. Het heeft het bovenmenselijke vermogen om mensen, gezichten en objecten te herkennen. Het kan zelfs veel verschillende soorten acties herkennen, zij het nog niet zo goed als mensen.

Maar er zijn grenzen aan zijn prestaties. Machines hebben het bijzonder moeilijk wanneer mensen, gezichten of objecten gedeeltelijk zijn afgesloten. En wanneer het lichtniveau te ver daalt, worden ze effectief verblind, net als mensen.

Maar er is nog een ander deel van het elektromagnetische spectrum dat niet op dezelfde manier beperkt is. Radiogolven vullen onze wereld, of het nu dag of nacht is. Ze gaan gemakkelijk door muren en worden zowel doorgelaten als gereflecteerd door menselijke lichamen. Onderzoekers hebben inderdaad verschillende manieren ontwikkeld om wifi-radiosignalen te gebruiken om achter gesloten deuren te kijken.

Maar deze radiovisiesystemen hebben enkele tekortkomingen. Hun resolutie is laag; de beelden zijn luidruchtig en vol afleidende reflecties, waardoor het moeilijk is om te begrijpen wat er aan de hand is.

In die zin hebben radiobeelden en beelden van zichtbaar licht complementaire voor- en nadelen. En dat verhoogt de mogelijkheid om de sterke punten van de een te gebruiken om de tekortkomingen van de ander te overwinnen.

Voer Tianhong Li en collega's van het MIT in, die een manier hebben gevonden om een ​​radiovisiesysteem te leren de acties van mensen te herkennen door het te trainen met beelden van zichtbaar licht. Het nieuwe radiovisiesysteem kan zien wat individuen aan het doen zijn in een groot aantal situaties waarin beeldvorming met zichtbaar licht faalt. We introduceren een neuraal netwerkmodel dat menselijke acties kan detecteren door muren en occlusies, en in slechte lichtomstandigheden, zeggen Li en co.

De methode van het team maakt gebruik van een handige truc. Het basisidee is om videobeelden van dezelfde scène op te nemen met zichtbaar licht en radiogolven. Machine vision-systemen zijn al in staat om menselijke acties te herkennen aan beelden in zichtbaar licht. Dus de volgende stap is om die beelden te correleren met de radiobeelden van dezelfde scène.

Maar de moeilijkheid is om ervoor te zorgen dat het leerproces zich richt op menselijke beweging in plaats van andere kenmerken, zoals de achtergrond. Dus introduceren Li en co een tussenstap waarin de machine 3D-stickfiguurmodellen genereert die de acties van de mensen in de scene reproduceren.

Door de invoer te vertalen naar een tussenliggende op een skelet gebaseerde representatie, kan ons model leren van zowel op visie gebaseerde als op radiofrequentie gebaseerde datasets, en kunnen de twee taken elkaar helpen. zeggen Li en co.

Zo leert het systeem handelingen in zichtbaar licht te herkennen en vervolgens met behulp van radiogolven dezelfde handelingen in het donker of achter muren te herkennen. We laten zien dat ons model een vergelijkbare nauwkeurigheid behaalt als op zicht gebaseerde actieherkenningssystemen in zichtbare scenario's, maar toch nauwkeurig blijft werken wanneer mensen niet zichtbaar zijn, aldus de onderzoekers.

Dat is interessant werk met een aanzienlijk potentieel. De voor de hand liggende toepassingen zijn in scenario's waarin afbeeldingen met zichtbaar licht mislukken - bij weinig licht en achter gesloten deuren.

Maar er zijn ook andere toepassingen. Een probleem met afbeeldingen met zichtbaar licht is dat mensen herkenbaar zijn, wat privacykwesties met zich meebrengt.

Maar een radiosysteem heeft niet de resolutie voor gezichtsherkenning. Het identificeren van acties zonder het herkennen van gezichten roept niet dezelfde privacyangsten op. Het kan actieherkenning bij mensen thuis brengen en integratie in slimme thuissystemen mogelijk maken, zeggen Li en co. Dat kan bijvoorbeeld worden gebruikt om het huis van een bejaarde te bewaken en de juiste diensten te waarschuwen bij een val. En dat zou doen zonder veel risico voor de privacy.

Dat gaat de mogelijkheden van de huidige vision-gebaseerde systemen te boven.

Referentie: arxiv.org/abs/1909.09300 : Het onzichtbare zichtbaar maken: actieherkenning door muren en occlusies

zich verstoppen