211service.com
Facebook wil dat machines de wereld door onze ogen zien
MIT Technology Review | Envato
We gaan ervan uit dat machines kunnen herkennen wat ze op foto's en video's zien. Dat vermogen berust op grote datasets zoals ImageNet , een met de hand samengestelde verzameling van miljoenen foto's die zijn gebruikt om de meeste van de beste beeldherkenningsmodellen van het afgelopen decennium te trainen.
Maar de afbeeldingen in deze datasets tonen een wereld van samengestelde objecten - een fotogalerij die niet de rommel van het dagelijks leven vastlegt zoals mensen het ervaren. Om machines de dingen te laten zien zoals wij dat doen, zal een geheel nieuwe benadering nodig zijn. En het AI-lab van Facebook wil het voortouw nemen.
Het is de kickstart van een project, genaamd Ego4D , om AI's te bouwen die scènes en activiteiten kunnen begrijpen vanuit een first-person perspectief - hoe dingen eruitzien voor de betrokken mensen, in plaats van voor een toeschouwer. Denk aan bewegingswazige GoPro-beelden die midden in de actie zijn gemaakt, in plaats van goed gekaderde scènes die zijn gemaakt door iemand aan de zijlijn. Facebook wil dat Ego4D voor first-person video doet wat ImageNet deed voor foto's.
Verwant verhaal
Waarom Facebook Ray-Ban gebruikt om een claim op ons gezicht te zetten Om de metaverse te bouwen, heeft Facebook ons nodig om te wennen aan een slimme bril.
De afgelopen twee jaar heeft Facebook AI Research (FAIR) samengewerkt met 13 universiteiten over de hele wereld om de grootste dataset van first-person video ooit te verzamelen, met name om diepgaande modellen voor beeldherkenning te trainen. AI's die op de dataset zijn getraind, zullen beter zijn in het besturen van robots die communiceren met mensen, of het interpreteren van afbeeldingen van een slimme bril. Machines kunnen ons alleen helpen in ons dagelijks leven als ze de wereld echt door onze ogen begrijpen, zegt Kristen Grauman van FAIR, die het project leidt.
Dergelijke technologie kan mensen ondersteunen die thuis hulp nodig hebben, of mensen begeleiden bij taken die ze leren voltooien. De video in deze dataset komt veel dichter bij hoe mensen de wereld waarnemen, zegt Michael Ryoo, een computer vision-onderzoeker bij Google Brain en Stony Brook University in New York, die niet betrokken is bij Ego4D.
Maar de mogelijke misbruiken zijn duidelijk en zorgwekkend. Het onderzoek wordt gefinancierd door Facebook, een socialemediagigant die onlangs in de Amerikaanse Senaat is beschuldigd van: winst boven het welzijn van mensen stellen -zoals bevestigd door MIT Technology Review's eigen onderzoeken .
Het bedrijfsmodel van Facebook en andere Big Tech-bedrijven is om zoveel mogelijk gegevens uit het online gedrag van mensen te persen en deze aan adverteerders te verkopen. De AI die in het project wordt geschetst, zou dat bereik kunnen uitbreiden tot het dagelijkse offline gedrag van mensen, waardoor wordt onthuld welke objecten zich in uw huis bevinden, welke activiteiten u leuk vond, met wie u tijd doorbracht en zelfs waar uw blik bleef hangen - een ongekende hoeveelheid persoonlijke informatie.
Er is werk aan privacy dat moet worden gedaan als je dit uit de wereld van verkennend onderzoek haalt en naar iets dat een product is, zegt Grauman. Dat werk zou zelfs geïnspireerd kunnen zijn door dit project.
FACEBOOKDe grootste eerdere dataset van first-person video bestaat uit 100 uur aan beelden van mensen in de keuken. De Ego4D-dataset bestaat uit 3.025 uur aan video opgenomen door 855 mensen op 73 verschillende locaties in negen landen (VS, VK, India, Japan, Italië, Singapore, Saoedi-Arabië, Colombia en Rwanda).
De deelnemers hadden verschillende leeftijden en achtergronden; sommigen werden aangeworven voor hun visueel interessante beroepen, zoals bakkers, monteurs, timmerlieden en landschapsarchitecten.
Eerdere datasets bestonden meestal uit semi-gescripte videoclips van slechts enkele seconden lang. Voor Ego4D droegen deelnemers tot 10 uur lang camera's op het hoofd en maakten ze first-person video's van niet-gescripte dagelijkse activiteiten, zoals wandelen langs een straat, lezen, de was doen, winkelen, spelen met huisdieren, bordspellen spelen en interactie met andere mensen. Sommige beelden bevatten ook audio, gegevens over waar de blik van de deelnemers was gericht en meerdere perspectieven op dezelfde scène. Het is de eerste dataset in zijn soort, zegt Ryoo.
FAIR heeft ook een reeks uitdagingen gelanceerd waarvan het hoopt dat ze de inspanningen van andere onderzoekers zullen concentreren op het ontwikkelen van dit soort AI. Het team anticipeert op algoritmen die zijn ingebouwd in slimme brillen, zoals: Facebook's onlangs aangekondigde Ray-Bans , die het dagelijkse leven van de dragers vastleggen en loggen. Het betekent dat augmented- of virtual-reality-metaverse-apps in theorie vragen kunnen beantwoorden als Waar zijn mijn autosleutels? of Wat heb ik gegeten en naast wie zat ik op mijn eerste vlucht naar Frankrijk? Augmented-reality-assistenten kunnen begrijpen wat u probeert te doen en instructies of nuttige sociale signalen geven.
Het is sci-fi, maar dichterbij dan je denkt, zegt Grauman. Grote datasets versnellen het onderzoek. ImageNet heeft in korte tijd grote vorderingen gemaakt, zegt ze. Hetzelfde kunnen we verwachten van Ego4D, maar dan voor first-person views van de wereld in plaats van internetbeelden.
Toen de beelden eenmaal waren verzameld, besteedden crowdsourced-werkers in Rwanda in totaal 250.000 uur aan het kijken naar de duizenden videoclips en het schrijven van miljoenen zinnen die de gefilmde scènes en activiteiten beschrijven. Deze annotaties worden gebruikt om AI's te trainen om te begrijpen waar ze naar kijken.
Verwant verhaal
Datasets boordevol fouten vervormen ons gevoel van hoe goed AI werkelijk is Ons begrip van de vooruitgang in machine learning is gekleurd door gebrekkige testgegevens.
Waar deze technologie terechtkomt en hoe snel deze zich ontwikkelt, valt nog te bezien. FAIR plant een wedstrijd op basis van haar uitdagingen in juni 2022. Het is ook belangrijk op te merken dat FAIR, het onderzoekslab, niet hetzelfde is als Facebook, de media-megalodon. In feite zeggen insiders dat: Facebook heeft technische oplossingen genegeerd die FAIR heeft bedacht voor zijn giftige algoritmen . Maar Facebook betaalt voor het onderzoek, en het is oneerlijk om te doen alsof het bedrijf niet erg geïnteresseerd is in de toepassing ervan.
Sam Gregory van Witness, een mensenrechtenorganisatie die gespecialiseerd is in videotechnologie, zegt dat deze technologie nuttig kan zijn voor omstanders die protesten of politiegeweld documenteren. Maar hij denkt dat die voordelen niet opwegen tegen de zorgen over commerciële toepassingen. Hij merkt op dat het mogelijk is om individuen te identificeren aan de hand van hoe ze een videocamera vasthouden. Blikgegevens zouden nog onthullender zijn: het is een zeer sterke indicator van interesse, zegt hij. Hoe worden de blikgegevens opgeslagen? Voor wie zal het toegankelijk zijn? Hoe kan het worden verwerkt en gebruikt?
De reputatie en het kernbedrijfsmodel van Facebook doen veel alarmbellen rinkelen, zegt Rory Mir van de Electronic Frontier Foundation. Op dit moment zijn velen zich bewust van de slechte staat van dienst van Facebook op het gebied van privacy en hun gebruik van surveillance om gebruikers te beïnvloeden - zowel om gebruikers verslaafd te houden als om die invloed te verkopen aan hun betalende klanten, de adverteerders. Als het gaat om augmented en virtual reality, zoekt Facebook een concurrentievoordeel, zegt Mir: Het uitbreiden van de hoeveelheid en soorten gegevens die het verzamelt, is essentieel.
Gevraagd naar zijn plannen, was het niet verwonderlijk dat Facebook de lippen stijf op elkaar hield: Ego4D is puur onderzoek om vooruitgang in de bredere wetenschappelijke gemeenschap te bevorderen, zegt een woordvoerder. We hebben vandaag niets te vertellen over producttoepassingen of commercieel gebruik.