211service.com
Google onthult neuraal netwerk met bovenmenselijke mogelijkheid om de locatie van bijna elke afbeelding te bepalen
Hier is een lastige taak. Kies willekeurig een foto van internet. Probeer nu uit te zoeken waar het is gemaakt met alleen de afbeelding zelf. Als de afbeelding een beroemd gebouw of monument laat zien, zoals de Eiffeltoren of de Niagarawatervallen, is de taak eenvoudig. Maar het werk wordt aanzienlijk moeilijker wanneer het beeld geen specifieke locatie-aanwijzingen heeft of binnenshuis wordt genomen of een huisdier of voedsel of een ander detail toont.
Toch zijn mensen verrassend goed in deze taak. Om te helpen, brengen ze allerlei soorten kennis over de wereld met zich mee, zoals het type en de taal van de borden die worden getoond, de soorten vegetatie, architecturale stijlen, de richting van het verkeer, enzovoort. Mensen besteden hun hele leven aan het oppikken van dit soort geolocatie-aanwijzingen.
Het is dus gemakkelijk om te denken dat machines met deze taak zouden worstelen. En inderdaad, dat hebben ze.
Tegenwoordig verandert dat dankzij het werk van Tobias Weyand, een computervisiespecialist bij Google, en een paar vrienden. Deze jongens hebben een diep lerende machine getraind om de locatie van bijna elke foto te bepalen met alleen de pixels die deze bevat.
Hun nieuwe machine presteert aanzienlijk beter dan mensen en kan zelfs een slimme truc gebruiken om de locatie te bepalen van afbeeldingen binnenshuis en afbeeldingen van specifieke dingen zoals huisdieren, eten, enzovoort die geen locatie-aanwijzingen hebben.
Hun aanpak is rechttoe rechtaan, althans in de wereld van machine learning. Weyand en co beginnen met het verdelen van de wereld in een raster dat bestaat uit meer dan 26.000 vierkanten van verschillende grootte die afhankelijk zijn van het aantal afbeeldingen dat op die locatie is gemaakt.
Grote steden, die het onderwerp zijn van veel afbeeldingen, hebben dus een fijnmaziger rasterstructuur dan meer afgelegen regio's waar foto's minder vaak voorkomen. Het Google-team negeerde inderdaad gebieden zoals oceanen en de poolgebieden, waar maar weinig foto's zijn gemaakt.
Vervolgens creëerde het team een database met geolokaliseerde afbeeldingen van het web en gebruikte de locatiegegevens om het rastervierkant te bepalen waarin elke afbeelding werd genomen. Deze dataset is enorm, bestaande uit 126 miljoen afbeeldingen samen met de bijbehorende Exif-locatiegegevens.
Weyand en co gebruikten 91 miljoen van deze afbeeldingen om een krachtig neuraal netwerk te leren de rasterlocatie te bepalen met alleen de afbeelding zelf. Hun idee is om een afbeelding in dit neurale netwerk in te voeren en als output een bepaalde rasterlocatie of een reeks waarschijnlijke kandidaten te krijgen.
Vervolgens valideerden ze het neurale netwerk met behulp van de resterende 34 miljoen afbeeldingen in de dataset. Ten slotte hebben ze het netwerk, dat ze PlaNet noemen, op een aantal verschillende manieren getest om te zien hoe goed het werkt.
De resultaten zorgen voor interessante lectuur. Om de nauwkeurigheid van hun machine te meten, voerden ze deze 2,3 miljoen afbeeldingen met geotags van Flickr in om te zien of deze hun locatie correct konden bepalen. PlanNet is in staat om 3,6 procent van de afbeeldingen te lokaliseren op straatniveau en 10,1 procent op stadsniveau, zeggen Weyand en co. Bovendien bepaalt de machine in 28,4 procent van de foto's het land van herkomst en in 48,0 procent het continent.
Dat is best goed. Maar om te laten zien hoe goed, hebben Weyand en co PlanNet op de proef gesteld in een test tegen 10 bereisde mensen. Voor de test gebruikten ze een online game die een speler een willekeurig beeld geeft van Google Street View en hem of haar vraagt zijn locatie te bepalen op een kaart van de wereld.
Iedereen kan spelen bij www.geoguessr.com . Probeer het eens - het is erg leuk en lastiger dan het klinkt.
Onnodig te zeggen dat PlanNet de mensen versloeg. In totaal won PlaNet 28 van de 50 ronden met een mediane lokalisatiefout van 1131,7 km, terwijl de gemiddelde menselijke lokalisatiefout 2320,75 km was, zeggen Weyand en co. [Dit] kleinschalige experiment laat zien dat PlaNet bovenmenselijke prestaties levert bij het geolokaliseren van Street View-scènes.
Een interessante vraag is hoe PlanNet zo goed presteert zonder gebruik te kunnen maken van de signalen waar mensen op vertrouwen, zoals vegetatie, bouwstijl, enzovoort. Maar Weyand en co zeggen dat ze weten waarom: 'We denken dat PlanNet een voordeel heeft ten opzichte van mensen omdat het veel meer plaatsen heeft gezien dan enig mens ooit kan bezoeken en subtiele aanwijzingen heeft geleerd van verschillende scènes die zelfs moeilijk zijn voor een bereisd mens om onderscheiden.
Ze gaan verder en gebruiken de machine om afbeeldingen te lokaliseren die geen locatie-aanwijzingen hebben, zoals die binnenshuis of van specifieke items. Dit is mogelijk wanneer afbeeldingen deel uitmaken van albums die allemaal op dezelfde plaats zijn gemaakt. De machine kijkt gewoon door andere afbeeldingen in het album om erachter te komen waar ze zijn gemaakt en gaat ervan uit dat de meer specifieke afbeelding op dezelfde plaats is gemaakt.
Dat is indrukwekkend werk dat laat zien dat diepe neurale netten hun spieren opnieuw buigen. Misschien nog indrukwekkender is dat het model een relatief kleine hoeveelheid geheugen gebruikt, in tegenstelling tot andere benaderingen die gigabytes van het spul gebruiken. Ons model gebruikt slechts 377 MB, wat zelfs in het geheugen van een smartphone past, zeggen Weyand en co.
Dat is een verleidelijk idee: de kracht van een bovenmenselijk neuraal netwerk op een smartphone. Het duurt nu vast niet lang meer!
Referentie: arxiv.org/abs/1602.05314 : PlanNet—Foto-geolocatie met convolutionele neurale netwerken