211service.com
Google's Deep Learning Machine leert echte wereldbeelden te synthetiseren
Google Street View biedt een panoramisch uitzicht op vrijwel elke stadsstraat in een groot deel van de ontwikkelde wereld, evenals uitzicht langs talloze wandelpaden, in winkelcentra en rond musea en kunstgalerijen. Het is een buitengewone prestatie van moderne techniek die de manier waarop we over de wereld om ons heen denken verandert.
Maar hoewel Street View ons kan laten zien hoe verre plaatsen eruit zien, laat het niet zien hoe het proces van reizen of verkennen eruit zou zien. Het is gemakkelijk om een oplossing te bedenken: speel gewoon een reeks Street View-afbeeldingen achter elkaar af om een film te maken.
Maar dat werkt niet zo goed als je zou denken. Door deze afbeeldingen met 25 frames per seconde of daaromtrent uit te voeren, wordt het landschap belachelijk snel uitgevoerd. Dat kan acceptabel zijn als het landschap niet verandert, bijvoorbeeld langs snelwegen en snelwegen of door onveranderlijke landschappen. Maar het is volkomen onaanvaardbaar voor drukke straatbeelden of in een kunstgalerie.
Dus Google heeft een oplossing bedacht: voeg extra frames toe tussen de frames die zijn opgenomen door de Street View-camera's. Maar hoe moeten deze frames eruit zien?
Vandaag onthullen John Flynn en vrienden bij Google hoe ze de enorme machine learning-knowhow van het bedrijf hebben gebruikt om uit te zoeken hoe deze ontbrekende frames eruit zouden moeten zien, door gewoon de frames aan beide kanten te bestuderen. Het resultaat is een computergestuurde filmmachine die min of meer elke reeks beelden kan omzetten in soepel lopende film door de ontbrekende frames te interpoleren.
De uitdaging die Flynn en co zichzelf stellen is eenvoudig. Gegeven een reeks afbeeldingen van een bepaalde plaats, is het doel om een nieuw beeld van hetzelfde gebied vanuit een andere gezichtshoek te synthetiseren.
Dat is niet gemakkelijk. Een exacte oplossing vereist volledige 3D-kennis van alle zichtbare geometrie in het ongeziene beeld, wat in het algemeen niet beschikbaar is vanwege occluders, zeggen Flynn en co.
Het is inderdaad een probleem waar computerwetenschappers zich al tientallen jaren over de oren krabben en een probleem dat nauw verband houdt met het probleem van het inschatten van de 3D-vorm van een scène op basis van twee of meer afbeeldingen ervan.
Computerwetenschappers hebben verschillende manieren ontwikkeld om dit probleem op te lossen, maar ze lijden allemaal aan vergelijkbare problemen, vooral wanneer informatie ontbreekt omdat het ene object het andere afsluit. Dit leidt tot tearing, waar er niet genoeg informatie is, en tot het verdwijnen van fijne details. Een bijzondere uitdaging zijn objecten die fijne details bevatten en ook zelfafsluitend zijn, zoals bomen.
De nieuwe aanpak van Flynn en co is om een machine vision-algoritme te trainen om uit te zoeken hoe de nieuwe afbeelding eruit zou moeten zien als deze is getraind op een enorme dataset van opeenvolgende afbeeldingen.
De taak voor de computer is om elke afbeelding als een set pixels te behandelen en de diepte en kleur van elke pixel te bepalen, gegeven de diepte en kleur van de corresponderende pixels in de afbeeldingen die ervoor en erna in de film zullen verschijnen.
Ze trainden hun algoritme, DeepStereo genaamd, met behulp van beelden van straattaferelen die werden vastgelegd door een bewegend voertuig. Ze gebruiken inderdaad 100.000 van deze sequenties als trainingsdataset.
Vervolgens hebben ze het getest door één frame uit een reeks Street View-afbeeldingen te verwijderen en te vragen dit te reproduceren door alleen naar de andere afbeeldingen in de reeks te kijken. Ten slotte vergelijken ze het gesynthetiseerde beeld met het beeld dat is verwijderd, waardoor ze een soort gouden standaard krijgen om het mee te contrasteren.
De resultaten zijn indrukwekkend. Over het algemeen produceert ons model plausibele outputs die moeilijk direct te onderscheiden zijn van de originele beelden, zeggen Flynn en co.
Het reproduceert met succes moeilijke onderwerpen zoals bomen en gras. En als het faalt, zoals bij spiegelende reflecties, doet het dat gracieus in plaats van te scheuren.
Het kan met name goed om met bewegende objecten. Ze lijken wazig op een manier die bewegingsonscherpte oproept, zeggen ze.
De methode is echter niet perfect. Merkbare artefacten in onze resultaten zijn onder meer een klein verlies aan resolutie en het verdwijnen van dunne voorgrondstructuren, zegt het Google-team. En gedeeltelijk geoccludeerde onderwerpen hebben de neiging om overwazig te zijn in de uitvoer.
Het is ook rekenintensief. Flynn en co zeggen dat het op een multicore-werkstation 12 minuten duurt om een enkel nieuw gesynthetiseerd beeld te produceren. Deze beelden kunnen dus niet on-the-fly worden gemaakt. Het team verwacht dit in de toekomst echter te verbeteren door het proces voor het genereren van afbeeldingen te optimaliseren.
Dat is indrukwekkend werk dat eens te meer het potentieel van deep learning-technieken laat zien. Het team pronkt met hun resultaten in de video gepost hier , die films toont die zijn gemaakt op basis van Street View-gegevens.
Maar het zou ook andere toepassingen moeten hebben bij het genereren van inhoud voor teleconferenties, virtual reality en cinematografie. Het zou zelfs de werklast voor stopframe-animators kunnen verminderen.
Hoe dan ook, verwacht dat Google Street View-reisfilms in de niet al te verre toekomst het internet overspoelen.
Referentie: arxiv.org/abs/1506.06825 : DeepStereo: nieuwe weergaven leren voorspellen vanuit de beelden van de wereld