211service.com
Deep learning helpt voorkomen dat video het internet verstopt
Video vult het internet. Ongeveer 75% van al het verkeer bestaat uit video-inhoud en naar verwachting zal dit volume tegen 2021 verdrievoudigen.
Als we niet willen dat de onverzadigbare vraag naar kattenvideo's en streamingdiensten de pijplijnen voor altijd verstopt, dan zullen we moeten vertrouwen op videocompressie. Dit is het proces waarbij een videobestand opnieuw wordt gecodeerd zodat het kleiner is dan het origineel. Maar de huidige compressietechnieken zijn oud volgens de normen van de moderne technologie. De fundamenten van bestaande algoritmen voor videocompressie zijn de afgelopen 20 jaar niet aanzienlijk veranderd, zeggen Oren Rippel en co bij WaveOne, een diepgaand lerend bedrijf dat probeert videocompressie de 21e eeuw in te slepen.
Deze jongens hebben deep learning gebruikt om een nieuw compressie-algoritme te ontwikkelen dat aanzienlijk beter presteert dan bestaande videocodecs. Voor zover wij weten, is dit de eerste op machine learning gebaseerde methode om dit te doen, zeggen ze.
Het basisidee achter videocompressie is om overtollige gegevens uit een code te verwijderen en deze te vervangen door een kortere beschrijving waarmee de video later nog steeds kan worden gereproduceerd. De meeste videocompressie vindt plaats in twee stappen.
De eerste, bewegingscompressie, zoekt naar bewegende objecten en probeert te voorspellen waar ze zich in het volgende frame zullen bevinden. In plaats van de pixels die bij dit bewegende object horen in elk frame vast te leggen, codeert het algoritme alleen de vorm van het object, samen met de rijrichting. Sommige algoritmen kijken inderdaad naar toekomstige frames om beweging nog nauwkeuriger te bepalen, hoewel dit natuurlijk niet werkt voor live-uitzendingen. Het resultaat is dat gecomprimeerde video het object eenvoudig over het scherm vertaalt.
De tweede compressiestap verwijdert andere redundanties tussen het ene frame en het volgende. Dus in plaats van de kleur van elke pixel in een blauwe lucht vast te leggen, kan een compressie-algoritme het gebied van deze kleur identificeren en specificeren dat het de komende paar frames niet verandert. Dus deze pixels blijven dezelfde kleur totdat ze verteld worden te veranderen. Dit wordt residuele compressie genoemd.
De nieuwe aanpak die Rippel en co hebben ontwikkeld, maakt gebruik van machine learning om beide compressietechnieken te verbeteren. Neem bewegingscompressie, waarbij de machine learning-technieken van het team nieuwe op beweging gebaseerde redundanties hebben gevonden die conventionele codecs nooit hebben kunnen benutten.
Het hoofd van een persoon draaien van een vooraanzicht naar een zijaanzicht levert bijvoorbeeld altijd een soortgelijk resultaat op. Traditionele codecs zullen een profielgezicht niet kunnen voorspellen vanuit een vooraanzicht, zeggen Rippel en co. Daarentegen leert de nieuwe codec dit soort tijdruimtelijke patronen en gebruikt deze om toekomstige frames te voorspellen.
Een ander probleem is het verdelen van de beschikbare bandbreedte tussen beweging en resterende compressie. In sommige scènes is bewegingscompressie belangrijker; in andere levert de resterende compressie de grootste winst op. De optimale afweging tussen hen verschilt van frame tot frame.
Traditionele compressie-algoritmen vinden dit moeilijk omdat ze beide processen afzonderlijk comprimeren. Dat betekent dat er geen gemakkelijke manier is om ze te verhandelen.
Rippel en co omzeilen dit door beide signalen tegelijkertijd te comprimeren en de framecomplexiteit te gebruiken om te beslissen hoe de bandbreedte op de meest efficiënte manier tussen beide kan worden verdeeld.
Deze en andere verbeteringen hebben de onderzoekers in staat gesteld een compressie-algoritme te creëren dat aanzienlijk beter presteert dan traditionele codecs. Bij het comprimeren van high-definition (1080p) video, produceren gewone compressie-algoritmen, zoals H.265 en VP9, bestanden die 20% groter zijn dan die geproduceerd door het nieuwe algoritme.
En de winst is nog groter voor video's met standaarddefinitie, zoals HEVC/H.265 en AVC/H.264. Deze produceren doorgaans bestanden die tot 60% groter zijn dan de nieuwe aanpak van het team.
Dat is een indrukwekkende winst die de omvang en downloadtijden van online video aanzienlijk zou kunnen verminderen.
De nieuwe aanpak is echter niet zonder tekortkomingen. Misschien wel de belangrijkste is de rekenefficiëntie: de tijd die nodig is om de video's te coderen en te decoderen. Op een Nvidia Tesla V100-installatie en op video's van VGA-formaat werkt de nieuwe decoder met een gemiddelde snelheid van ongeveer 10 frames per seconde, waarbij de encoder met ongeveer 2 frames per seconde werkt. Dat heeft een beperkte toepassing voor een live-uitzending.
Natuurlijk verwachten de onderzoekers aanzienlijke verbeteringen aan te brengen als ze verder gaan dan de proof-of-principle-fase. De huidige snelheid is niet voldoende voor realtime implementatie, maar moet in de toekomst aanzienlijk worden verbeterd, zeggen ze.
Dat betekent dat toekomstige cybersurfers dankzij dit soort machine learning-aanpak hun Game of Thrones- of kattenvideo's in recordtijden moeten kunnen downloaden en hun high-definition voetbalwedstrijden efficiënter dan ooit moeten kunnen streamen.
Referentie: arxiv.org/abs/1811.06981 : Aangeleerde videocompressie