211service.com
Twitter's kunstmatige intelligentie weet wat er gebeurt in live videoclips
Op dit moment streamt iemand ergens iets interessants. Dankzij technologie die wordt ontwikkeld door een team van kunstmatige intelligentie-onderzoekers bij Twitter, kun je het binnenkort misschien vinden.
Live-streaming wordt steeds populairder via smartphone-apps zoals Periscoop van Twitter, Stokstaartje , en, meest recentelijk, Facebook Live . Maar live video-inhoud is meestal niet goed getagd of gecategoriseerd, vaak omdat mensen niet weten wat ze zullen opnemen totdat de camera begint te draaien.
Het AI-team van Twitter, bekend als cortex , heeft een algoritme ontwikkeld dat direct kan herkennen wat er in een live feed gebeurt. Het algoritme kan bijvoorbeeld zien of de ster van een clip gitaar speelt, een elektrisch gereedschap demonstreert, of eigenlijk een kat is die het voor kijkers opspoort.
Inhoud verandert altijd op Periscope, en meer in het algemeen op live video's, zegt Clement Farabet, de technologieleider voor Cortex. Farabet demonstreerde de videoherkenningstechnologie om MIT-technologiebeoordeling, met een scherm van ongeveer twee dozijn Periscope-feeds, allemaal in realtime getagd.
Het identificeren van de inhoud van live video is een behoorlijk indrukwekkende truc. Onderzoekers hebben de afgelopen jaren indrukwekkende vorderingen gemaakt met algoritmen die objecten op foto's kunnen identificeren, maar met een live video van wisselende kwaliteit is dat veel moeilijker. Om het meteen te doen, is ook veel rekenkracht nodig. Twitter heeft in feite een op maat gemaakte supercomputer gebouwd die volledig is gemaakt van grafische verwerkingseenheden (GPU's) om de videoclassificatie uit te voeren en de resultaten weer te geven. Deze chips zijn vooral efficiënt voor de wiskundige berekeningen die nodig zijn voor deep learning, maar normaal gesproken zijn ze slechts een onderdeel van een groter computersysteem.
Het is een hele uitdaging, zelfs voor statische video's, en voor runtime-video's moeten ze veel verwerkingskracht hebben, zegt Peter Brusilovsky , een professor aan de Universiteit van Pittsburgh die de personalisatie van inhoud bestudeert.
Brusilovsky zegt dat betere manieren om video te filteren hard nodig zijn. Video's zijn over het algemeen niet skimmable, zegt hij. Aanbeveling is daarom erg belangrijk. Het is een beetje het ontbrekende stukje video.
Het aanbevelen van video's houdt meestal in dat je clips van een persoon laat zien die zijn bekeken door iemand anders die dezelfde smaak lijkt te hebben (een benadering die bekend staat als collaboratieve filtering). Dit is echter een grove graadmeter van echt belang, en het werkt niet voor inhoud die live wordt uitgezonden.
Het Cortex-team heeft de ambitie om een geavanceerd aanbevelingssysteem te ontwikkelen dat helpt bij het filteren en beheren van alle soorten inhoud die via de service wordt gedeeld, op basis van de eerdere activiteit van een gebruiker.
De videoherkenningstechnologie die is ontwikkeld door het Cortex-team heeft nog geen producten van Twitter gehaald, maar wordt getest op Periscope, een app van Twitter waarmee gebruikers live video vanaf hun smartphones kunnen verzenden. Het team gebruikt een aanpak die bekend staat als deep learning om de activiteit in clips te herkennen. Deep learning omvat het trainen van een groot gesimuleerd neuraal netwerk om input van een groot aantal voorbeelden te herkennen. De voorbeelden worden gegeven door personeel dat wordt betaald om video's te bekijken en trefwoorden toe te voegen. Dit tagging-proces biedt een vrij complex semantisch begrip van videoclips. Een video waarin een kat wordt getoond, kan bijvoorbeeld niet alleen worden gecategoriseerd met kat, maar ook met dieren, katten, zoogdieren en meer. Dit biedt een meer geavanceerde manier om clips te verkennen.
Live video wordt snel een belangrijk onderdeel van het social media landschap.
Twitter verwierf Periscope in januari 2015, nog voordat de app was gelanceerd, voor een bedrag van naar verluidt meer dan $ 50 miljoen. Dit volgde op het doorbraaksucces van Meerkat, een andere app die aan Twitter is gekoppeld. Facebook lanceerde eerder in 2015 zijn eigen live-videoservice en het bedrijf verhoogde eerder deze maand de bekendheid van de functie door deze toe te voegen aan de startpagina die elke gebruiker ziet.
Er zijn nog geen plannen om inkomsten te genereren met de technologie en Periscope bevat momenteel geen advertenties. Maar het is niet moeilijk voor te stellen hoe zo'n tool nuttig zou kunnen zijn voor reclame, door advertenties algoritmisch te matchen met de inhoud van video's terwijl ze worden gefilmd en uitgezonden. Naarmate meer en meer video's online gaan, zou het algoritme Twitter kunnen helpen om advertenties veel efficiënter af te stemmen op dergelijke inhoud. Met name deze maand won het bedrijf het recht om bepaalde NFL-beelden live uit te zenden.
Ben Edelman , een universitair hoofddocent aan het Berkman Center van Harvard en een expert op het gebied van online media en reclame, zegt dat de door Twitter ontwikkelde techniek belangrijk kan zijn voor het uitfilteren van auteursrechtelijk beschermde inhoud en ongewenste inhoud zoals pornografie of geweld.
Maar Farabet is net zo geïnteresseerd in het vinden van dingen die mensen wel willen zien. Het vermogen hebben om echt te begrijpen waar je in geïnteresseerd bent - volledig onafhankelijk van wie het heeft geproduceerd of wanneer het is geproduceerd - is een fundamentele vaardigheid die we echt willen hebben, zegt hij.