211service.com
Video zoeken op zicht en script
De overname door Google van YouTube.com deze week heeft de hoop gewekt dat het zoeken naar video zal verbeteren. Volgens de website worden elke dag meer dan 65.000 video's geüpload naar YouTube. Met al die inhoud kan het moeilijk zijn om de juiste clip te vinden.
Nu hebben onderzoekers een systeem ontwikkeld dat een combinatie van gezichtsherkenning, ondertiteling en originele televisiescripts gebruikt om automatisch de gezichten te benoemen die op het scherm verschijnen, waardoor afleveringen van het tv-programma worden gemaakt. Buffy de vampiermoordenaar doorzoekbaar.
We zien dit werk in feite als een van de eerste stappen om geautomatiseerde beschrijvingen te krijgen van wat er in een video gebeurt, zegt Mark Everingham , een computerwetenschapper nu aan de Universiteit van Leeds (voorheen van de Universiteit van Oxford), die zijn onderzoek presenteerde op de British Machine Vision Conference in september.
Momenteel worden videozoekopdrachten aangeboden door AOL-video , Google , en Youtube doorzoek niet de inhoud van een video zelf, maar vertrouw in plaats daarvan voornamelijk op metadata of tekstbeschrijvingen die door gebruikers zijn geschreven om een doorzoekbare index van webgebaseerde media-inhoud te ontwikkelen.
Gebruikers uploaden regelmatig (en illegaal) stukjes en beetjes van hun favoriete sitcoms naar sites voor het delen van video's zoals YouTube. Bijvoorbeeld een recente zoekopdracht naar Buffy the Vampire Slayer verschenen bijna 2000 clips op YouTube, waarvan vele duizenden keren bekeken. De meeste van deze clips duren minder dan vijf minuten en de beschrijvingen zijn vaag. Een met de titel Een nieuwe dag is gekomen, bijvoorbeeld, wordt door een gebruiker als volgt beschreven: Het bevat voornamelijk Buffy en Spike. Het laat zien hoe Spike er voor Buffy was tot hij stierf en ze zich daarna alleen voelde.
Everingham zegt dat eerder werk bij het zoeken naar video's gegevens van ondertitels heeft gebruikt om video's te vinden, maar hij is zich niet bewust van iemand die zijn methode gebruikt, die - in het technische hoogstandje - ondertitels en scriptannotaties combineert. Het script vertelt je wat er is gezegd en wie het heeft gezegd en ondertitels vertellen je hoe laat iets wordt gezegd, legt hij uit. De software van Everingham combineert deze twee informatiebronnen met krachtige tools die eerder zijn ontwikkeld om gezichten te volgen en luidsprekers te identificeren zonder tussenkomst van de gebruiker.
Wat maakte de? Buffy zo'n uitdaging projecteren, zegt Everingham, is dat bij film en televisie de spreker niet altijd in beeld is. De ster, Buffy, spreekt misschien buiten het scherm of kijkt weg van de camera, en de camera laat je de reacties van de luisteraar zien. Andere keren kunnen er meerdere acteurs op het scherm zijn of is het gezicht van de acteur niet rechtstreeks naar de camera gericht. Al deze dubbelzinnigheden zijn gemakkelijk te interpreteren voor mensen, maar moeilijk voor computers - althans tot nu toe. Everingham zegt dat hun multimodale systeem tot 80 procent van de tijd nauwkeurig is.
Een enkele aflevering van Buffy kan tot 20.000 exemplaren van gedetecteerde gezichten bevatten, maar de meeste van deze gevallen komen voort uit meerdere frames van een enkel teken in een bepaalde opname. De software volgt de belangrijkste oriëntatiepunten op de gezichten van de acteur - neusgaten, pupillen en ogen bijvoorbeeld - en als een ervan het volgende frame overlapt, worden de twee gezichten beschouwd als onderdeel van een enkel spoor. Als deze oriëntatiepunten echter onduidelijk zijn, gebruikt de software een beschrijving van kleding om twee gebroken gezichtssporen te verenigen. Ten slotte kijkt de software ook naar de lippen van acteurs om te bepalen wie er aan het woord is of dat de spreker zich buiten het scherm bevindt. Uiteindelijk produceert het systeem een gedetailleerde, play-by-play annotatie van de video.
Het algemene idee is dat je meer informatie wilt krijgen zonder dat mensen het vastleggen, zegt Alex Berg van de Computer Vision Group aan de Universiteit van Californië, Berkeley. Als je een bepaalde scène met een personage wilt vinden, moet je eerst de scènes vinden die dat personage bevatten. Hij zegt dat het onderzoek van Everingham de weg zal effenen voor complexere zoekopdrachten in televisieprogramma's.
Computerwetenschapper Josef Sivic bij Oxford's Visuele Geometrie Groep , die hebben bijgedragen aan de Buffy project, zegt dat het in de toekomst mogelijk zal zijn om te zoeken naar concepten op hoog niveau zoals Buffy en Spike die hand in hand naar de camera lopen of alle buitenscènes waarin Buffy voorkomt.
Timothy Tuttle, vice-president van AOL Video, zegt: Het lijkt erop dat in de komende vijf tot tien jaar steeds meer mensen zullen kiezen wat ze willen bekijken volgens hun eigen schema en dat ze inhoud op aanvraag zullen bekijken. Hij merkt ook op dat de barrière voor het aanpassen van technologieën zoals die van Everingham misschien niet langer technisch, maar legaal is.
Deze juridische barrières zijn verdwenen met gedrukte media omdat bedrijven de financiële voordelen hebben geplukt van doorzoekbare inhoud - van Google's Book Scan en de zoekprogramma's van Amazon is aangetoond dat ze de verkoop van boeken de afgelopen twee jaar stimuleren .
Maar het is onduidelijk of een doorzoekbare video op dezelfde manier de verkoop van dvd's kan verhogen. Momenteel biedt Google teasers van premium video-inhoud, zegt stafwetenschapper Michele Covell. Voor bepaalde genres, zoals sportvideo's, wordt het steeds gemakkelijker om een teaserclip te selecteren die mensen aanmoedigt om de video te kopen, zegt ze.
Shumeet Baluja, een stafonderzoeker bij Google, is het ermee eens dat het annoteren van video via het web een uitdaging zal zijn, maar na verloop van tijd zullen ze in staat zijn om offline meer en meer metadata aan populaire videoclips toe te voegen, wat de snelheid en nauwkeurigheid van zoekopdrachten.