211service.com
Software leert foto's taggen
Amerikaanse onderzoekers hebben een nieuw online programma uitgebracht om afbeeldingen automatisch te taggen op basis van hun inhoud. In de eerste real-world test verwerkte het programma duizenden openbaar toegankelijke afbeeldingen die beschikbaar zijn op de site voor het delen van foto's Flickr . Voor 98 procent van alle geanalyseerde foto's werd ten minste één nauwkeurige tag gegenereerd.
De nieuwe software, genaamd ALIPR (Automatic Linguistic Indexing of Pictures), gebruikt een combinatie van statistische technieken om een afbeelding te verwerken en er een reeks van 15 woorden aan toe te kennen, gerangschikt in volgorde van waargenomen relevantie. Deze woorden kunnen verwijzen naar een specifiek object in de afbeelding, zoals een persoon of auto, of naar een meer algemeen thema, zoals buitenshuis of door de mens gemaakt.
Voor mensen is het ontcijferen van een afbeelding bedrieglijk eenvoudig. En toch blijft het identificeren van de inhoud van een afbeelding een duivels moeilijke taak voor computers, die miljoenen tekstdocumenten met razendsnelle snelheid en nauwkeurigheid kunnen doorzoeken.
Herkennen waar een afbeelding semantisch over gaat, is een van de moeilijkste problemen in AI, zegt Jia Li, een wiskundige aan de Pennsylvania State University, in State College, die de software heeft gemaakt met collega James Wang, een lid van het College of Information Sciences en Technologie. Objecten in de echte wereld zijn 3D, legt Li uit. Wanneer ze in een afbeelding worden weergegeven, kunnen ze enorm variëren in kleur, vorm, gebaar, grootte en positie, en een computer heeft meestal geen voorkennis over de variaties.
Omdat een complex begrip van de wereld het vermogen van computers te boven gaat, zijn efficiëntere algoritmen voor beeldverwerking nodig om hen te helpen het menselijke zicht en de intelligentie na te bootsen.
ALIPR analyseert een afbeelding pixel voor pixel en past een nieuwe statistische methode toe om de kans te berekenen dat een bepaald woord de inhoud ervan beschrijft. Dit houdt in dat de verdeling van kleur en textuur binnen de afbeelding wordt onderzocht en deze kenmerken worden vergeleken met een opgeslagen database met woorden en afbeeldingen. Li en Wang trainden hun programma met behulp van een commerciële database met ongeveer 50.000 afbeeldingen die al waren getagd.
Onlangs hebben ze ALIPR getest op 5.411 nooit eerder vertoonde afbeeldingen die beschikbaar zijn op de populaire foto-deelsite Flickr. Voor 51 procent van deze afbeeldingen verscheen het eerste woord dat door ALIPR werd gegenereerd in de tags van gebruikers. Het programma produceerde ook 98 procent van de tijd ten minste één nauwkeurig woord. De onderzoekers gebruikten afbeeldingen die openbaar toegankelijk waren gemaakt door Flickr-gebruikers, die ook openlijk toegankelijk waren via Flickr's eigen Application Programming Interface.
Betere software voor beeldherkenning kan verschillende toepassingen hebben, zegt Li. Het zou bijvoorbeeld internetzoekmachines kunnen verbeteren of digitale beeldcollecties automatisch kunnen taggen. Li gelooft dat het wetenschappers ook kan helpen bij het sorteren van grote hoeveelheden visuele informatie: beeldclassificatie is soms een noodzaak in wetenschappelijk onderzoek. Zonder computerhulp moeten onderzoekers afbeeldingen handmatig classificeren, en dit proces kan traag zijn en achterblijven bij de hoge doorvoer van nieuwe afbeeldingen.
De onderliggende algoritmen zouden zich wellicht kunnen lenen voor verschillende andere moeilijke rekentaken. Soortgelijke benaderingen kunnen worden toegepast op video-analyse en mogelijk andere problemen, voegt Li eraan toe.
Louis van Ahn , een assistent-professor computerwetenschappen aan de Carnegie Mellon University, in Pittsburgh, PA, zegt dat het onderzoek een stap in de goede richting is, maar dat de nauwkeurigheid van de software moet worden verbeterd. Hij merkt op dat afbeeldingen op sites als Flickr vaak zeer vergelijkbaar materiaal bevatten. De waarheid is dat deze afbeeldingen grotendeels over hetzelfde gaan: mensen nemen meestal foto's van andere mensen, zegt hij. Dus alleen al door het woord 'mensen' te gebruiken, wordt een groot percentage van de afbeeldingen correct gelabeld.
Von Ahn gelooft ook dat mensen een grotere rol zouden kunnen spelen bij het trainen van algoritmen voor gezichtsherkenning. Hij runt een site genaamd Peekaboom dat van het taggen van afbeeldingen een spel maakt voor twee online spelers. Terwijl een afbeelding langzaam wordt onthuld, moet elke speler racen om de juiste tag ervoor te vinden. Dit helpt de software van von Ahn te trainen om afbeeldingen te identificeren door zich te concentreren op belangrijke delen. Tot nu toe zijn ongeveer 100.000 afzonderlijke afbeeldingen geclassificeerd met Peekaboom, zegt von Ahn.
Alexander Berg , een computervisie-expert aan de Universiteit van Californië, in Berkley, is het ermee eens dat mensen computers kunnen helpen complexe gegevens beter te begrijpen. Hij suggereert dat de tags die verschijnen op sites als Flickr en YouTube, evenals op veel blogs en nieuwswebsites, in de toekomst cruciaal kunnen zijn voor dit streven. Over het algemeen is het zoeken naar afbeeldingen en video's een gebied dat grote stappen moet maken, zegt Berg. Steeds meer gegevens staan online met een zekere mate van menselijke etikettering.
Het is een idee dat door Li wordt verwelkomd: hoe betrouwbaarder gegevens we kunnen openen en gebruiken, hoe beter.