211service.com
Het juiste stukje lucht vinden
Vorige week om SIGGRAAF , een internationale conferentie over computergraphics, presenteerde een groep een innovatief systeem dat is ontworpen om beelden van de lucht te analyseren. De meeste commerciële zoeksystemen voor afbeeldingen komen erachter wat er in een afbeelding staat door de bijbehorende tekst te analyseren, zoals de woorden rond een afbeelding op een webpagina of de tags die door mensen worden verstrekt. Maar idealiter zou de software de inhoud van de afbeelding zelf analyseren. Er is veel onderzoek gedaan op dit gebied, maar tot nu toe heeft geen enkel systeem het probleem opgelost. Het nieuwe systeem, SkyFinder genaamd, zou belangrijk inzicht kunnen bieden in het maken van een intuïtieve, automatische, schaalbare zoekfunctie voor alle afbeeldingen.
Zoeken in de lucht: SkyFinder verdeelt de afbeelding automatisch in stukken en wijst aan elk daarvan tags toe, zodat gebruikers afbeeldingen zoals die hierboven kunnen vinden.
Jian Sun , die aan SkyFinder werkte en de hoofdonderzoeker is voor de Visuele computergroep Bij Microsoft Onderzoek , zegt dat de traditionele benadering van het zoeken naar afbeeldingen soms tot onzinnige resultaten leidt wanneer een computer de omringende tekst verkeerd interpreteert. Meestal hebben zoekmachines die de inhoud van afbeeldingen analyseren in plaats van tekst een afbeelding nodig om de zoekopdracht te begeleiden - iets dat door de gebruiker wordt ingediend en veel lijkt op het beoogde resultaat. Helaas is een dergelijke afbeelding misschien niet gemakkelijk te vinden voor de gebruiker. Sun zegt daarentegen dat SkyFinder goede resultaten oplevert, terwijl het de gebruiker ook intuïtief laat communiceren met de zoekmachine.
Om naar een specifiek soort luchtbeeld te zoeken, voert de gebruiker eenvoudig een verzoek in in redelijk natuurlijke taal, zoals een lucht bedekt met zwarte wolken, met de horizon helemaal onderaan. SkyFinder zal voorgestelde afbeeldingen aanbieden die overeenkomen met die beschrijving.
Elke afbeelding wordt verwerkt nadat deze aan de database is toegevoegd. Met behulp van een populaire methode die woordenzak wordt genoemd, legt Sun uit, wordt het beeld opgedeeld in kleine stukjes, die elk worden geanalyseerd en een codewoord toegewezen krijgen dat het visueel beschrijft. Door de patronen van de codewoorden te analyseren, classificeert het systeem het beeld in categorieën zoals blauwe lucht of zonsondergang, en bepaalt het de positie van de zon en de horizon. Door dit offline te doen, zegt Sun, kan het systeem eenvoudig worden geschaald om zeer grote beelddatabases te doorzoeken. (De SkyFinder-database bevat momenteel een half miljoen afbeeldingen.)
Het is ook mogelijk om zoektermen te verfijnen met behulp van een visuele interface. Het systeem biedt bijvoorbeeld een scherm waarop de gebruiker iconen kan aanpassen om de gewenste posities van de zon en horizon te tonen. Die coördinaten worden toegevoegd aan de zoekopdracht.
SkyFinder rangschikt afbeeldingen logisch op het scherm, bijvoorbeeld van blauwe lucht tot bewolkte lucht, of van dag tot zonsondergang. Zodra de gebruiker een afbeelding heeft gevonden die ze leuk vindt, kan ze deze gebruiken om gerichter te zoeken naar vergelijkbare afbeeldingen.
Het systeem bevat ook hulpmiddelen waarmee een gebruiker de lucht in een afbeelding kan vervangen door de lucht van een andere afbeelding.
Computergraphics heeft de afgelopen decennia enorme successen geboekt, maar het is nog steeds onmogelijk voor een gemiddelde computergebruiker om een willekeurige afbeelding of video naar eigen wens te synthetiseren, zegt James Hays, die niet bij het onderzoek betrokken was en een doctoraat in de informatica heeft van de Carnegie Mellon-universiteit. Hij vindt het belangrijk om geavanceerdere tools te ontwikkelen voor onervaren gebruikers. Zulke mensen zouden een tool als SkyFinder kunnen gebruiken om een afbeelding te vinden die ze willen of om een bestaande afbeelding aan te passen. Hays is van mening dat de belangrijkste bijdrage van SkyFinder de gebruikersinterface is.
Ritendra Datta, een ingenieur bij Google die machine learning en afbeeldingen zoeken heeft bestudeerd, zegt dat het toestaan van computers om automatisch te begrijpen wat er in een afbeelding wordt getoond, een van de grootste open problemen blijft bij het zoeken naar afbeeldingen. SkyFinder lijkt een interessante nieuwe benadering te zijn die werkt voor één type afbeelding. Datta is van mening dat vooruitgang in gespecialiseerde toepassingen uiteindelijk op grotere schaal kan worden toegepast.
Hij meent echter dat grondige bruikbaarheidsstudies hard nodig zijn voor zoeksystemen die steunen op automatische analyse van afbeeldingen.
Sun is van plan SkyFinder te verbeteren door het aan te passen om meer attributen van de lucht te analyseren en door de database uit te breiden. Voor nu, zegt hij, moeten systemen die automatisch afbeeldingen analyseren, volledig anders worden getraind, afhankelijk van het type afbeelding waarmee ze werken. Hij zegt echter dat zijn werk met SkyFinder kan worden gebruikt om afbeeldingen van de lucht te identificeren in een algemene reeks afbeeldingen.