211service.com
Is dit de eerste computationele verbeelding?
Stel je een eik voor in een tarweveld, afgetekend tegen een wolkenloze blauwe lucht op een dromerige zonnige middag. De kans is groot dat de meeste mensen die deze zin lezen zich gemakkelijk een landelijke scène in hun geestesoog kunnen voorstellen. Dit vermogen om een beschrijving van een scène te lezen en je dan voor te stellen dat het altijd al uniek menselijk is geweest. Maar deze kostbare vaardigheid is misschien niet langer van ons alleen.
Iedereen die denkt dat dit soort fantasieën ver buiten het vermogen van de huidige computermachines liggen, zal verrast zijn door het werk van Hiroharu Kato en Tatsuya Harada aan de Universiteit van Tokyo in Japan.
Vandaag onthullen deze jongens een machine die een beschrijving van een object in een afbeelding kan vertalen. Met andere woorden, hun computer kan een beeld oproepen van een extern object dat anders niet aanwezig is. Dat is een vrij goede definitie van verbeelding - in dit geval van de computationele variëteit.
Zeker, deze computerfantasieën zijn eenvoudig, soms verwarrend en vaak onzinnig. Maar het feit dat ze überhaupt mogelijk zijn, is een belangrijke stap voorwaarts voor computationele creativiteit.
Computerwetenschappers hebben lang geworsteld om met het gemak en de kracht van afbeeldingen om te gaan met woorden. Het is bijvoorbeeld eenvoudig om een woord of reeks woorden in een zoekmachine in te voeren en overeenkomsten te vinden die zeer relevant zijn.
Dit komt niet door een speciaal computervermogen om woorden te begrijpen. Het komt alleen tot stand door de woorden statistisch te behandelen, alsof je ze uit de zak telt. Inderdaad, dit soort bag-of-word-technieken zijn enorm krachtig geworden. Daarentegen is er geen equivalent vermogen voor afbeeldingen.
Dus een paar jaar geleden begonnen computerwetenschappers beelden op dezelfde manier te behandelen. Ze begonnen een afbeelding te zien als een reeks pixels die ze in korte reeksen verdelen die overeenkomen met een specifiek deel van een afbeelding. Een korte reeks kan bijvoorbeeld overeenkomen met de rand van een kopje of een deel van de huid of een deel van de lucht enzovoort.
Deze korte reeksen betekenen weinig voor mensen, maar voor een computer kunnen ze als woorden worden behandeld. Een computer zou dus een afbeelding kunnen analyseren door het aantal reeksen te tellen en hoe vaak ze voorkomen, net zoals hij een document zou kunnen behandelen door te tellen hoe vaak woorden voorkomen. Een afbeelding van de lucht zou veel reeksen hebben die overeenkomen met delen van de lucht. En een afbeelding van een kopje thee zou veel reeksen hebben die overeenkomen met de rand van een kopje enzovoort.
Dat maakt het direct mogelijk om foto's met elkaar te vergelijken. Een computer kan een database met op deze manier geanalyseerde afbeeldingen doorzoeken op zoek naar vergelijkbare patronen van reeksen in andere afbeeldingen. Het idee is dat twee afbeeldingen met vergelijkbare verdelingen van sequenties er hetzelfde uit zouden moeten zien en onderzoekers hebben inderdaad enig succes gehad met deze techniek om overeenkomsten te vinden.
Naar analogie met tekst noemen computerwetenschappers deze reeksen visuele woorden. En deze nieuwe benadering van beeldanalyse staat bekend als de bag-of-visual-word-techniek. Het analyseert een afbeelding door de statistische verdeling van de visuele woorden die het bevat te tellen.
De vraag die Kato en Harada stellen is het tegenovergestelde hiervan. Wat was de oorspronkelijke afbeelding, gegeven een verdeling van visuele woorden? Dat is een veel moeilijker probleem omdat, hoewel een visueel woord een deel van een afbeelding beschrijft, het niet verklaart waar het in het beeld vandaan kwam of bij welke andere visuele woorden het in de buurt kwam.
Dit probleem is vergelijkbaar met het oplossen van een legpuzzel, zeggen ze. De visuele woorden zijn de stukjes en het probleem is om te beslissen hoe ze allemaal bij elkaar passen om een foto te maken.
Kato en Harada pakken dit probleem op twee verschillende manieren aan. De eerste is om te beoordelen hoe individuele visuele woorden naadloos in elkaar passen naast andere visuele woorden. Alle visuele woorden die de rand van een kopje beschrijven, kunnen bijvoorbeeld aan elkaar worden gepast om een doorlopende rand te tonen.
Dit is niet eenvoudig omdat visuele woorden geen duidelijke vorm hebben en dus niet als puzzelstukjes in elkaar passen. In plaats daarvan meten Kato en Harada de relatie tussen visuele woorden in een grote database met afbeeldingen door alle paren te tellen die naast elkaar voorkomen. Dat levert een kans op dat een paar visuele woorden naast elkaar zou moeten staan
De tweede methode is om de waarschijnlijkheid te beoordelen dat een bepaald visueel woord in een bepaald deel van de afbeelding moet verschijnen. Een visueel woord dat bijvoorbeeld een gebied in de lucht laat zien, zal eerder bovenaan een afbeelding staan.
Omdat de visuele woorden zelf deze informatie niet bevatten, meten Kato en Harada het opnieuw in een grote database met afbeeldingen. Elk visueel woord wordt verondersteld een voorkeur te hebben voor de absolute positie waarop het moet worden geplaatst, zeggen ze. Deze voorkeur is de gemeten waarde uit de gehele database.
Natuurlijk zijn deze berekeningen rekenkundig duur, afhankelijk van de grootte van de database en de grootte van de visuele woorden.
Niettemin hebben Kato en Harada veel succes geboekt met hun aanpak. Ze creëren een database van 101 afbeeldingen die elk een ander soort objecten tonen. Ze verkleinden elke afbeelding naar 128 x 128 pixels en gingen ervan uit dat elke afbeelding bestaat uit visuele woorden van 13 x 13 pixels en dat driekwart van elk visueel woord het volgende visuele woord overlapt.
Nadat ze de database hebben gemaakt met de statistische verdeling van de visuele woorden, gebruiken ze deze informatie om te proberen een afbeelding te reconstrueren met alleen de visuele woorden die erop voorkomen.
De resultaten zijn over het algemeen indrukwekkend. Hoewel sommige van de gegenereerde afbeeldingen onzinnig zijn, creëren andere met succes een breed scala aan afbeeldingen, bijvoorbeeld van een paraplu, een sleutel, een ton, een vis en zelfs een gezicht (zie de afbeeldingen en hun reconstructies hierboven).
Dat is indrukwekkend en leidt tot een aantal interessante toepassingen. Kato en Harada gebruiken het bijvoorbeeld om het ene beeld in het andere te veranderen. Ze nemen de zak met visuele woorden die twee afbeeldingen vertegenwoordigt en genereren vervolgens tussenzakken met visuele woorden om de tussenliggende afbeeldingen in de morphing-reeks te maken.
Interessanter is hun werk op het gebied van computervisie. Computerwetenschappers hebben onlangs krachtige geautomatiseerde algoritmen voor objectherkenning ontwikkeld die specifieke objecten identificeren.
Deze algoritmen staan bekend als classifiers. Ze werken met een hoge nauwkeurigheid, maar kunnen soms voor de gek gehouden worden door objecten die voor het menselijk oog eenvoudig te identificeren lijken. Dus waar ze precies naar zoeken is niet altijd duidelijk.
Het werk van Kato en Harada brengt hier verandering in. Ze hebben hun aanpak met visuele woorden gebruikt om deze objectclassificaties te visualiseren. Dit onthult verschillen tussen menselijke visie en computervisie, zeggen ze.
Ze doen dit door de classifiers te gebruiken om 10.000 willekeurig gekozen afbeeldingen te bestuderen en simpelweg de visuele woorden te tellen die elke classifier het vaakst activeren. Vervolgens assembleren ze deze visuele woorden tot een afbeelding met behulp van hun zak met visuele woordentechniek.
En de resultaten zijn fascinerend. Sommige van de gevisualiseerde classificaties lijken opmerkelijk veel op de objecten zelf, tenminste voor zover menselijke herkenning gaat. Anderen zijn vreemd vervormd, zoals werken van moderne kunst. En anderen laten zien hoe extra elementen belangrijk kunnen zijn, bijvoorbeeld hoe de horizon belangrijk is voor het identificeren van bomen.
Ten slotte gebruiken Kato en Harada hun aanpak om beelden te genereren uit gewone zinnen. Dit doen ze door elk woord in de zin om te zetten in een zak met visuele woorden en dit vervolgens om te zetten in een afbeelding.
Het omzetten van gewone woorden in een zak met visuele woorden is een lastige taak. Dit doen de onderzoekers door te zoeken in een dataset van afbeeldingen met bijschriften. Elke keer dat een woord in een bijschrift verschijnt, voegen ze de visuele woorden in de afbeelding toe aan een tas. Zo ontstaat een grote zak beeldwoorden waaruit een beeld kan worden gegenereerd.
De resultaten zijn fascinerend. Meerdere zinnen worden vertaald naar compleet onzinnige beelden, geven Kato en Harada toe. Dat komt waarschijnlijk omdat de methode om een woord om te zetten in een zak met visuele woorden te simpel is. Maar andere zinnen produceren dromerige beelden die losjes verbonden zijn met het oorspronkelijke idee (zie afbeeldingen hieronder).
Kato en Harada zeggen dat dit een veelbelovend begin is en de weg opent naar een nieuwe generatie systemen voor het maken van afbeeldingen.
Dat is echt fascinerend werk dat een belangrijke stap voorwaarts is in computationele creativiteit. Vraag Google om verbeelding te definiëren en het zegt dit: het vermogen of de actie van het vormen van nieuwe ideeën, of beelden of concepten van externe objecten die niet aanwezig zijn voor de zintuigen . Het is dus zeker niet overdreven om te zeggen dat Kato en Harada 's werelds eerste computationele verbeelding hebben gecreëerd.
Referentie: http://arxiv.org/abs/1505.05190 : Beeldreconstructie van Bag-of-Visual-Words