211service.com
De revolutionaire techniek die de visie van machines voor altijd veranderde
Bij ruimteverkenning is er de Google Lunar X Prize voor het plaatsen van een rover op het maanoppervlak. In de geneeskunde is er de Qualcomm Tricorder X-prijs voor het ontwikkelen van een Star Trek-achtig apparaat voor het diagnosticeren van ziekten. Er is zelfs een beginnende Artificial Intelligence X-prijs voor het ontwikkelen van een AI-systeem dat een boeiende TED-talk kan opleveren.
In de wereld van machine vision is het gelijkwaardige doel het winnen van de ImageNet Large-Scale Visual Recognition Challenge. Dit is een wedstrijd die sinds 2010 elk jaar wordt gehouden om algoritmen voor beeldherkenning te evalueren. (Het is ontworpen als vervolg op een soortgelijk project genaamd PASCAL VOC dat liep van 2005 tot 2012).
De deelnemers aan deze competitie hebben twee eenvoudige taken. Gepresenteerd met een of andere afbeelding, is de eerste taak om te beslissen of het een bepaald type object bevat of niet. Een deelnemer kan bijvoorbeeld besluiten dat er auto's op deze afbeelding staan, maar geen tijgers. De tweede taak is om een bepaald object te vinden en er een doos omheen te tekenen. Een deelnemer kan bijvoorbeeld besluiten dat er op een bepaalde positie een schroevendraaier staat met een breedte van 50 pixels en een hoogte van 30 pixels.
Oh, en nog iets: er zijn 1000 verschillende categorieën objecten, variërend van telraam tot courgette, en deelnemers moeten een database van meer dan 1 miljoen afbeeldingen doorzoeken om elk exemplaar van elk object te vinden. Lastig!
Computers hebben altijd problemen gehad met het identificeren van objecten in echte afbeeldingen, dus het is niet moeilijk te geloven dat de winnaars van deze wedstrijden altijd slecht hebben gepresteerd in vergelijking met mensen.
Maar dat veranderde allemaal in 2012 toen een team van de Universiteit van Toronto in Canada een algoritme invoerde genaamd SuperVision, dat de vloer veegde met de oppositie.
Vandaag bespreken Olga Russakovsky van de Stanford University in Californië en een paar vrienden de geschiedenis van deze wedstrijd en zeggen dat achteraf gezien de alomvattende overwinning van SuperVision een keerpunt was voor machinevisie. Sindsdien, zeggen ze, is het zicht op machines in zo'n snel tempo verbeterd dat het vandaag voor het eerst de menselijke nauwkeurigheid evenaart.
Dus wat gebeurde er in 2012 dat de wereld van machinevisie veranderde? Het antwoord is een techniek die diepe convolutionele neurale netwerken wordt genoemd en die het Super Visison-algoritme gebruikte om de 1,2 miljoen afbeeldingen met hoge resolutie in de dataset in 1000 verschillende klassen te classificeren.
Dit was de eerste keer dat een diep convolutief neuraal netwerk de wedstrijd had gewonnen, en het was een duidelijke overwinning. In 2010 had de winnende inzending een foutenpercentage van 28,2 procent, in 2011 was het foutenpercentage gedaald tot 25,8 procent. Maar SuperVision won in 2012 met een foutenpercentage van slechts 16,4 procent (de op één na beste inzending had een foutenpercentage van 26,2 procent). Die duidelijke overwinning zorgde ervoor dat deze aanpak sindsdien op grote schaal werd gekopieerd.
Convolutionele neurale netwerken bestaan uit verschillende lagen van kleine neuronverzamelingen die elk naar kleine delen van een afbeelding kijken. De resultaten van alle collecties in een laag zijn zodanig gemaakt dat ze elkaar overlappen om een representatie van de hele afbeelding te creëren. De laag eronder herhaalt dit proces vervolgens op de nieuwe afbeeldingsrepresentatie, waardoor het systeem meer te weten kan komen over de samenstelling van de afbeelding.
Diepe convolutionele neurale netwerken werden uitgevonden in de vroege jaren tachtig. Maar het is pas de laatste paar jaar dat computers het vermogen beginnen te krijgen dat nodig is voor hoogwaardige beeldherkenning.
SuperVision bestaat bijvoorbeeld uit zo'n 650.000 neuronen die zijn gerangschikt in vijf convolutionele lagen. Het heeft ongeveer 60 miljoen parameters die tijdens het leerproces moeten worden verfijnd om objecten in bepaalde categorieën te herkennen. Het is deze enorme parameterruimte die de herkenning van zoveel verschillende soorten objecten mogelijk maakt.
Sinds 2012 hebben verschillende groepen het resultaat van SuperVision aanzienlijk verbeterd. Dit jaar behaalde een algoritme met de naam GoogLeNet, gemaakt door een team van Google-ingenieurs, een foutenpercentage van slechts 6,7 procent.
Een van de grote uitdagingen bij het runnen van dit soort wedstrijden is in de eerste plaats het creëren van hoogwaardige datasets, zeggen Russakovsky en co. Elke afbeelding in de database moet worden geannoteerd volgens een gouden standaard waaraan de algoritmen moeten voldoen. Er is ook een trainingsdatabase van ongeveer 150.000 afbeeldingen die ook moeten worden geannoteerd.
Dat is geen gemakkelijke opgave met zo'n groot aantal afbeeldingen. Russakovsky en co hebben dit gedaan met behulp van crowdsourcing op faciliteiten zoals Amazon's Mechanical Turk, waar ze menselijke gebruikers vragen om de afbeeldingen te categoriseren. Dat vereist een aanzienlijke hoeveelheid planning, kruiscontrole en opnieuw uitvoeren als het niet werkt. Maar het resultaat is een database van hoge kwaliteit met afbeeldingen die met een hoge mate van nauwkeurigheid zijn geannoteerd, zeggen ze.
Een interessante vraag is hoe de topalgoritmen zich verhouden tot mensen als het gaat om objectherkenning. Russakovsky en co hebben mensen met machines vergeleken en hun conclusie lijkt onvermijdelijk. Onze resultaten geven aan dat een getrainde menselijke annotator in staat is om het beste model (GoogLeNet) met ongeveer 1,7% te overtreffen, zeggen ze.
Met andere woorden, het zal niet lang meer duren voordat machines aanzienlijk beter presteren dan mensen in beeldherkenningstaken.
De beste machine vision-algoritmen worstelen nog steeds met kleine of dunne objecten, zoals een kleine mier op een stengel van een bloem of een persoon die een ganzenveer in de hand houdt. Ook hebben ze moeite met beelden die vervormd zijn met filters, een fenomeen dat steeds vaker voorkomt bij moderne digitale camera's.
Daarentegen zijn dit soort afbeeldingen zelden lastig voor mensen die vaak problemen hebben met andere problemen. Ze zijn bijvoorbeeld niet goed in het classificeren van objecten in fijnmazige categorieën, zoals de specifieke soort hond of vogel, terwijl algoritmen voor machinevisie dit gemakkelijk aankunnen.
Maar de trend is duidelijk. Het is duidelijk dat mensen binnenkort beter zullen presteren dan de modernste modellen voor beeldclassificatie, alleen door gebruik te maken van aanzienlijke inspanning, expertise en tijd, zeggen Russakovsky en co.
Of anders gezegd: het is slechts een kwestie van tijd voordat je smartphone de inhoud van je foto's beter kan herkennen dan jijzelf.
Referentie: http://arxiv.org/abs/1409.0575 : ImageNet grootschalige visuele herkenningsuitdaging