211service.com
De door de hersenen geïnspireerde software van Google beschrijft wat het ziet in complexe afbeeldingen
Onderzoekers bij Google hebben gemaakt software die volledige zinnen kan gebruiken om scènes op foto's nauwkeurig te beschrijven - een aanzienlijke vooruitgang op het gebied van computervisie. Bij het zien van bijvoorbeeld een foto van een spelletje ultimate frisbee, reageerde de software met de omschrijving Een groep jongeren die een spelletje frisbee speelt. De software kan zelfs tellen en antwoorden geven zoals Twee pizza's die op een kookplaat zitten.
Experimentele software van Google kan scènes op foto's nauwkeurig beschrijven, zoals de twee links. Maar hij maakt nog steeds fouten, zoals te zien is op de twee foto's rechts.
Voorheen waren de meeste pogingen om software te maken die afbeeldingen begrijpt, gericht op de eenvoudigere taak om afzonderlijke objecten te identificeren.
Het is heel spannend, zegt Oriol Vinyls , een onderzoeker bij Google. Ik weet zeker dat hier een aantal potentiële toepassingen uit zullen komen.
De nieuwe software is het nieuwste product van Google's onderzoek naar het gebruik van grote verzamelingen gesimuleerde neuronen om gegevens te verwerken (zie 10 Breakthrough Technologies 2013: Deep Learning). Niemand bij Google heeft de nieuwe software geprogrammeerd met regels voor het interpreteren van scènes. In plaats daarvan leerden de netwerken door gegevens te consumeren. Hoewel het voorlopig slechts een onderzoeksproject is, zegt Vinyals, zijn hij en anderen bij Google al begonnen na te denken over hoe het kan worden gebruikt om het zoeken naar afbeeldingen te verbeteren of om slechtzienden te helpen online of in de echte wereld te navigeren.
De onderzoekers van Google hebben de software gemaakt door middel van een soort digitale hersenoperatie, waarbij twee neurale netwerken die afzonderlijk voor verschillende taken zijn ontwikkeld, met elkaar verbonden zijn. Eén netwerk was getraind om afbeeldingen te verwerken tot een wiskundige weergave van hun inhoud, ter voorbereiding op het identificeren van objecten. De andere was getraind om volledige Engelse zinnen te genereren als onderdeel van geautomatiseerde vertaalsoftware.
Wanneer de netwerken worden gecombineerd, kan de eerste naar een afbeelding kijken en vervolgens de wiskundige beschrijving van wat hij ziet invoeren in de tweede, die die informatie gebruikt om een voor mensen leesbare zin te genereren. Het gecombineerde netwerk is getraind om nauwkeurigere beschrijvingen te genereren door het tienduizenden afbeeldingen te tonen met beschrijvingen die door mensen zijn geschreven. We zien door taal wat het dacht dat het beeld was, zegt Vinylals.
Na dat trainingsproces werd de software losgelaten op verschillende grote datasets met afbeeldingen van Flickr en andere bronnen en werd gevraagd deze te beschrijven. De nauwkeurigheid van de beschrijvingen werd vervolgens beoordeeld met een geautomatiseerde test die werd gebruikt om computervisiesoftware te benchmarken. De software van Google plaatste in de jaren 60 scores op een schaal van 100 punten. Mensen die de test doen, scoren meestal in de jaren 70, zegt Vinyals.
Dat resultaat suggereert dat Google ver vooruit is op andere onderzoekers die werken aan het maken van software voor het beschrijven van scènes. Stanford-onderzoekers onlangs gepubliceerde details van hun eigen systeem en meldde dat het tussen de 40 en 50 scoorde op dezelfde standaardtest.
Vinyals merkt echter op dat onderzoekers bij Google en elders nog in de beginfase verkeren om te begrijpen hoe dit soort software kan worden gemaakt en getest. Toen Google mensen vroeg om de beschrijvingen van afbeeldingen in de software te beoordelen op een schaal van 1 tot 4, was dit gemiddeld slechts 2,5, wat suggereert dat er nog een lange weg te gaan is.
Vinylals voorspelt dat het onderzoek naar het begrijpen en beschrijven van scènes nu zal intensiveren. Een probleem dat de zaken zou kunnen vertragen: hoewel er grote databases met met de hand gelabelde afbeeldingen zijn gemaakt om software te trainen om individuele objecten te herkennen, zijn er minder gelabelde foto's van meer natuurlijke scènes.
Microsoft lanceerde dit jaar een database genaamd KOKOSNOOT om dat te proberen te herstellen. Google gebruikte COCO in zijn nieuwe onderzoek, maar het is nog relatief klein. Ik hoop dat andere partijen mee gaan doen en het beter maken, zegt Vinyals.