211service.com
Hoe Google afbeeldingen in woorden 'vertaalt' met behulp van vectorruimte-wiskunde
Het vertalen van de ene taal in de andere is altijd een moeilijke taak geweest. Maar in de afgelopen jaren heeft Google dit proces getransformeerd door machinevertalingsalgoritmen te ontwikkelen die de aard van interculturele communicatie via Google Translate veranderen.
Nu gebruikt dat bedrijf dezelfde machine learning-techniek om afbeeldingen in woorden te vertalen. Het resultaat is een systeem dat automatisch beeldbijschriften genereert die de inhoud van afbeeldingen nauwkeurig beschrijven. Dat is iets dat nuttig zal zijn voor zoekmachines, voor geautomatiseerd publiceren en om slechtzienden te helpen navigeren op internet en, inderdaad, de rest van de wereld.
De conventionele benadering van taalvertaling is een iteratief proces dat begint door woorden afzonderlijk te vertalen en vervolgens de woorden en woordgroepen opnieuw te ordenen om de vertaling te verbeteren. Maar de afgelopen jaren heeft Google bedacht hoe hij zijn enorme zoekdatabase kan gebruiken om tekst op een geheel andere manier te vertalen.
De benadering is in wezen om te tellen hoe vaak woorden naast of dicht bij andere woorden verschijnen en ze vervolgens in een abstracte vectorruimte ten opzichte van elkaar te definiëren. Hierdoor kan elk woord worden weergegeven door een vector in deze ruimte en zinnen worden weergegeven door combinaties van vectoren.
Google gaat verder met een belangrijke veronderstelling. Dit is dat specifieke woorden dezelfde relatie tot elkaar hebben, ongeacht de taal. De vector koning - man + vrouw = koningin zou bijvoorbeeld in alle talen moeten gelden.
Dat maakt taalvertaling een probleem van de vectorruimte-wiskunde. Google Translate benadert het door een zin in een vector te veranderen en die vector vervolgens te gebruiken om de equivalente zin in een andere taal te genereren.
Nu gebruiken Oriol Vinyals en vrienden bij Google een vergelijkbare benadering om afbeeldingen in woorden te vertalen. Hun techniek is om een neuraal netwerk te gebruiken om een dataset van 100.000 afbeeldingen en hun bijschriften te bestuderen en zo te leren hoe de inhoud van afbeeldingen te classificeren.
Maar in plaats van een reeks woorden te produceren die de afbeelding beschrijven, produceert hun algoritme een vector die de relatie tussen de woorden vertegenwoordigt. Deze vector kan vervolgens worden aangesloten op het bestaande vertaalalgoritme van Google om een bijschrift in het Engels of zelfs in een andere taal te produceren. In feite heeft Google's machine learning-aanpak geleerd om afbeeldingen in woorden te vertalen.
Om de doeltreffendheid van deze aanpak te testen, gebruikten ze menselijke beoordelaars die waren gerekruteerd door Amazon's Mechanical Turk om ondertitels te beoordelen die automatisch op deze manier werden gegenereerd, samen met de ondertitels die werden gegenereerd door andere geautomatiseerde benaderingen en door mensen.
De resultaten laten zien dat het nieuwe systeem, dat Google Neural Image Caption noemt, het goed doet. Met behulp van een bekende dataset van afbeeldingen genaamd PASCAL, presteerde Neural Image Capture duidelijk beter dan andere geautomatiseerde benaderingen. NIC leverde een BLEU-score van 59 op, te vergelijken met de huidige stand van zaken van 25, terwijl menselijke prestaties 69 bereiken, aldus Vinyals en co.
Dat is niet slecht en de aanpak lijkt beter te worden naarmate de trainingsdatasets groter worden. Uit deze experimenten blijkt duidelijk dat naarmate de omvang van de beschikbare datasets voor beeldbeschrijving toeneemt, ook de prestaties van benaderingen zoals NIC zullen toenemen, aldus het Google-team.
Het is duidelijk dat dit nog een andere taak is waarvoor de dagen van menselijke suprematie over machines geteld zijn.
Referentie: arxiv.org/abs/1411.4555 : Show and Tell: een Neural Image Caption Generator