211service.com
Koning – Man + Vrouw = Koningin: de wonderbaarlijke wiskunde van computerlinguïstiek
Computerlinguïstiek heeft de manier waarop onderzoekers taal bestuderen en begrijpen drastisch veranderd. De mogelijkheid om voor het eerst enorme hoeveelheden woorden te nummeren, heeft geleid tot geheel nieuwe manieren van denken over woorden en hun relatie tot elkaar.
Dit rekenwerk laat precies zien hoe vaak een woord in de buurt komt van andere woorden, een belangrijke factor in hoe ze worden gebruikt. Dus het woord Olympische Spelen lijkt misschien dicht bij woorden als rennen, springen en gooien, maar minder vaak naast woorden als elektron of stegosaurus. Deze reeks relaties kan worden gezien als een multidimensionale vector die beschrijft hoe het woord Olympische Spelen wordt gebruikt in een taal, die zelf kan worden gezien als een vectorruimte.
En daarin ligt deze enorme verandering. Met deze nieuwe benadering kunnen talen worden behandeld als vectorruimten met nauwkeurige wiskundige eigenschappen. Nu wordt de studie van taal een probleem van de vectorruimte-wiskunde.
Tegenwoordig onderzoeken Timothy Baldwin van de Universiteit van Melbourne in Australië en een paar vrienden een van de merkwaardige wiskundige eigenschappen van deze vectorruimte: dat het optellen en aftrekken van vectoren een andere vector in dezelfde ruimte oplevert.
De vraag die ze beantwoorden is deze: wat betekenen deze samengestelde vectoren? En bij het onderzoeken van deze vraag ontdekken ze dat het verschil tussen vectoren een krachtig hulpmiddel is om taal en de relatie tussen woorden te bestuderen.
Eerst wat achtergrond. De gemakkelijkste manier om over woorden na te denken en hoe ze kunnen worden opgeteld en afgetrokken als vectoren, is met een voorbeeld. De meest bekende is de volgende: koning – man + vrouw = koningin. Met andere woorden, het toevoegen van de vectoren die bij de woorden horen koning en vrouw tijdens het aftrekken Mens is gelijk aan de vector geassocieerd met koningin . Dit beschrijft een geslachtsrelatie.
Een ander voorbeeld is: parijs – frankrijk + polen = warschau. In dit geval is het vectorverschil tussen Parijs en Frankrijk vangt het concept van de hoofdstad.
Baldwin en co vragen hoe betrouwbaar deze aanpak kan zijn en hoe ver ze kan gaan. Om dit te doen, vergelijken ze hoe vectorrelaties veranderen volgens het corpus van bestudeerde woorden. Werken bijvoorbeeld dezelfde vectorrelaties in het corpus van woorden van Wikipedia als in het corpus van woorden van Google News of Reuters English Newswire?
Om daar achter te komen, kijken ze naar de vectoren die horen bij een aantal bekende relaties tussen woordklassen. Deze omvatten de relatie tussen een entiteit en zijn onderdelen, bijvoorbeeld vliegtuig en cockpit; een actie en het object dat daarbij hoort, zoals jagen en herten; een zelfstandig naamwoord en zijn verzamelnaam zoals mier en leger. Ze bevatten ook een reeks grammaticale links: een zelfstandig naamwoord en zijn meervoud, zoals hond en honden, een werkwoord en zijn verleden tijd, zoals weten en kenden; en een werkwoord en zijn derde persoon meervoud, zoals accepteren en accepteren.
De resultaten zorgen voor interessante lectuur. Baldwin en co zeggen dat de vectorsommen die in deze relaties zijn vastgelegd, over het algemeen nauwe clusters vormen in de vectorruimten die bij elk corpus horen.
Er zijn echter enkele interessante uitbijters waar woorden meer dan één betekenis hebben en dus dubbelzinnige representaties hebben in deze vectorruimten. Voorbeelden in de derde persoon meervoudscluster omvatten studie en studies, rennen en rennen, toenemen en toenemen, alle woorden die zelfstandige naamwoorden en werkwoorden kunnen zijn, die hun vectoren in deze ruimtes vervormen.
Dat is interessant werk dat deze nieuwe weg inslaat in de studie van woorden en hun onderlinge relaties. Dit artikel is het eerste dat de generaliseerbaarheid van de vectorverschilbenadering over een breed scala van lexicale relaties test, zeggen ze.
Een belangrijke vraag die Baldwin en co negeren, is hoe dit betere begrip in de echte wereld kan worden gebruikt. Een voor de hand liggend antwoord is om machines te helpen menselijke taal te begrijpen. Een andere is om te helpen met taalvertaling.
Het is vermeldenswaard dat een van de pioniers en drijvende krachten op dit gebied Google en zijn team voor machinevertaling is. Deze jongens hebben ontdekt dat een vectorrelatie die in het Engels verschijnt, over het algemeen ook werkt in het Spaans, Duits, Vietnamees en inderdaad alle talen.
Dat is hoe Google zijn machinevertaling doet. In wezen beschouwt het een zin als equivalent in twee talen als zijn positie in de vectorruimten van elk dezelfde is. Door deze benadering is de traditionele betekenis ervan bijna irrelevant.
Maar vanwege het eigenaardige karakter van taal zijn er tal van uitzonderingen. Het zijn deze die de problemen veroorzaken voor algoritmen voor machinevertaling.
Dus het vinden van manieren om de dubbelzinnigheden op te sporen, kan een nuttige manier zijn om deze problemen op te lossen.
Referentie: arxiv.org/abs/1509.01692 : Take and Take, Gaggle and Goose, Book and Read: het nut van vectorverschillen voor het leren van lexicale relaties evalueren