211service.com
Google DeepMind leert kunstmatige-intelligentiemachines lezen
Een revolutie in kunstmatige intelligentie raast momenteel door de informatica. De techniek wordt deep learning genoemd en beïnvloedt alles, van gezicht en stem tot mode en economie.
Maar een gebied dat nog niet heeft geprofiteerd, is de verwerking van natuurlijke taal: de mogelijkheid om een document te lezen en er vervolgens vragen over te beantwoorden. Dat komt deels omdat deep learning-machines eerst hun vak moeten leren uit enorme databases die voor dat doel zorgvuldig zijn geannoteerd. Deze bestaan echter eenvoudigweg niet in voldoende omvang om bruikbaar te zijn.
Vandaag verandert dat dankzij het werk van Karl Moritz Hermann bij Google DeepMind in Londen en een paar vrienden. Deze jongens zeggen dat ze op deze manier kunnen worden gebruikt door de speciale manier waarop de Daily Mail en CNN online nieuwsartikelen schrijven. En het enorme aantal artikelen dat online beschikbaar is, creëert voor de eerste keer een database die computers kunnen gebruiken om informatie te krijgen en er vervolgens over te antwoorden. Met andere woorden, DeepMind gebruikt artikelen van Daily Mail en CNN om computers te leren lezen.
De deep learning-revolutie is grotendeels tot stand gekomen door twee doorbraken. De eerste heeft betrekking op neurale netwerken, waar computerwetenschappers nieuwe technieken hebben ontwikkeld om netwerken met veel lagen te trainen, een taak die lastig was vanwege het aantal parameters dat moet worden verfijnd. De nieuwe technieken produceren in wezen kant-en-klare netten die klaar zijn om te leren.
Maar een neuraal netwerk heeft weinig zin zonder een database om van te leren. Zo'n database moet zorgvuldig worden geannoteerd, zodat de machine een gouden standaard heeft om van te leren. Voor gezichtsherkenning moet de trainingsdatabase bijvoorbeeld afbeeldingen bevatten waarin gezichten en hun posities in het frame duidelijk zijn geïdentificeerd. En om ervoor te zorgen dat de afbeeldingen zoveel mogelijk gezichtsarrangementen dekken, moeten de databases enorm zijn.
Dat is sinds kort mogelijk dankzij crowdsourcingdiensten zoals Mechanical Turk van Amazon. Verschillende teams hebben dit soort gouden standaarddatabase gemaakt door mensen foto's te laten zien en hen te vragen begrenzingskaders te tekenen rond de gezichten die ze bevatten.
Maar het maken van een vergelijkbare geannoteerde database voor het geschreven woord is veel moeilijker. Natuurlijk is het mogelijk om zinnen te extraheren die belangrijke punten bevatten. Maar dit helpt niet veel, want elk machine-algoritme leert snel door de tekst te jagen naar dezelfde zin, een triviale taak voor een computer.
In plaats daarvan moet de annotatie de inhoud van de tekst beschrijven, maar mag deze niet erin verschijnen. Om het verband te begrijpen, moet een leeralgoritme verder kijken dan alleen het voorkomen van woorden en zinsdelen, maar ook naar hun grammaticale verbanden en causale verbanden.
Het maken van zo'n database is makkelijker gezegd dan gedaan. Computerwetenschappers hebben met de hand kleine versies gemaakt, maar deze zijn te klein om van groot nut te zijn voor een neuraal netwerk. En er lijkt weinig mogelijkheid om grotere met de hand te maken, omdat mensen over het algemeen slecht zijn in het nauwkeurig annoteren van tekst, tenzij ze gespecialiseerde redacteuren zijn.
Ga naar de Daily Mail-website, MailOnline en CNN online. Deze sites tonen nieuwsberichten met de belangrijkste punten van het verhaal weergegeven als opsommingstekens die onafhankelijk van de tekst zijn geschreven. Van cruciaal belang is dat deze samenvattingspunten abstract zijn en niet zomaar zinnen uit de documenten overnemen, zeggen Hermann en co.
Dat suggereert meteen een manier om een geannoteerde database te maken: neem de nieuwsartikelen als de teksten en de bulletpoint-samenvattingen als de annotatie.
Het DeepMind-team gaat echter verder. Ze wijzen erop dat het nog steeds mogelijk is om het antwoord op veel vragen uit te werken met behulp van eenvoudige woordzoekmethoden.
Ze geven het volgende voorbeeld van een type probleem dat bekend staat als een Cloze-query en dat vaak wordt gebruikt om machine learning-algoritmen op te lossen. Hier is het doel om X te identificeren in deze gewijzigde koppen van de Daily Mail: a) De hi-tech bh die je helpt om borst X te verslaan; b) Zou sacharine kunnen helpen om X te verslaan?; c) Kan visolie helpen bij het bestrijden van prostaat X?
Hermann en co wijzen erop dat een eenvoudig type dataminingalgoritme, een ngram-zoekopdracht genaamd, gemakkelijk het antwoord kan vinden door te zoeken naar woorden die het vaakst naast al deze zinnen voorkomen. Het antwoord is natuurlijk het woord kanker.
Om dit soort oplossingen te verijdelen, anonimiseren Hermann en co de dataset door de actoren in zinnen te vervangen door een generieke beschrijving. Een voorbeeld van een originele tekst uit de Daily Mail is dit: De BBC-producent die naar verluidt door Jeremy Clarkson is geslagen, zal geen aanklacht indienen tegen de Top Gear-presentator, zei zijn advocaat vrijdag. Clarkson, die een van de meest bekeken televisieprogramma's ter wereld presenteerde, werd woensdag door de BBC gedropt nadat uit een intern onderzoek van de Britse omroep bleek dat hij producer Oisin Tymon had onderworpen aan een niet-uitgelokte fysieke en verbale aanval.
Een geanonimiseerde versie van deze tekst zou de volgende zijn:
De ent381 producent naar verluidt getroffen door ent212 zal geen aanklacht indienen tegen de ent153 gastheer, zei zijn advocaat vrijdag. ent212 , die een van de meest bekeken televisieprogramma's ter wereld presenteerde, werd gedropt door de ent381 woensdag na een intern onderzoek door de ent180 omroep ontdekte dat hij producer had onderworpen ent193 tot een niet-uitgelokte fysieke en verbale aanval.
Op deze manier is het mogelijk om de volgende query van het Cloze-type te converteren om X te identificeren van Producent X zal geen aanklacht indienen tegen Jeremy Clarkson, zegt zijn advocaat naar Producent X zal geen aanklacht indienen tegen ent212 , zegt zijn advocaat .
En het vereiste antwoord verandert van Oisin Tymon in ent212 .
Op die manier kan de geanonimiseerde acteur zich alleen identificeren met enig begrip van de grammaticale verbanden en causale relaties tussen de entiteiten in het verhaal.
De resulterende database is enorm, bestaande uit 110.000 artikelen van CNN en 218.000 artikelen van de Daily Mail-website.
Hermann en co hebben dit soort database voor de eerste keer gemaakt en kunnen het niet laten om deze te gebruiken om verschillende machine learning-technieken uit te proberen. Ze vergelijken conventionele natuurlijke taalverwerkingstechnieken, zoals het meten van de afstand tussen woordcombinaties, en modernere neurale netwerkbenaderingen.
De resultaten laten duidelijk zien hoe krachtig neurale netwerken zijn geworden. Hermann en co zeggen dat de beste neurale netwerken 60 procent van de vragen kunnen beantwoorden. Ze suggereren dat deze machines alle vragen kunnen beantwoorden die op een eenvoudige manier zijn gestructureerd en alleen worstelen met vragen met complexere grammaticale structuren.
Er zijn natuurlijk enkele kanttekeningen. Het meest voor de hand liggend is dat artikelen uit de Daily Mail en CNN een heel specifieke onderliggende structuur hebben die verschilt van andere niet-journalistieke schrijfwijzen. Hoe deze onderliggende structuur de resultaten beïnvloedt, is niet duidelijk.
Het is ook niet duidelijk hoe deze machines zich verhouden tot menselijke capaciteiten, iets dat eenvoudig te achterhalen zou zijn met services zoals Mechanical Turk. Dat zou de bewering van DeepMind, geïmpliceerd in de titel van zijn paper, in de juiste context plaatsen dat deze machines leren begrijpen wat ze lezen.
Desalniettemin is dit interessant werk dat het toneel vormt voor enkele fascinerende ontwikkelingen in de nabije toekomst. Machinelezing komt eraan; de enige vraag is hoe snel.
Referentie: arxiv.org/abs/1506.03340 : Machines leren lezen en begrijpen