211service.com
Een algoritme vat lange tekst verrassend goed samen
Dhr. technisch
Wie heeft er tijd om elk artikel te lezen dat ze zien gedeeld op Twitter of Facebook, of elk document dat relevant is voor hun werk? Naarmate de overdaad aan informatie steeds erger wordt, kunnen computers onze enige hoop worden voor het verwerken van een groeiende stortvloed aan documenten. En het kan routine worden om op een machine te vertrouwen om artikelen, onderzoekspapers en andere tekst voor u te analyseren en parafraseren.
Een algoritme ontwikkeld door onderzoekers van Salesforce laat zien hoe computers uiteindelijk de taak op zich kunnen nemen om documenten samen te vatten. Het maakt gebruik van verschillende machine learning-trucs om verrassend coherente en nauwkeurige tekstfragmenten uit langere stukken te produceren. En hoewel het nog niet zo goed is als een persoon, suggereert het hoe condenserende tekst uiteindelijk geautomatiseerd zou kunnen worden.
Het algoritme produceerde bijvoorbeeld de volgende samenvatting van een recente New York Times artikel over Facebook dat nepnieuws probeert te bestrijden voorafgaand aan de komende verkiezingen in het VK:
- Het sociale netwerk publiceerde maandag een reeks advertenties in kranten in Groot-Brittannië.
- Het heeft tienduizenden nepaccounts in Groot-Brittannië verwijderd.
- Het zei ook dat het 3.000 extra moderators zou inhuren, bijna een verdubbeling van het aantal mensen wereldwijd dat scant op ongepaste of aanstootgevende inhoud.
Het Salesforce-algoritme is aanzienlijk beter dan alles wat eerder is ontwikkeld, volgens een veelgebruikte softwaretool voor het meten van de nauwkeurigheid van tekstsamenvattingen.
Ik denk niet dat ik ooit zo'n grote verbetering heb gezien in een taak [natuurlijke taalverwerking], zegt Richard Socher , hoofdwetenschapper bij Salesforce. Socher is een prominente naam in machine learning en natuurlijke taalverwerking, en zijn startup, MetaMind , werd in 2016 overgenomen door Salesforce.
De software is nog ver verwijderd van het vermogen van een mens om de essentie van documenttekst vast te leggen, en andere samenvattingen die het produceert zijn slordiger en minder coherent. Om een tekst perfect samen te vatten, zou echte intelligentie nodig zijn, met inbegrip van gezond verstand en een beheersing van de taal.
Het ontleden van taal blijft een van de grote uitdagingen van kunstmatige intelligentie (zie AI's taalprobleem). Maar het is een uitdaging met een enorm commercieel potentieel. Zelfs een beperkte linguïstische intelligentie - het vermogen om gesproken of geschreven vragen te ontleden en op meer geavanceerde en coherente manieren te reageren - zou personal computing kunnen transformeren. Op veel specialistische gebieden, zoals geneeskunde, wetenschappelijk onderzoek en recht, kan het condenseren van informatie en het verkrijgen van inzichten enorme commerciële voordelen hebben.
Caiming Xiong, een onderzoekswetenschapper bij Salesforce die aan het werk heeft bijgedragen, zegt dat het algoritme van zijn team, hoewel onvolmaakt, dagelijkse nieuwsartikelen kan samenvatten of een samenvatting van e-mails van klanten kan geven. Dat laatste zou vooral handig kunnen zijn voor het eigen platform van Salesforce.
Het algoritme van het team gebruikt een combinatie van benaderingen om de verbetering te bereiken. Het systeem leert van voorbeelden van goede samenvattingen, een benadering die gesuperviseerd leren wordt genoemd, maar gebruikt ook een soort kunstmatige aandacht voor de tekst die het opneemt en uitvoert. Dit helpt ervoor te zorgen dat het niet te veel repetitieve tekststrengen produceert, een veelvoorkomend probleem bij samenvattende algoritmen.
Het systeem experimenteert om zijn eigen samenvattingen te genereren met behulp van een proces dat versterkingsleren wordt genoemd. Geïnspireerd door de manier waarop dieren lijken te leren, gaat het hierbij om het geven van positieve feedback voor acties die leiden tot een bepaald doel. Reinforcement learning is gebruikt om computers te trainen om indrukwekkende nieuwe dingen te doen, zoals het spelen van complexe games of het besturen van robots (zie 10 Breakthrough Technologies 2017: Reinforcement Learning). Degenen die aan conversatie-interfaces werken, kijken nu steeds meer naar versterkingsleren als een manier om hun systemen te verbeteren.
Kristian Hammond , een professor aan de Northwestern University, en de oprichter van Narratieve wetenschap , een bedrijf dat verhalende rapporten genereert op basis van onbewerkte gegevens, zegt dat het Salesforce-onderzoek een goede vooruitgang is, maar het toont ook de grenzen aan van puur vertrouwen op statistische machine learning. Op een gegeven moment moeten we toegeven dat we een beetje semantiek en een beetje syntactische kennis in deze systemen nodig hebben om ze vloeiend en vloeiend te laten zijn, zegt Hammond.
Hammond zegt dat het gebruik van een aandachtsmechanisme op een heel eenvoudig niveau de manier nabootst waarop iemand aandacht schenkt aan wat hij zojuist heeft gezegd. Als je iets zegt, worden de details van hoe je het zegt bepaald door de context van wat je eerder hebt gezegd, zegt hij. Dit werk is een stap in die richting.
Het verbeteren van de taalvaardigheid van computers kan ook belangrijk zijn in de zoektocht naar het bevorderen van kunstmatige intelligentie. Een startup genaamd Maluuba , dat eerder dit jaar door Microsoft werd overgenomen, produceerde onlangs een systeem dat relevante vragen uit tekst kan genereren. Het Maluuba-team gebruikte ook een combinatie van begeleid leren en versterkend leren.
Adam Trischler, senior onderzoekswetenschapper bij Maluuba, zegt dat het stellen van relevante vragen een belangrijk onderdeel van leren is, dus het is belangrijk om ook nieuwsgierige machines te maken. Het uiteindelijke doel is om vraag-en-antwoorden te gebruiken in een dialoog, zegt Trischler. Wat als een machine erop uit zou kunnen gaan om informatie te verzamelen en vervolgens zijn eigen vragen te stellen?