Software die Harry Potter leest, kan wat tovenarij uitvoeren

Een computer Go leren spelen op een bovenmenselijk niveau is cool, maar niet bijzonder nuttig voor jou of mij. Maar wat als een computer enkele tientallen pagina's tekst zou kunnen lezen, zoals de handleiding voor een nieuwe magnetron, en vervolgens vragen zou kunnen beantwoorden over hoe het werkt? Schrijf me in.

Tekst lezen en begrijpen is ongelooflijk moeilijk voor computers, maar een Canadees bedrijf genaamd Maluuba heeft vooruitgang geboekt met een algoritme dat tekst kan lezen en vragen hierover kan beantwoorden met een indrukwekkende nauwkeurigheid. Het belangrijkste is dat het, in tegenstelling tot andere benaderingen, werkt met slechts kleine hoeveelheden tekst. Het kan computers uiteindelijk helpen om documenten te begrijpen.

Onderzoekers uit Maluuba plaatsten een papier waarin ze hun laatste vorderingen van vorige week beschrijven. Het beschrijft een algoritme dat in staat is enkele honderden kinderverhalen te lezen, gecombineerd met vragen en antwoorden over elke tekst. Na training kon het algoritme meerkeuzevragen over een onbekende tekst correct beantwoorden met een nauwkeurigheid van meer dan 70 procent. De onderzoekers testten het algoritme ook op de tekst van Harry Potter en de steen der wijzen en ontdekte dat het vragen over die tekst met dezelfde nauwkeurigheid kon beantwoorden.

Naast academische vooruitgang hoopt Maluuba uiteindelijk een systeem te creëren dat voor jou kan zorgen voor alledaagse lectuur. We zijn geïnteresseerd in use-cases zoals gebruikershandleidingen, patiëntendossiers of klantenservicedocumenten, zegt Mohamed Musbah, vice-president van product voor het bedrijf, dat is gevestigd in Waterloo, Canada. In die gebieden heb je echt geen overvloed aan gegevens.

Het team van Maluuba gebruikte een populaire neuraal-netwerkleerbenadering die bekend staat als deep learning om zijn systeem te trainen. Maar de onderzoekers hebben hun netwerk ontworpen om tekst op verschillende abstractieniveaus te bekijken - van woorden tot woordgroepen tot zinnen - en ze hebben het netwerk ook voorbereid om op deze manier goed te leren voordat ze gaan trainen. Meestal worden deep learning-netwerken willekeurig geconfigureerd vóór de training. Hierdoor kon het netwerk zeer snel leren en was het beantwoorden van vragen 15 procent beter dan eerder was bereikt met behulp van een diepgaande leerbenadering. Het was ook 2 procent beter dan de beste handgecodeerde oplossing.

Op het eerste gezicht is het een grote sprong, zegt Yoshua Bengio , een professor aan de Universiteit van Montreal en wetenschappelijk adviseur van Maluuba. Maar Bengio, die een van de weinige deep-learning-goeroes is die nu met bedrijven werkt aan commerciële AI-inspanningen, waarschuwt dat het even zal duren voordat experts het belang van de aanpak doorzien.

Het idee om machines te leren om effectief te lezen en te communiceren met behulp van taal, is zeker verleidelijk. Het zou krachtige nieuwe manieren kunnen openen om met computers te communiceren en informatie te ontginnen. Maar tekst begrijpen is een van de grootste uitdagingen in kunstmatige intelligentie; computers worden meestal overrompeld door het feit dat taal een diep begrip vereist van de manier waarop de echte wereld werkt.

Ondanks de uitdagingen proberen enkele van de grootste technologiebedrijven AI's te ontwikkelen die tekst kunnen begrijpen. Facebook verzamelt gespreksgegevens via een assistent-service genaamd M in een poging zijn algoritmen te trainen om op natuurlijke wijze te converseren (zie Machines aanleren om ons te begrijpen). Google DeepMind, een dochteronderneming van Alphabet die zich richt op AI-onderzoek, doet soortgelijk werk en traint deep-learningsystemen om samenvattingen van nieuwsartikelen te lezen (zie Google DeepMind leert kunstmatige-intelligentiemachines om te lezen).

Tot nu toe zijn er echter geen grote doorbraken geweest en het is onduidelijk hoe moeilijk het kan zijn om machines uit te rusten met geavanceerde vaardigheden voor begrijpend lezen. Onderzoekers boeken vooral vooruitgang door de belangrijkste technieken voor machine learning aan te passen en te verbeteren en door computers grote hoeveelheden geannoteerde tekst te geven.

Het soort machine learning dat door de Maluuba-onderzoekers wordt gebruikt, vereist normaal gesproken enorme stukken tekst om te leren. De hoeveelheid tekst die nodig is om deep learning te laten werken, wordt vaak gezien als een van de belangrijkste beperkende factoren (zie Can This Man Make AI More Human?). Een fundamentele uitdaging met taal is dat de woorden die worden gebruikt om verschillende concepten weer te geven willekeurig zijn, dus het is moeilijker om verbanden tussen beide te leggen dan voor afbeeldingen.

Maluuba, opgericht door verschillende afgestudeerden van de Universiteit van Waterloo in 2010, ontwikkelde eerder een intelligente persoonlijke assistent voor smartphones en heeft zijn onderzoek gericht op natuurlijke taalverwerking of machinebegrip.

Ik denk dat het zeker een stap vooruit is, zegt Richard Socher , medeoprichter van een AI-bedrijf genaamd MetaMind, dat ook werkt aan taalverwerking. Het is een zeer goed ontworpen systeem dat goed begrepen en gevestigde traditionele natuurlijke-taalverwerkingsfuncties combineert met ideeën van neurale netwerken.

Chris Dyer , een onderzoeker aan de Carnegie Mellon University die gespecialiseerd is in natuurlijke taalverwerking, is het ermee eens dat de resultaten van Maluuba indrukwekkend zijn, maar is van mening dat machines een echt begrip van de wereld moeten krijgen om goed te kunnen converseren, in tegenstelling tot het vermogen om statistische gegevens te tekenen. conclusies uit tekst. Dit betekent waarschijnlijk dat je verder gaat dan alleen leren van geannoteerde tekst.

Computers zijn te beperkt in hun perceptie en begrip van de wereld, zegt Dyer.

zich verstoppen