211service.com
Wetenschap in een notendop
Een conceptuele afbeelding van een computer, papieren en AI Minji Maan
Een team van wetenschappers van het MIT en elders heeft een neuraal netwerk ontwikkeld dat wetenschappelijke artikelen kan lezen en een korte, eenvoudige samenvatting in het Engels kan maken. Een dergelijk systeem zou redacteuren, schrijvers en wetenschappers kunnen helpen bij het scannen van een groot aantal artikelen om een voorlopig idee te krijgen van waar ze over gaan. En de aanpak zou ook kunnen worden gebruikt bij machinevertaling en spraakherkenning.
Natuurkundeprofessor Marin Soljačić, afstudeerstudenten Rumen Dangovski en Li Jing en collega's hadden neurale netwerken ontwikkeld om netelige problemen in de natuurkunde aan te pakken toen ze zich realiseerden dat ze een deel van hun natuurkundige kennis konden toepassen om bepaalde AI-algoritmen te verbeteren.
Neurale netwerken bootsen een manier na waarop mensen leren: de computer onderzoekt veel verschillende voorbeelden en identificeert de belangrijkste onderliggende patronen. Hoewel ze veel worden gebruikt voor patroonherkenning, hebben dergelijke systemen vaak moeite om informatie uit een lange reeks gegevens, zoals een onderzoekspaper, te correleren. Andere technieken die worden gebruikt om dit vermogen te verbeteren, waaronder een die lange-kortetermijngeheugen (LSTM) wordt genoemd, kunnen niet overweg met verwerkingstaken in natuurlijke taal die echt langetermijngeheugen vereisen.
Terwijl neurale netwerken doorgaans gebaseerd zijn op de vermenigvuldiging van matrices, ontwikkelde het team van Soljačić er een op basis van vectoren die in een multidimensionale ruimte roteren. Het maakt gebruik van wat ze een roterende geheugeneenheid (RUM) noemen, die ze bedachten om te helpen bij bepaalde moeilijke natuurkundige problemen, zoals het gedrag van licht in complexe technische materialen. Vervolgens hebben ze het aangepast aan natuurlijke taalverwerking om te helpen bij het onthouden en terugroepen.
In wezen wordt elk woord in de tekst weergegeven door een vector. Elk volgend woord zwaait deze vector in een bepaalde richting, weergegeven in een theoretische ruimte die uiteindelijk duizenden dimensies kan hebben. Aan het einde van het proces wordt de uiteindelijke vector of set vectoren terug vertaald in de bijbehorende reeks woorden.
Toen het team hetzelfde persbericht over een onderzoekspaper doorstuurde via een conventioneel LSTM-gebaseerd neuraal netwerk en via het RUM-gebaseerde systeem, leverde het LSTM-systeem deze repetitieve en redelijk technische samenvatting op: Baylisascariasis, doodt muizen, heeft de allegheny woodrat in gevaar gebracht en heeft ziekten zoals blindheid of ernstige gevolgen veroorzaakt. Deze infectie, baylisascariasis genoemd, doodt muizen, heeft de allegheny-houtrat in gevaar gebracht en heeft ziekten zoals blindheid of ernstige gevolgen veroorzaakt. Deze infectie, baylisascariasis genaamd, doodt muizen en heeft de allegheny-houtrat in gevaar gebracht.
Het RUM-systeem leverde een veel beter leesbare samenvatting op: Stedelijke wasberen kunnen mensen meer infecteren dan eerder werd aangenomen. 7 procent van de ondervraagde personen testte positief op antistoffen tegen wasbeerrondwormen. Meer dan 90 procent van de wasberen in Santa Barbara is gastheer voor deze parasiet.
De onderzoekers hebben het systeem sindsdien uitgebreid, zodat het volledige artikelen kan samenvatten, niet alleen persberichten.