Een AI helpt u het laatste in AI samen te vatten

mevrouw Tech | howadesign/zelfstandig naamwoord Project

Het nieuws: Een nieuw AI-model voor het samenvatten van wetenschappelijke literatuur kunnen onderzoekers nu helpen bij het doorbladeren en identificeren van de nieuwste geavanceerde artikelen die ze willen lezen. Op 16 november rolde het Allen Institute for Artificial Intelligence (AI2) het model uit op zijn vlaggenschipproduct, Semantisch geleerde , een door AI aangedreven zoekmachine voor wetenschappelijk papier. Het biedt een samenvatting van één zin tl;dr (te lang; niet gelezen) onder elk computerwetenschappelijk artikel (voorlopig) wanneer gebruikers de zoekfunctie gebruiken of naar een auteurspagina gaan. Het werk werd deze week ook geaccepteerd op de Empirical Methods for Natural Language Processing-conferentie.

Een screenshot van de tl;dr-functie in Semantic Scholar.

AI2

De context: In een tijdperk van informatie-overload is het gebruik van AI om tekst samen te vatten een populair probleem met natuurlijke taalverwerking (NLP). Er zijn twee algemene benaderingen van deze taak. De ene wordt extractief genoemd, waarbij wordt geprobeerd een zin of reeks zinnen uit de tekst woordelijk te vinden die de essentie ervan weergeeft. De andere heet abstractief, waarbij nieuwe zinnen worden gegenereerd. Hoewel extractieve technieken vroeger populairder waren vanwege de beperkingen van NLP-systemen, hebben de ontwikkelingen in het genereren van natuurlijke taal de afgelopen jaren de abstracte techniek een stuk beter gemaakt.

Hoe ze het deden: Het abstracte model van AI2 maakt gebruik van wat bekend staat als een transformator - een soort neurale netwerkarchitectuur die voor het eerst werd uitgevonden in 2017 en die sindsdien heeft gezorgd voor alle grote sprongen in NLP, waaronder OpenAI's GPT-3 . De onderzoekers trainden de transformator eerst op een generiek tekstcorpus om de basiskennis van de Engelse taal vast te stellen. Dit proces staat bekend als pre-training en maakt deel uit van wat transformatoren zo krachtig maakt. Vervolgens hebben ze het model verfijnd - met andere woorden, het verder getraind - op de specifieke taak van samenvatten.

De fijnafstemmingsgegevens: De onderzoekers creëerden eerst een dataset genaamd SciTldr, die ongeveer 5.400 paren wetenschappelijke artikelen en bijbehorende samenvattingen van één zin bevat. Om deze hoogwaardige samenvattingen te vinden, gingen ze er eerst naar op zoek op OpenReview, een openbaar inzendingsplatform voor conferentiepapers waar onderzoekers vaak hun eigen synopsis van één zin van hun paper posten. Dit leverde een paar duizend paren op. De onderzoekers huurden vervolgens annotators in om meer artikelen samen te vatten door de synopses die al door peer reviewers waren geschreven, te lezen en verder te condenseren.

Om deze 5.400 paren nog verder aan te vullen, stelden de onderzoekers een tweede dataset samen van 20.000 paren wetenschappelijke artikelen en hun titels. De onderzoekers hadden het gevoel dat, omdat titels zelf een vorm van samenvatting zijn, ze het model verder zouden helpen de resultaten te verbeteren. Dit werd bevestigd door middel van experimenten.

De tl;dr-functie is vooral handig voor het skimmen van papieren op mobiel.

AI2

Extreme samenvatting: Hoewel veel andere onderzoeksinspanningen de taak van samenvatting hebben aangepakt, valt deze op door het niveau van compressie dat het kan bereiken. De wetenschappelijke artikelen in de SciTldr-dataset bevatten gemiddeld 5.000 woorden. Hun samenvattingen van één zin zijn gemiddeld 21. Dit betekent dat elk papier gemiddeld tot 238 keer zo groot is gecomprimeerd. De op één na beste abstracte methode is getraind om wetenschappelijke artikelen gemiddeld slechts 36,5 keer te comprimeren. Tijdens het testen beoordeelden menselijke recensenten ook de samenvattingen van het model als informatiever en nauwkeuriger dan eerdere methoden.

Volgende stappen: Er zijn al een aantal manieren waarop AI2 nu werkt om hun model op korte termijn te verbeteren, zegt Daniel Weld, hoogleraar aan de University of Washington en manager van de onderzoeksgroep Semantic Scholar. Ten eerste zijn ze van plan het model te trainen om meer te verwerken dan alleen computerwetenschappelijke papers. Voor een ander hebben ze, misschien gedeeltelijk vanwege het trainingsproces, ontdekt dat de tl;dr-samenvattingen soms te veel overlappen met de papieren titel, waardoor hun algehele bruikbaarheid afneemt. Ze zijn van plan het trainingsproces van het model bij te werken om dergelijke overlap te bestraffen, zodat het leert om herhaling in de loop van de tijd te voorkomen.

Op de lange termijn zal het team ook werken aan het samenvatten van meerdere documenten tegelijk, wat handig kan zijn voor onderzoekers die een nieuw veld betreden of misschien zelfs voor beleidsmakers die snel op de hoogte willen zijn. Waar we heel enthousiast over zijn, is het maken van gepersonaliseerde onderzoeksbriefings, zegt Weld, waarin we niet slechts één paper kunnen samenvatten, maar een reeks van zes recente ontwikkelingen op een bepaald deelgebied.

zich verstoppen