211service.com
Hoe het revolutionaire AI-systeem van Reuters wereldwijd nieuws verzamelt
De komst van internet en de daaropvolgende informatie-explosie hebben het voor journalisten steeds moeilijker gemaakt om nieuws accuraat en snel te produceren. Dus begint het onderzoeks- en ontwikkelingsteam van het wereldwijde persbureau Reuters deze week in een paper over de arXiv.
Voor Reuters is het probleem verscherpt door de opkomst van nepnieuws als een belangrijke factor bij het vervormen van de perceptie van gebeurtenissen.
Desalniettemin zijn persbureaus zoals de Associated Press verder gegaan met geautomatiseerde nieuwsschrijfdiensten. Deze rapporteren standaardaankondigingen zoals financieel nieuws en bepaalde sportresultaten door de gegevens in vooraf geschreven sjablonen te plakken: X rapporteerde een winst van Y miljoen in Q3, in resultaten die de voorspellingen van Wall Street overtroffen ...
Er is dus een aanzienlijke druk op andere persbureaus om de nieuwsproductie te automatiseren. En vandaag schetst Reuters hoe het de identificatie van breaking news-verhalen bijna volledig heeft geautomatiseerd. Xiaomo Liu en vrienden van Reuters Research and Development en Alibaba zeggen dat het nieuwe systeem goed presteert. Het heeft inderdaad het potentieel om een revolutie teweeg te brengen in de nieuwsbusiness. Maar het roept ook zorgen op over hoe een dergelijk systeem door kwaadwillende actoren zou kunnen worden bespeeld.
Het nieuwe systeem heet Reuters Tracer. Het gebruikt Twitter als een soort wereldwijde sensor die nieuwsgebeurtenissen registreert terwijl ze plaatsvinden. Het systeem gebruikt vervolgens verschillende soorten datamining en machine learning om de meest relevante gebeurtenissen te selecteren, hun onderwerp te bepalen, hun prioriteit te rangschikken en een kop en een samenvatting te schrijven. Het nieuws wordt vervolgens verspreid over de wereldwijde nieuwsdraad van het bedrijf.
De eerste stap in het proces is het overhevelen van de Twitter-gegevensstroom. Tracer onderzoekt ongeveer 12 miljoen tweets per dag, 2 procent van het totaal. De helft hiervan wordt willekeurig bemonsterd; de andere helft is afkomstig van een lijst met Twitter-accounts die is samengesteld door menselijke journalisten van Reuters. Ze omvatten de verslagen van andere nieuwsorganisaties, belangrijke bedrijven, invloedrijke personen, enzovoort.
De volgende fase is om te bepalen wanneer een nieuwsgebeurtenis heeft plaatsgevonden. Tracer doet dit door aan te nemen dat een gebeurtenis heeft plaatsgevonden als meerdere mensen er tegelijk over beginnen. Het gebruikt dus een clusteralgoritme om deze gesprekken te vinden.
Deze clusters omvatten natuurlijk spam, advertenties, gewone chat, enzovoort. Slechts enkele daarvan verwijzen naar nieuwswaardige gebeurtenissen.
De volgende fase is dus het classificeren en prioriteren van de gebeurtenissen. Tracer gebruikt hiervoor een aantal algoritmen. De eerste identificeert het onderwerp van het gesprek. Het vergelijkt dit vervolgens met een database met onderwerpen die het Reuters-team heeft verzameld uit tweets geproduceerd door 31 officiële nieuwsaccounts, zoals @CNN, @BBCBreaking en @nytimes, evenals nieuwsaggregators zoals @BreakingNews.
In dit stadium bepaalt het algoritme ook de locatie van het evenement met behulp van een database met steden en locatiegebaseerde trefwoorden.
Zodra een gesprek of gerucht mogelijk als nieuws wordt geïdentificeerd, is een belangrijke overweging de juistheid ervan. Om dit te bepalen, zoekt Tracer naar de bron door de vroegste tweet in het gesprek te identificeren waarin het onderwerp en eventuele sites waarnaar het verwijst, worden genoemd. Vervolgens raadpleegt het een database met bekende producenten van nepnieuws, zoals het National Report, of satirische nieuwssites zoals The Onion.
Ten slotte schrijft het systeem een kop en samenvatting en verspreidt het nieuws door de hele Reuters-organisatie.
Tijdens proeven, zegt het Reuters-team, heeft het systeem goed gepresteerd. Tracer is in staat om concurrerende precisie, terugroepactie, tijdigheid en waarheidsgetrouwheid te bereiken bij nieuwsdetectie en -levering, zeggen ze.
En ze hebben statistieken om dit te staven. Het systeem verwerkt elke dag 12 miljoen tweets en verwerpt bijna 80 procent ervan als ruis. De rest valt in ongeveer 6000 clusters die het systeem categoriseert als verschillende soorten nieuwsgebeurtenissen. Dat wordt allemaal gedaan door 13 servers met 10 verschillende algoritmen.
Ter vergelijking: bij Reuters werken zo'n 2500 journalisten over de hele wereld, die samen zo'n 3000 nieuwsberichten per dag genereren, gebruikmakend van verschillende bronnen, waaronder Twitter. Hiervan zijn er ongeveer 250 opgeschreven als nieuwsberichten.
Reuters vergeleek de verhalen die Tracer identificeert met die in de nieuwsfeeds van organisaties als de BBC en CNN. De resultaten geven aan dat Tracer ongeveer 70 procent van de nieuwsberichten kan dekken met 2 procent van de Twitter-gegevens, zeggen Lui en co.
En het systeem werkt zeker snel. Het team belicht het voorbeeld van de schietpartij in Las Vegas in oktober 2017, waarbij 58 mensen om het leven kwamen. Een getuige meldde het incident om 01.22 uur, waardoor een Tracer-cluster ontstond. Het cluster voldeed echter pas om 01:39 uur aan de systeemcriteria om een evenement in de nieuwsfeed op te nemen. Reuters meldde het incident om 01:49 uur, zeggen Lui en co.
Dat is interessant werk dat een aantal vragen oproept, vooral over hoe gemakkelijk het systeem te manipuleren is. Het is niet moeilijk voor te stellen dat kwaadwillende acteurs Twitter-feeds ontwerpen met de specifieke bedoeling Tracer voor de gek te houden.
Maar of dit systeem makkelijker te spelen zal zijn dan het huidige, waarin mensen regelmatig voor de gek worden gehouden, is moeilijk te zeggen.
Dan is er de rol van de mens in de nieuwsbusiness. De toekomst van nieuws is er duidelijk een van toenemende automatisering. Hoe mensen in elkaar passen, moet nog worden bepaald.
Referentie: arxiv.org/abs/1711.04068 : Reuters Tracer: Naar geautomatiseerde nieuwsproductie met behulp van grootschalige sociale-mediagegevens