211service.com
Zelfs de beste AI voor het spotten van nepnieuws is nog steeds verschrikkelijk
Illustratie van een verwarde robot die een krant vasthoudt mevrouw Tech
Toen Facebook-topman Mark Zuckerberg het Congres beloofde dat AI zou helpen het probleem van nepnieuws op te lossen, onthulde hij weinig hoe . Nieuw onderzoek brengt ons een stap dichter bij het uitzoeken dat.
In een uitgebreide studie die later deze maand op een conferentie zal worden gepresenteerd, hebben onderzoekers van MIT, Qatar Computing Research Institute (QCRI) en de Universiteit van Sofia in Bulgarije meer dan 900 mogelijke variabelen getest voor het voorspellen van de betrouwbaarheid van een media-outlet - waarschijnlijk de grootste set ooit voorgesteld .
De onderzoekers trainden vervolgens een machine learning-model op verschillende combinaties van de variabelen om te zien welke de meest nauwkeurige resultaten zouden opleveren. Het beste model labelde nieuwsuitzendingen in slechts 65% van de gevallen nauwkeurig met een lage, gemiddelde of hoge feitelijkheid.
Dit is verre van een doorslaand succes. Maar de experimenten onthullen belangrijke dingen over wat er nodig is om onze fact-checking uit te besteden aan een machine. Preslav Nakov, een senior wetenschapper bij QCRI en een van de onderzoekers van het onderzoek, zegt dat hij optimistisch is dat bronnen van nepnieuws automatisch op deze manier kunnen worden opgemerkt.
Maar dat betekent niet dat het gemakkelijk zal zijn.
Methode tot waanzin
In de explosie van onderzoek naar de detectie van nepnieuws sinds de Amerikaanse presidentiële campagne van 2016, zijn er vier hoofdbenaderingen naar voren gekomen: het controleren van individuele claims, het detecteren van nepartikelen, het opsporen van trollen en het meten van de betrouwbaarheid van nieuwsbronnen. Nakov en de rest van het team kozen ervoor om zich op de vierde te concentreren omdat deze het dichtst in de buurt komt van de oorsprong van verkeerde informatie. Het is ook het minst onderzocht.
Eerdere studies probeerden de betrouwbaarheid van een nieuwsbron te karakteriseren aan de hand van hoeveel van zijn beweringen overeenkwamen met of in strijd waren met beweringen die al op feiten waren gecontroleerd. Met andere woorden, een machine zou de geschiedenis van feitelijke beweringen van een nieuwsuitzending vergelijken met de conclusies van sites als Snopes of PolitiFact. Het mechanisme is echter gebaseerd op menselijke feitencontrole en evalueert de geschiedenis van de uitlaatklep, niet het onmiddellijke heden. Tegen de tijd dat de laatste claims handmatig op feiten zijn gecontroleerd, is het al te laat, zegt Nakov.
Om een nepnieuwsbron in bijna realtime te herkennen, hebben Nakov en zijn medewerkers hun systeem getraind met behulp van variabelen die onafhankelijk van menselijke fact-checkers konden worden getabelleerd. Deze omvatten analyses van de inhoud, zoals de zinsbouw van koppen en de woorddiversiteit in artikelen; algemene site-indicatoren, zoals de URL-structuur en websiteverkeer; en metingen van de invloed van het verkooppunt, zoals de betrokkenheid op sociale media en de eventuele Wikipedia-pagina.
Om de variabelen te selecteren, vertrouwden de onderzoekers zowel op eerder onderzoek - eerdere studies hebben aangetoond dat nepnieuwsartikelen bijvoorbeeld vaak repetitieve woordkeuzes hebben - als op nieuwe hypothesen.
Door verschillende combinaties van variabelen te testen, konden de onderzoekers de beste voorspellers voor de betrouwbaarheid van een nieuwsbron identificeren. Of een outlet bijvoorbeeld een Wikipedia-pagina had, had een buitensporige voorspellende kracht; het verkeer van de outlet had er daarentegen geen. De oefening hielp de onderzoekers bij het bepalen van aanvullende variabelen die ze in de toekomst zouden kunnen onderzoeken.
Gegevens uitgehongerd
Maar er is nog een ander obstakel: een tekort aan trainingsgegevens - wat Nakov de grondwaarheid noemt.
Voor de meeste machine learning-taken is het eenvoudig genoeg om de trainingsgegevens te annoteren. Als je een systeem wilt bouwen dat artikelen over sport detecteert, kun je artikelen eenvoudig labelen als gerelateerd of niet-gerelateerd aan dat onderwerp. Vervolgens voer je de dataset in een machine, zodat deze de kenmerken van een sportartikel kan leren.
Maar het labelen van media met een hoge of lage feitelijkheid ligt veel gevoeliger. Het moet worden gedaan door professionele journalisten die rigoureuze methoden volgen, en het is een tijdrovend proces. Als gevolg hiervan is het een uitdaging om een solide corpus van trainingsgegevens op te bouwen, wat deels de reden is waarom de nauwkeurigheid van het onderzoeksmodel zo laag is. De meest voor de hand liggende manier om de nauwkeurigheid te vergroten, is door meer trainingsgegevens te verzamelen, zegt Nakov
Op dit moment heeft Media Bias Fact Check, de organisatie die is gekozen om de grondwaarheid voor het onderzoek te leveren, 2500 mediabronnen geëvalueerd - een schaarste in termen van machine learning. Maar Nakov zegt dat de database van de organisatie snel groeit. Naast het verkrijgen van meer trainingsgegevens, willen de onderzoekers ook de prestaties van hun model verbeteren met meer variabelen, waarvan sommige de structuur van de website beschrijven, of deze contactgegevens heeft en de patronen voor het publiceren en verwijderen van inhoud.
Ze bevinden zich ook in de beginfase van het bouwen van een nieuwsaggregatieplatform dat lezers belangrijke aanwijzingen geeft voor de betrouwbaarheid van elk gedeeld verhaal en bron.
Ondanks het werk dat nog gedaan moet worden, denkt Nakov dat dergelijke technologie kan helpen de nepnieuwsepidemie relatief snel op te lossen als platforms zoals Facebook en Twitter serieus de moeite nemen. Het is als het bestrijden van spam, schreef hij in een Skype-bericht. We zullen nepnieuws nooit helemaal stoppen, maar we kunnen het wel onder controle krijgen.