211service.com
Een AI voor het genereren van nepnieuws kan ook helpen dit te detecteren
Hendrik Strobelt en Sebastian Gehrmann
Vorige maand hield OpenAI de release van zijn nieuwste taalmodel, GPT-2, nogal dramatisch tegen, omdat het vreesde dat het zou kunnen worden gebruikt om de massaproductie van verkeerde informatie te automatiseren. De beslissing versnelde ook de voortdurende discussie van de AI-gemeenschap over hoe dit soort nepnieuws te detecteren. in een nieuwe experiment , hebben onderzoekers van het MIT-IBM Watson AI Lab en HarvardNLP overwogen of dezelfde taalmodellen die dergelijk overtuigend proza kunnen schrijven, ook andere door modellen gegenereerde passages kunnen herkennen.
Het idee achter deze hypothese is eenvoudig: taalmodellen produceren zinnen door het volgende woord in een tekstreeks te voorspellen. Dus als ze de meeste woorden in een bepaalde passage gemakkelijk kunnen voorspellen, is het waarschijnlijk dat het door een van hen is geschreven.
De onderzoekers testten hun idee door een interactieve tool gebaseerd op de openbaar toegankelijke gedowngradede versie van OpenAI's GPT-2. Wanneer u de tool een passage met tekst invoert, worden de woorden in groen, geel of rood gemarkeerd om aan te geven dat ze minder voorspelbaar zijn; het markeert ze in paars als het ze helemaal niet had voorspeld. In theorie, hoe hoger de fractie rode en paarse woorden, hoe groter de kans dat de passage door een mens is geschreven; hoe groter het aandeel groene en gele woorden, hoe groter de kans dat het door een taalmodel is geschreven.
Een passage voor begrijpend lezen van een Amerikaanse gestandaardiseerde test, geschreven door een mens. Hendrik Strobelt en Sebastian Gehrmann
Een passage geschreven door OpenAI's gedowngrade GPT-2. Hendrik Strobelt en Sebastian Gehrmann
De onderzoekers ontdekten inderdaad dat passages die waren geschreven door de gedegradeerde en volledige versies van GPT-2 bijna helemaal groen en geel uitkwamen, terwijl wetenschappelijke samenvattingen die door mensen waren geschreven en tekst van passages voor begrijpend lezen in Amerikaanse gestandaardiseerde tests veel rood en paars hadden.
Maar niet zo snel. Janelle Shane, een onderzoeker die de populaire blog beheert Neurale netwerken raar laten zijn en die niet betrokken was bij het eerste onderzoek, de tool op een meer strenge test . In plaats van het alleen tekst te geven die is gegenereerd door GPT-2, voerde ze het ook passages in die zijn geschreven door andere taalmodellen, waaronder een getraind op Amazon-recensies en een ander getraind op Dungeons and Dragons-biografieën. Ze ontdekte dat de tool een groot deel van de woorden in elk van deze passages niet voorspelde, en dus veronderstelde ze dat ze door mensen waren geschreven. Dit identificeert een belangrijk inzicht: een taalmodel kan goed zijn eigen output detecteren, maar niet noodzakelijk de output van anderen.
Dit verhaal verscheen oorspronkelijk in onze AI-nieuwsbrief The Algorithm. Om het direct in je inbox te krijgen, kun je je hier gratis aanmelden.