211service.com
Yahoo heeft een tool die online misbruik verrassend goed kan opvangen
Trollen lijken in elke hoek van het internet op de loer te liggen, en ze vinden het heerlijk om je dag te verpesten. Maar als onze e-mailinbox relatief spamvrij kan worden gehouden, waarom kunnen machines dan niet automatisch beledigende berichten verwijderen uit tweets of opmerkingen?
Het is een vraag die relevant lijkt voor het weefsel van de internetcultuur van vandaag. Vorige week, Twitter verboden een journalist die hij beschuldigde van het orkestreren van een campagne van misbruik gericht op een van de sterren van de all-female Ghostbusters opnieuw opstarten. Twitter zei dat het nieuwe richtlijnen en tools zou introduceren voor het melden van misbruik via zijn service. Zeker, talloze andere incidenten op Twitter en elders blijven elke dag onopgemerkt.
Onderzoekers boeken in feite enige vooruitgang in de richting van technologie die kan helpen het misbruik te stoppen. Een team bij Yahoo heeft onlangs ontwikkeld een algoritme in staat om beledigende berichten beter op te vangen dan enig ander geautomatiseerd systeem tot nu toe. De onderzoekers creëerden een dataset van misbruik door berichten op Yahoo-artikelen te verzamelen die door de eigen commentaarredacteuren van het bedrijf als aanstootgevend werden gemarkeerd.
Het Yahoo-team gebruikte een aantal conventionele technieken, waaronder het zoeken naar beledigende trefwoorden, interpunctie die vaak gepaard leek te gaan met beledigende berichten, en syntactische aanwijzingen voor de betekenis van een zin.
Maar de onderzoekers pasten ook een meer geavanceerde benadering toe op geautomatiseerd taalbegrip, waarbij ze een manier gebruikten om de betekenis van woorden weer te geven als vectoren met vele dimensies. Met deze aanpak, die bekend staat als woordinbedding, kan semantiek op een geavanceerde manier worden verwerkt. Zelfs als een opmerking bijvoorbeeld een reeks woorden bevat die niet als beledigend zijn geïdentificeerd, kunnen de representaties van die reeks in de vectorruimte voldoende zijn om deze als zodanig te identificeren.
Toen alles werd gecombineerd, kon het team beledigende berichten (uit zijn eigen dataset) met een nauwkeurigheid van ongeveer 90 procent identificeren.
Het kan lastig zijn om de resterende 10 procent te vangen. Hoewel AI-onderzoekers aanzienlijke vooruitgang boeken bij het trainen van machines om taal te ontleden, moet kunstmatige intelligentie computers nog uitrusten met de denkkracht die nodig is om betekenis te ontrafelen. Zoals blijkt uit een wedstrijd die tijdens een recente AI-conferentie is gehouden, kunnen computers de meest eenvoudige dubbelzinnigheden in zinnen niet ontwarren.
Veel technologiebedrijven, waaronder Twitter, hebben AI-onderzoekers die zich toeleggen op het verbeteren van de stand van de techniek op gebieden zoals beeldherkenning en tekstbegrip. Maar tot nu toe lijkt er verrassend weinig moeite te zijn gedaan om misbruik of intimidatie systematisch op te sporen. Twitter weigerde te zeggen of het AI-team actief aan het probleem werkt (hoewel het waarschijnlijk lijkt). Maar het is onwaarschijnlijk dat het bedrijf een wondermiddel zal introduceren om kwaadaardige berichten uit te filteren. Het probleem met geautomatiseerde haatfiltering is dat woorden vol zitten met betekenis die alleen met echte intelligentie kan worden uitgepakt.
Het automatisch identificeren van misbruik is verrassend moeilijk, zegt Alex Krasodomski-Jones, die online misbruik opspoort als onderzoeker bij de in het VK gevestigde Centrum voor analyse van sociale media . De taal van misbruik is amorf - verandert vaak en wordt vaak gebruikt op manieren die niet duiden op misbruik, zoals wanneer raciaal of seksueel geladen termen worden toegeëigend door de groepen die ze ooit hebben gedenigreerd. Op basis van 10 tweets zal een groep mensen het zelden eens zijn over welke als beledigend moeten worden aangemerkt, dus je kunt je voorstellen hoe moeilijk het zou zijn voor een computer.
Totdat machines echte intelligentie krijgen, is het onmogelijk om haatdragende berichten eruit te filteren. Maar Krasodomski-Jones biedt nog een andere, meer menselijke reden waarom we misschien geen geautomatiseerde oplossing willen: in een wereld waarin wat we lezen steeds meer wordt bepaald door algoritmen en filters, moeten we oppassen dat we niet meer computerinterferentie eisen.