211service.com
Hoe DARPA de Twitter Bot-dreiging aannam met één hand achter zijn rug
Een van de meest verontrustende fenomenen op Twitter is de verspreiding van bots die automatisch tweets genereren in een poging spam te verspreiden, illegaal geld te verdienen door middel van klikfraude en, het meest verontrustende, om de discussie over onderwerpen als terrorisme en politiek te beïnvloeden.
Het aantal Twitter-accounts dat bij dit soort activiteiten betrokken is, is niet klein. In 2014 gaf Twitter toe dat meer dan 8 procent van zijn accounts geautomatiseerd was - dat zijn zo'n 23 miljoen actieve Twitter-gebruikers.
Het bedrijf wees erop dat veel van deze volledig legitiem waren - veel van deze accounts plaatsen openlijk tweets van andere gebruikers of tonen deze. Desalniettemin is een aanzienlijk aantal duidelijk niet goed, en de invloedsbots zijn een bijzondere zorg.
Zo gebruikt de groep die zichzelf Islamitische Staat noemt online sociale media om jongeren over te halen hun zaak te omarmen. Sommige waarnemers denken dat Rusland een grote desinformatiecampagne op sociale media is begonnen tegen de annexatie van de Krim. Anderen zeggen dat bots een belangrijke rol hebben gespeeld bij het beïnvloeden van de uitslag van de verkiezingen in India in 2014.
Dus een manier om invloedsbots op Twitter betrouwbaar te spotten, zou enorm nuttig zijn. Vorig jaar ging de Defense Advanced Research Projects Agency (DARPA) op zoek naar een dergelijke methode door een competitie van vier weken uit te voeren waarin teams werden gevraagd om bots te spotten in een stroom berichten over het onderwerp vaccinaties. Eén team kwam als duidelijke winnaar naar voren en de resultaten toonden een aantal belangrijke nieuwe strategieën voor het identificeren van bots in de echte wereld.
Vandaag krijgen we een uniek inzicht in deze competitie en de strategieën die de teams gebruikten dankzij een paper van V.S. Subrahmanian aan de Universiteit van Maryland in College Park en Sentimetrix en een paar vrienden.
De wedstrijd was ongeveer zo realistisch als DARPA het kon maken. De tweets waren berichten die werden verzameld uit de Twitter-stream tijdens een debat in 2014 over vaccinaties. In dit debat was een aantal bots gemaakt als onderdeel van een wedstrijd om te zien hoe ze de discussies konden beïnvloeden. Dus DARPA had grondwaarheidskennis over welke accounts kunstmatig waren en welke echt waren.
In totaal bevatte de dataset meer dan vier miljoen berichten van meer dan 7.000 accounts, waarvan 39 bots in de pro- of anti-vaccinatielobby's. Elk bericht bevatte een unieke ID, een gebruikersprofiel inclusief een afbeelding, een url en een foto, waar deze waren opgenomen. De gegevens bevatten ook een tijd- en datumstempel, evenals informatie over volgers en wanneer het ene account het andere ontvolgde. Dit alles werd in februari en maart gedurende vier weken in een synthetische Twitter-omgeving aan de deelnemers voorgespeeld.
De teams moesten vervolgens deze Twitter-stream analyseren en raden welke gebruikers bots waren. Elke juiste gok leverde hen een enkel punt op, maar een team verloor 0,25 punten voor elke onjuiste gok. Een team dat alle bots heeft geraden D dagen voor het einde van de challenge kreeg ook D punten, aangezien DARPA vooral geïnteresseerd is in de vroege detectie van invloedsbots.
Het winnende team was van Sentimetrix, een bedrijf voor sociale media-analyse, dat alle bots 12 dagen voor de deadline raadde en slechts één verkeerde gok deed. Dat leverde hen een score van 50,75 punten op. (Het team op de tweede plaats, van de University of Southern California, scoorde 45 punten en vond alle bots zes dagen voor de deadline zonder onjuiste gissingen.)
De winnende strategieën zijn onthullend. De teams begonnen met een poging om een eerste set bots in de gegevens te identificeren. Interessant genoeg was geen van de teams in staat om deze stap te automatiseren en gebruikte het meest significante menselijke input.
Sentimetrix gebruikte een vooraf getraind algoritme om te zoeken naar botachtig gedrag. Het team had dit algoritme getraind op Twitter-gegevens van de Indiase verkiezingen van 2014, met veel bots. Het zocht naar ongebruikelijke grammatica, de gelijkenis van de taalkunde met natuurlijke taalchatbots zoals Eliza, en ongewoon gedrag zoals langdurig tweeten zonder pauze dat een mens niet gemakkelijk zou kunnen uitvoeren.
Dit onthulde vier accounts die duidelijk bots waren, en Sentimetrix gebruikte deze vervolgens om anderen te vinden. Een aanname was dat bot-makers de neiging hebben om veel vergelijkbare bots te produceren en ze aan elkaar te koppelen om hun populariteit te vergroten. Het team kon dus netwerk- en clusteranalyse gebruiken om andere waarschijnlijke bots te vinden, die ze vervolgens vergeleken met bekende bots.
Het team gebruikte ook functies zoals de tijdelijke activiteit van de rekeningen in de veronderstelling dat een geautomatiseerd account ongebruikelijke regelmatigheden zou vertonen. Sentimetrix zocht ook naar gebruikers die tijdens het debat hun loyaliteit veranderden van pro- naar anti-vaccinatie (of vice versa). Ze veronderstelden dat dit een botstrategie zou kunnen zijn om één kant van het argument te infiltreren en vervolgens tegengestelde argumenten te plaatsen.
Een belangrijk kenmerk van het succes van Sentimetrix was de manier waarop het de resultaten van zijn werk op een online dashboard visualiseerde, zodat een menselijke gebruiker gemakkelijk de status van de analyse voor elke gebruiker kon zien.
In deze tweede fase identificeerde Sentimetrix nog eens 25 bots. Dat gaf hen genoeg gegevens om een machine learning-algoritme te trainen om de gegevens te doorzoeken voor andere bots. En deze aanpak leidde hen naar de resterende 10 bots.
De teams wisten niet hoeveel bots er aan het werk waren, dus een groot probleem was om te weten wanneer ze moesten stoppen met zoeken. Sentimetrix stopte bijvoorbeeld toen het geen accounts meer kon vinden die op bots leken.
Dat is indrukwekkend werk dat een belangrijke invloed zou kunnen hebben op pogingen om bots te vinden die proberen online discussies op ongepaste manieren te beïnvloeden. Door de strategieën op deze manier te publiceren, zouden andere spelers ook moeten helpen antibottactieken te ontwikkelen.
Maar het kan ook een negatief effect hebben. De strijd tussen bots en botjagers is er een die voortdurend evolueert. Met dit soort artikelen onthullen de botjagers hun hand op een manier die botmakers in staat stelt strategieën te ontwerpen om deze algoritmen specifiek te verslaan. In zekere zin is het alsof je vecht met één hand op je rug gebonden.
Desalniettemin zou de verleiding om bot-hunting-strategieën geheim te houden gevaarlijk zijn om te promoten. Dit soort openheid maakt deel uit van onze vrije samenleving en zeker een van de belangrijkste redenen waarom het de moeite waard is om ervoor te vechten.
Hoe dan ook, deze kat-en-muisstrijd zal doorgaan.
Ref: De DARPA Twitter Bot-uitdaging: arxiv.org/abs/1601.05140