Algoritme voor machinaal leren identificeert tweets die zijn verzonden onder invloed van alcohol

Je ex-partner een tweet met tranen in de ogen sturen om 1 uur 's nachts na een fles chardonnay is niet per se de beste manier om verzoening te bereiken. We weten allemaal dat alcohol en tweeten niet altijd een goede combinatie is.

Toch geven een verrassend aantal van ons zich over aan deze eigenaardige vorm van indiscretie. En deze praktijk heeft Nabil Hossain en vrienden van de Universiteit van Rochester op een interessant idee gebracht.

Vandaag laten deze jongens zien hoe ze een machine hebben getraind om alcoholgerelateerde tweets te herkennen. En ze laten ook zien hoe deze gegevens kunnen worden gebruikt om alcoholgerelateerde activiteiten te volgen en hoe deze in de samenleving worden verspreid. Ze zeggen dat de methode een aanzienlijke impact kan hebben op de manier waarop we de volksgezondheidsproblemen die alcohol en andere activiteiten met zich meebrengen, begrijpen en erop reageren.

Het werk van Hossain en co is gebaseerd op twee doorbraken. De eerste is een manier om een ​​algoritme voor machine learning te trainen om tweets te herkennen die betrekking hebben op alcohol en tweets die zijn verzonden door mensen die op dat moment alcohol dronken. De tweede is een manier om de thuislocatie van een Twitter-gebruiker met veel grotere nauwkeurigheid te vinden dan ooit mogelijk is geweest en dus om te bepalen of ze thuis drinken of niet.

Het team begon met het verzamelen van tweets met geotags die in de loop van het jaar tot juli 2014 waren verzonden vanuit New York City en vanuit Monroe County aan de noordgrens van de staat, waartoe ook de stad Rochester behoort. Uit deze set filteren ze alle tweets waarin alcohol of alcoholgerelateerde woorden worden genoemd, zoals dronken, bier, feest, enzovoort.

Vervolgens gebruikten ze werknemers van Amazon's Mechanical Turk crowdsourcing-service om de tweets in meer detail te analyseren. Voor elke tweet vroegen ze drie Turkers om te beslissen of het bericht verwees naar alcohol en zo ja of het verwees naar de tweeter die alcohol dronk. Ten slotte vroegen ze of de tweet werd verzonden op hetzelfde moment dat de tweeter aan het opzuigen was.

Dat proces omvatte zo'n 11.000 geolokaliseerde tweets in verband met alcohol (hoewel details over de omvang van deze studie, en dus de betekenis ervan, helaas ontbreken in de krant). Dat is een dataset die groot genoeg is om een ​​machine learning-algoritme te trainen om zelf alcoholgerelateerde tweets te herkennen.

Dat bracht hen bij de volgende vraag: waar zijn deze mensen als ze over drinken twitteren? En zijn ze vooral thuis of ergens anders?

Onderzoekers hebben verschillende methoden bedacht om de thuislocatie van mensen te bepalen met behulp van alleen hun geolokaliseerde tweets. Deze omvatten het kiezen van de plaats waar ze het meest tweet, het kiezen van de plaats waar ze de laatste tweet van de dag verzenden, of de plaats waar ze tweeten tussen 1 uur 's ochtends en 6 uur 's ochtends. Al deze methoden hebben echter zwakke punten waardoor ze moeilijk te vertrouwen zijn Aan.

Hossain en co ontwikkelden een andere aanpak. Ze stelden een lijst op met woorden en zinnen die mensen waarschijnlijk zullen gebruiken in tweets die vanuit hun huis worden verzonden, zoals Eindelijk thuis! of bad, bank, tv, enzovoort. Ze filterden geolokaliseerde tweets die deze woorden bevatten en vroegen drie Turkers of ze dachten dat elke tweet van huis was of niet, waarbij ze alleen die tweets behielden waarvoor de drie Turkers allemaal ja hadden geantwoord.

Hossain en co bestempelden deze tweets als een grondwaarheidsdataset voor thuislocatie en gebruikten deze om een ​​machine learning-algoritme te trainen om andere patronen te identificeren die verband houden met thuisgebaseerde tweets. Het algoritme heeft gekeken hoe de thuislocatie is gecorreleerd met andere indicatoren, zoals de locatie van de laatste tweet van de dag, de meest populaire locatie van een tweet, het percentage tweets van een bepaalde locatie, enzovoort.

Door te vertrouwen op verschillende indicatoren om de thuislocatie te bepalen, wordt de nauwkeurigheid van de nadering aanzienlijk verbeterd in vergelijking met degenen die een enkele indicator gebruiken. Inderdaad, Hossain en co zeggen dat ze de thuislocatie tot op 100 meter kunnen bepalen met een nauwkeurigheid tot 80 procent. Dat is aanzienlijk beter dan eerder werk.

Samen stelden deze twee technieken het team in staat om te bepalen wanneer en waar mensen drinken. En ze gebruikten dit om drinkpatronen in New York City en in de buitenwijken van Monroe County te vergelijken.

Ze doen dit door elk gebied in 100 x 100 rasters te verdelen en die gebieden te markeren waar er tweets zijn die verband houden met alcohol. Zo kunnen ze per gebied heatmaps van alcoholgebruik opstellen en vergelijken.

Ze onderscheiden ook tweets over drinken gemaakt vanuit een thuislocatie van die van elders. En ze brengen in elk gebied de verkooppunten in kaart die alcohol verkopen. Dat stelt de onderzoekers in staat om de relatie te onderzoeken tussen de dichtheid van tweets die vanuit verschillende regio's worden verzonden terwijl ze dronken zijn en de dichtheid van alcoholverkooppunten.

De resultaten zorgen voor interessante lectuur. Ten eerste wijzen Hossain en co erop dat een groter deel van de tweets in New York City in verband wordt gebracht met alcohol dan in Monroe County. Een mogelijke verklaring is dat een drukke stad zoals NYC met zeer dichte alcoholverkooppunten en veel mensen die socializen, waarschijnlijk meer alcohol drinkt, zeggen ze.

Bovendien blijkt uit de geolocatiegegevens dat een groter deel van de mensen thuis (of binnen 100 meter van huis) in New York City drinkt dan in Monroe County, waar een groot deel van de mensen verder dan een kilometer van huis drinkt.

De warmtekaarten laten ook interessante patronen zien. Het stelt het team in staat om thuis te komen op rasters van 100 x 100 meter waar minstens vijf tweets over alcohol zijn geweest. Wij zijn van mening dat dergelijke roosters gebieden zijn met ongebruikelijke drinkactiviteiten, zeggen Hossain en co.

Ze vonden ook een verband tussen de dichtheid van alcoholverkooppunten in een regio en het aantal tweets dat aangeeft dat iemand nu drinkt. Dat roept een interessante vraag op over hoe correlatie en causaliteit in dit geval met elkaar verbonden zijn. Zorgt een hoge dichtheid van alcoholische verkooppunten ervoor dat mensen meer gaan drinken? Of trekken drinkers massaal naar gebieden met een hoge dichtheid aan alcoholverkooppunten? Natuurlijk kunnen dit soort gegevens op zichzelf hier geen antwoord op geven.

De grote kracht van deze techniek is echter dat deze goedkoop en snel is. Daarentegen is het verkrijgen van een soortgelijk inzicht in drinkpatronen op andere manieren enorm duur en tijdrovend.

Meestal zouden mensen zorgvuldig moeten worden geselecteerd, voorbereide vragenlijsten moeten invullen en gedetailleerd moeten worden geanalyseerd. De machine learning-aanpak zou deze activiteit zelfs in realtime kunnen volgen. Onze resultaten tonen aan dat tweets krachtige en fijnmazige signalen kunnen geven van activiteiten die in steden plaatsvinden, zeggen ze.

Er zijn natuurlijk kanttekeningen. Er is een duidelijke bias in de gegevens die via Twitter worden verzameld, aangezien jongeren en bepaalde minderheden oververtegenwoordigd zijn. Maar vergelijkbare vooroordelen zijn aanwezig in andere methoden voor het verzamelen van gegevens - enquêtes hebben bijvoorbeeld de neiging om mensen die geen enquêtes willen invullen, zoals sommige immigranten, te ondervertegenwoordigen. Het identificeren van en omgaan met vooroordelen is een belangrijk onderdeel van alle methoden voor het verzamelen van gegevens.

Hossain en co hebben grootse plannen met hun techniek. In de toekomst willen ze onderzoeken hoe alcoholconsumptie varieert met leeftijd, geslacht, etniciteit, enzovoort; hoe verschillende instellingen drinken en tweeten beïnvloeden, zoals de huizen van vrienden, het stadion, het park, enzovoort; en om de snelheid te vergelijken waarmee drinkers in en uit aangrenzende buurten stromen.

Het sociale aspect van Twitter zal ook nuttig zijn. We kunnen het sociale netwerk van drinkers verkennen om erachter te komen hoe sociale interacties en groepsdruk in sociale media de neiging om te verwijzen naar drinken beïnvloeden, zeggen Hossain en co.

Dit alles zou kunnen bijdragen aan het debat over de gezondheidsgerelateerde aspecten van alcohol, de op twee na grootste oorzaak van vermijdbare sterfte in de VS. Dat zijn 75.000 sterfgevallen die elk jaar door alcohol worden veroorzaakt - een aantal dat het belang van dit werk in perspectief plaatst vergeleken aan de beproevingen en beproevingen van liefdeslevens.

Referentie: arxiv.org/abs/1603.03181 : Afleiden van fijnmazige details over gebruikersactiviteiten en thuislocatie van sociale media: patronen detecteren tijdens het tweeten in communities

zich verstoppen