Algoritme voor machinaal leren ontgonnen 16 miljard e-mails

Elektronische post speelt een enorm belangrijke rol in het leven van een groot deel van de wereldbevolking. En toch is er vreemd genoeg weinig bekend over de manier waarop mensen e-mail gebruiken. Hoeveel e-mailgesprekken voeren mensen? Hoe lang duren deze gesprekken en hoe eindigen ze? En hoe beïnvloedt de hoeveelheid binnenkomende post het gedrag van mensen?

Vandaag krijgen we een antwoord op een reeks vragen zoals deze dankzij het werk van onderzoekers van Yahoo Labs in Barcelona en Californië en aan de University of Southern California. Deze jongens hebben gedragspatronen bestudeerd in een database van 16 miljard e-mails die gedurende enkele maanden tussen twee miljoen mensen zijn uitgewisseld. We denken dat de onze de eerste grootschalige analyse is van e-mailconversaties, zeggen ze.

Het blijkt dat e-mailpatronen zo betrouwbaar zijn dat een machine learning-algoritme van tevoren kan voorspellen hoe lang een antwoord waarschijnlijk zal zijn en wanneer een e-mailgesprek waarschijnlijk zal eindigen. Dat is informatie die een belangrijke rol zou kunnen spelen in de volgende generatie e-mailsystemen.

Het is gemakkelijk voor te stellen dat computationele antropologen zich door enorme e-maildatabases hebben gebogen om de impact van deze relatief nieuwe vorm van berichten op de gewone levensstijl te bepalen.

Niet zo. De relatief weinig afgeronde onderzoeken zijn gedaan op kleine steekproeven van e-mails en resulteerden in relatief eenvoudige ontdekkingen. Deze omvatten het feit dat sommige mensen e-mails beantwoorden in de volgorde waarin ze binnenkomen, terwijl anderen de belangrijkste kiezen om als eerste op te antwoorden.

Om deze lacune in onze kennis te dichten, bestuderen Farshad Kooti van de University of Southern California en vrienden een database van 16 miljard e-mails in Yahoo Mail van mensen die ermee hadden ingestemd dat hun gegevens voor onderzoek zouden worden gebruikt.

Omdat veel van de e-mail die mensen ontvangen spam is of automatisch wordt gegenereerd, heeft het team alleen die e-mails gekozen die tussen twee personen zijn verzonden in een gesprek dat ten minste vijf uitwisselingen heeft geduurd.

Deze 16 miljard e-mails waren afkomstig van de e-mailaccounts van twee miljoen unieke gebruikers en bevatten alleen e-mail van commerciële domeinen en van andere Yahoo-gebruikers die zich hadden aangemeld voor het onderzoek. Van deze 16 miljard werden 187 miljoen e-mails uitgewisseld tussen gebruikersparen in de dataset. Dit waren in wezen degenen die van belang waren.

De onderzoekers konden vervolgens het statistische karakter van deze vorm van paarsgewijze communicatie bestuderen aan de hand van informatie als afzender-ID, ontvanger-ID, verzendtijd, het e-mailonderwerp, de hoofdtekst van de e-mail en het aantal bijlagen.

Om de privacy te waarborgen, hebben de onderzoekers de afzenders en ontvangers geanonimiseerd en heeft geen mens de inhoud van de e-maillichamen geanalyseerd. In plaats daarvan gebruikten de onderzoekers algoritmen om statistieken uit de e-maillichamen te extraheren, zoals hun lengte, het aantal e-mail-ID's in een thread, enzovoort.

Het team groepeerde e-mails tussen individuen als ze dezelfde onderwerpregel deelden (op één na zouden ze allemaal beginnen met Re:) en rangschikte de berichten op basis van hun tijdstempel.

Vervolgens bestudeerden ze verschillende kenmerken van deze e-mailketens, zoals de tijd die nodig is om een ​​e-mail te beantwoorden, de lengte van het antwoord en hoe deze factoren variëren naargelang de leeftijd en het geslacht van de afzender, enzovoort. .

De resultaten zorgen voor interessante lectuur. Het blijkt dat jongere mensen snellere, kortere antwoorden sturen en dat mannen iets snellere en kortere antwoorden sturen dan vrouwen.

Het moment van schrijven is ook een factor. We ontdekten dat gebruikers sneller reageren op e-mails die ze tijdens weekdagen en werkuren ontvangen, en dat antwoorden later op de dag en in het weekend korter worden, zeggen Kooti en co.

En ook mobiele apparaten hebben een impact. Antwoorden van mobiele apparaten waren sneller en korter dan van desktops, en e-mails zonder bijlagen kregen doorgaans snellere antwoorden, zeggen ze.

Een steeds belangrijker fenomeen is de overbelasting van e-mail. Kooti en co ontdekten dat naarmate mensen meer e-mails ontvangen, ze de snelheid waarmee ze antwoorden verhogen, maar niet genoeg om de hogere belasting te compenseren.

Met andere woorden, naarmate mensen overbelast raken, beantwoorden ze een kleiner deel van de inkomende e-mails met kortere antwoorden. Hun reactievermogen bleef echter intact en kan zelfs sneller zijn, zeggen de onderzoekers.

Het team keek ook naar de verschillen tussen een e-mail en het antwoord, zoals het aantal gebruikte woorden en de tijd tussen antwoorden. Interessant is dat tijdens de eerste helft van een e-mailgesprek de antwoorden meer op elkaar lijken, zowel in antwoordtijd als in lengte. Dat verandert echter allemaal na het midden van de dreiging wanneer het antwoordgedrag steeds anders wordt.

Dankzij deze patronen kon het team een ​​machine learning-algoritme bouwen om de verschillende stadia van e-mailconversaties te herkennen en te voorspellen wanneer ze waarschijnlijk zullen eindigen. Ze hebben dit algoritme getraind om de tijd en lengte van antwoorden te voorspellen en of een e-mail de laatste in de thread was.

En hoewel deze voorspellingen niet perfect zijn, zijn ze goed genoeg om invloed te hebben op de manier waarop e-mailsystemen in de toekomst kunnen worden ontworpen. De mogelijkheid om nauwkeurig te voorspellen op welke berichten een gebruiker zal antwoorden, kan door e-mailclients worden gebruikt om e-mails in de inbox van de gebruikers te rangschikken op hun antwoordprioriteit, waardoor de last van een overdaad aan informatie wordt verlicht, aldus het team.

Dat is interessant werk dat kan helpen bepalen hoe algoritmen in de toekomst met onze e-mails omgaan. Alles wat nuttig is om de last van de overbelasting van e-mail te verlichten, kan een belangrijk onderdeel worden van de verborgen bureaucratie van communicatie.

Yahoo heeft een duidelijke interesse in dit soort werk, dus het is verrassend dat dit soort onderzoek nu voor het eerst is gedaan. Met een beetje geluk zal het proces om deze bevindingen in toekomstige e-mailsystemen te verwerken niet zo lang duren.

Ref: een rxiv.org/abs/1504.00704 : Evolutie van gesprekken in het tijdperk van overbelasting van e-mail

zich verstoppen