211service.com
Twitter Data Scientist neemt het hele menu van McDonald's over en overleeft
Edwin Chen is een datawetenschapper bij Twitter die de mysterieuze geheimen van zijn duistere kunst deelt, wat een goede zaak is, aangezien het waarschijnlijk het snelst groeiende veld in de V.S.
Hmmm, datawetenschap. (cc Evan Blaser )
(Hieronder heb ik het hele e-mailinterview opgenomen dat ik met Chen heb gevoerd, dat je misschien wilt overslaan als je op zoek bent naar een algemeen overzicht van zijn werk. Hij onthult onder andere dat hij overweegt Twitter te minen gegevens om te zien of mensen fastfood eten als ze verdrietig zijn.)
Datawetenschap is zo nieuw dat er geen studieboeken over dit onderwerp zijn, en geen universitaire curricula die zijn ontworpen om datawetenschappers te worden. Toch is het een integraal onderdeel van alles, van kwantitatieve handel op Wall Street tot advertentietargeting op internet en de optimalisatie van echte toeleveringsketens.
Voordat hij terabytes aan tweets aan het delven was voor inzichten die konden worden omgezet in interactieve visualisaties, verbeterde Chen zijn vaardigheden door taalkunde en zuivere wiskunde te studeren aan het MIT. Dat is typisch atypisch voor een datawetenschapper, die een achtergrond heeft in wiskundig rigoureuze disciplines, wat die ook zijn. (Op Twitter bijvoorbeeld alle datawetenschappers moeten minimaal een master in een gerelateerd vakgebied hebben .)
Hier is een van de gekkere voorbeelden van de veelzijdigheid van datawetenschap, van Chen's eigen blog. In een post met de opzwepende titel Oneindige mengselmodellen met niet-parametrische Bayes en het Dirichlet-proces , gaat Chen dieper in op het probleem van clustering. Dat wil zeggen, hoe neem je een massa gegevens en sorteer je deze in groepen gerelateerde items? Het is een lastig probleem: hoeveel groepen moeten er zijn? wat zijn de criteria om ze te sorteren? – en de details van hoe hij het aanpakt, gaan verder dan degenen die geen achtergrond hebben in dit soort analyse.
Voor de rest van ons geeft Chen een concreet en toegankelijk voorbeeld: McDonald's
Door het hele menu van McDonald's in zijn wiskundige sorteerdoos te dumpen, ontdekt Chen bijvoorbeeld dat niet alle sauzen van McDonald's gelijk zijn. Hot Mustard en Spicy Buffalo vallen niet in hetzelfde cluster als Creamy Ranch, dat meer gemeen heeft met McDonald's Iced Coffee met Sugar Free Vanilla Syrup dan met Newman's Own Low Fat Balsamico Vinaigrette.
Andere clusters verschijnen, inclusief alle burger-y-items, ontbijtproducten en suikerdranken. Tot nu toe niet zo verrassend, totdat je bij het ene cluster op het McDonald's-menu komt dat slechts één item bevat.
Wat is er zo speciaal aan McDonald's Fruit & Maple Oatmeal? Het is waarschijnlijk het vezelgehalte, relatief (ik benadruk relatief) hoge niveaus van voedingsstoffen en lagere niveaus van suiker, transvet en cholesterol.
Met andere woorden, wanneer een van de nieuwste datawetenschappers van Twitter zijn ambacht toepast op het menu van McDonald's, extraheert zijn algoritme automatisch het enige voedsel dat iemand van ons waarschijnlijk zelfs zou moeten overwegen om te eten. Havermout: bij McDonald's is het echt een klasse apart.
Hier is het volledige interview met Chen:
1. Hoe lang ben je al datawetenschapper bij Twitter?
Ik zit nu ongeveer vier maanden op Twitter.
2. Wat doet een datawetenschapper bij Twitter?
We werken aan alles, van het bouwen van machine learning-modellen en het verbeteren van onze grootschalige gegevensverwerkingskaders tot het maken van datavisualisaties, het uitvoeren van statistische analyses en het vinden van betere manieren om onze gebruikers en de Twitter-grafiek te begrijpen. Er is veel variatie en het hangt echt af van de vaardigheden en interesses van elke persoon.
Op elk willekeurig moment zal ik bijvoorbeeld waarschijnlijk experimenteren met nieuwe algoritmen voor advertentietargeting, MapReduce-taken schrijven om terabytes aan tweets te ontginnen (met behulp van Scalding, onze interne MapReduce-taal), interactieve visualisaties bouwen om inzichten in alle gegevens die we verzamelen, een rapport schrijven om enkele nieuwe bevindingen uit te leggen, een experiment uitvoeren op Mechanical Turk en nog veel meer.
3. Was je laatste bericht (over clustering) geïnspireerd door iets waar je op Twitter aan werkt (dat je kunt bespreken)?
Ik heb wat werk gedaan aan het clusteren van onze gebruikers en adverteerders, het automatisch afleiden van onderwerpcategorieën in tekst, en nadenken over wat we kunnen leren van eten op Twitter (bijvoorbeeld: verschillen mannen en vrouwen, of San Franciscanen en New Yorkers in wat ze eten? is er een verband tussen wat mensen eten en wat ze twitteren, bijvoorbeeld: is de kans groter dat mensen junkfood eten als ze verdrietig zijn?). Dus hoewel de post niet direct geïnspireerd was door waar ik aan werk op Twitter, is het zeker gerelateerd.
4. Datawetenschap is nu een ding, maar (ik heb gehoord) het veld is zo nieuw dat er geen specifieke studieboeken of universitaire cursussen zijn. Ben je het eens/oneens?
Ik ben het ermee eens, maar het hangt af van je definitie van datawetenschap (waar veel mensen het niet mee eens zijn!). Voor mij is datawetenschap een mix van drie dingen: kwantitatieve analyse (voor de nauwkeurigheid die nodig is om uw gegevens te begrijpen), programmeren (zodat u uw gegevens kunt verwerken en naar uw inzichten kunt handelen), en storytelling (om anderen te helpen begrijpen wat de gegevens betekent). Dus nuttige vaardigheden voor een datawetenschapper kunnen zijn:
* Statistieken, machine learning (aan de kant van de kwantitatieve analyse). Het is bijvoorbeeld onmogelijk om betekenis uit uw gegevens te halen als u niet weet hoe u uw signalen van ruis kunt onderscheiden. (Ik wil echter benadrukken dat ik geloof dat elke vorm van sterk kwantitatief vermogen prima is - mijn eigen achtergrond was oorspronkelijk in pure wiskunde en taalkunde, en veel van de andere mensen hier komen uit vakgebieden als natuurkunde en scheikunde. Je kunt altijd kiezen de specifieke tools die je nodig hebt.)
* Algemeen programmeervermogen, plus kennis van specifieke gebieden zoals MapReduce/Hadoop en databases. Een veelvoorkomend patroon voor mij is bijvoorbeeld dat ik een MapReduce-taak in Scala codeer, wat eenvoudige opdrachtregel op de resultaten doe, de gegevens doorgeef aan Python of R voor verdere analyse, uit een database haal om wat extra te pakken velden, enzovoort, waarbij ik uiteindelijk vaak wat ik vind integreren in sommige machine learning-modellen.
* Webprogrammering, datavisualisatie (aan de verhalende kant). Ik vind het bijvoorbeeld buitengewoon handig om een snelle webapp of dashboard te kunnen opzetten waarmee andere mensen (waaronder ikzelf!) met data kunnen communiceren – bij communicatie met zowel technische als niet-technische mensen is een goede datavisualisatie vaak een stuk behulpzamer en inzichtelijker dan een abstract getal.
Hoewel er niet veel studieboeken of cursussen zijn die alle drie de gebieden bestrijken (een uitzondering kan de cursus van Jeff Hammerbacher en Mike Franklin in Berkeley zijn: http://datascienc.es/ ), zijn er natuurlijk bronnen die alleen betrekking hebben op elke vaardigheid. (Datavisualisatie lijkt echter nog steeds een ondergewaardeerde vaardigheid te zijn, dus lessen op dat gebied zijn zeldzamer.)
