Hoe Obama big data gebruikte om kiezers te verzamelen, deel 1

Twee jaar na de verkiezing van Barack Obama tot president leden de Democraten hun ergste nederlaag in decennia. De meerderheden van het congres die Obama zijn wetgevende successen hadden bezorgd, namelijk de hervorming van de ziektekostenverzekering en de financiële markten, werden weggevaagd bij de tussentijdse verkiezingen; de controle over het Huis kantelde en de voorsprong van de Democraten in de Senaat kromp tot een onbestuurbaar kleine marge. Experts worstelden om de opkomst van de Tea Party te verklaren. De teleurstelling van de kiezers over de Obama-agenda was duidelijk toen de onafhankelijken het goed deden en de Democraten thuis bleven. In 2010 faalde het Democratisch Nationaal Comité voor zijn eerste test van het Obama-tijdperk: het had de Obama-coalitie niet bij elkaar gehouden.

Maar voor de Democraten was er een sombere troost in dit alles: Dan Wagner had het zien aankomen. Toen Wagner in januari 2009 werd aangenomen als targetingdirecteur van de DNC, werd hij verantwoordelijk voor het verzamelen van kiezersinformatie en het analyseren ervan om de commissie te helpen bij het benaderen van individuele kiezers via direct mail en telefoon. Maar hij besefte dat de grondstof die hij in zijn statistische modellen voedde, neerkwam op een reeks enquêtes over de houding en voorkeuren van kiezers. Hij vroeg de technologieafdeling van de DNC om software te ontwikkelen die die informatie in tabellen kon omzetten, en hij belde de resultaten Survey Manager.

Die herfst, toen er een speciale verkiezing werd gehouden om een ​​open congreszetel in de staat New York te vullen, voorspelde Wagner met succes de definitieve marge binnen 150 stemmen - ruim voor de verkiezingsdag. Maanden later voorspelden opiniepeilingen dat Martha Coakley zeker nog een speciale verkiezing zou winnen, om de zetel van de Senaat van Massachusetts te vullen die leeg was gelaten door de dood van Ted Kennedy. Maar de Survey Manager van Wagner voorspelde correct dat de Republikein Scott Brown waarschijnlijk de overhand zou hebben in de sterk democratische staat. Het is één ding om gelijk te hebben als je gaat winnen, zegt Jeremy Bird, die diende als nationaal plaatsvervangend directeur van Organizing for America, de opgeschorte Obama-campagne, gehuisvest bij de DNC. Het is iets anders om gelijk te hebben als je gaat verliezen.

Het is nog iets anders om gelijk te hebben vijf maanden voordat je gaat verliezen. Toen de tussentijdse verkiezingen van 2010 naderden, bouwde Wagner statistische modellen voor geselecteerde Senaatsraces en 74 congresdistricten. Vanaf juni begon hij de resultaten van de verkiezingen te voorspellen, waarbij hij de marges van de overwinning voorspelde met wat onwaarschijnlijke nauwkeurigheid bleek te zijn. Maar met traditionele peilingen was hij er niet gekomen. Hij had de stemmen één voor één geteld. Zijn eerste aanwijzing dat de partij in de problemen zat, kwam van duizenden individuele enquête-oproepen die waren gekoppeld aan uitgebreide statistische profielen in de databases van de DNC. Democratische kernstemmers vertelden de bellers van de DNC dat ze veel minder geneigd waren om te stemmen dan de statistische waarschijnlijkheid suggereerde. Wagner kon ook berekenen hoeveel de mobilisatieprogramma's van de Democraten zouden doen om de opkomst onder supporters te vergroten, en hij wist dat het bij de meeste races niet genoeg zou zijn om het gat te dichten dat zich in de tabellen van Survey Manager openbaarde.

Zijn congresvoorspellingen lagen er gemiddeld slechts 2,5 procent naast. Dat was een bewijs voor veel mensen die de wiskunde erachter niet begrijpen, maar de waarde begrijpen van wat die wiskunde oplevert, zegt Mitch Stewart, directeur van Organizing for America. Toen die eerste speciale [verkiezing] eenmaal plaatsvond, was zijn woord de gouden standaard bij de DNC.

De betekenis van Wagners prestatie ging veel verder dan zijn vermogen om winnaars maanden voor de verkiezingsdag aan te kondigen. Zijn aanpak kwam neer op een beslissende breuk met 20e-eeuwse instrumenten voor het volgen van de publieke opinie, die draaiden om het in quarantaine plaatsen van kleine steekproeven die als representatief voor het geheel konden worden beschouwd. Wagner was voortgekomen uit een groep analisten die kiezers als individuen beschouwden en werkten aan het verzamelen van projecties over hun meningen en gedrag totdat ze een samengesteld beeld van iedereen onthulden. Zijn technieken markeerden de vervulling van een nieuwe manier van denken, een decennium in de maak, waarin kiezers niet langer vastzaten in oude politieke geografieën of gebonden waren aan traditionele demografische categorieën, zoals leeftijd of geslacht, afhankelijk van welke attributen enquêteurs vroegen of hoe consumentenmarketeers ze classificeren voor commerciële doeleinden. In plaats daarvan zou het electoraat kunnen worden gezien als een verzameling individuele burgers die elk op hun eigen voorwaarden konden worden gemeten en beoordeeld. Nu was het aan een kandidaat die die mensen wilde leiden om een ​​campagne op te bouwen die op dezelfde manier met hen zou communiceren.

Dan Wagner, de chief analytics officer voor Obama 2012, leidde de Cave of data Scientists van de campagne.

Nadat de kiezers Obama voor een tweede ambtstermijn hadden teruggestuurd, werd zijn campagne gevierd vanwege het gebruik van technologie - grotendeels ontwikkeld door een ongebruikelijk team van programmeurs en ingenieurs - die opnieuw definieerde hoe individuen internet, sociale media en smartphones konden gebruiken om deelnemen aan het politieke proces. Met een mobiele app kon een canvasser wandelbladen downloaden en terugsturen zonder ooit een campagnekantoor te betreden; een webplatform genaamd Dashboard gamified vrijwilligersactiviteit door de meest actieve supporters te rangschikken; en gerichte protocollen voor delen ontgonnen het Facebook-netwerk van een Obama-backer op zoek naar vrienden die de campagne wilde registreren, mobiliseren of overtuigen.

Maar daaronder zaten scores die bepaalde kiezers beschrijven: een nieuwe politieke munteenheid die het gedrag van individuele mensen voorspelde. De campagne wist niet alleen wie je was; het wist precies hoe het je kon veranderen in het type persoon dat het wilde dat je was.

de scores

Vier jaar eerder werkte Dan Wagner bij een economisch adviesbureau in Chicago, waarbij hij voorspellingsvaardigheden gebruikte die hij had ontwikkeld toen hij econometrie studeerde aan de Universiteit van Chicago, toen hij verliefd werd op Barack Obama en besloot dat hij wilde werken aan de presidentiële campagne van zijn senator in 2008. Wagner, toen 24, was al snel in Des Moines, waar hij de gegevens invoerde voor het kiezersbestand van de staat dat Obama naar zijn cruciale overwinning in de voorverkiezingen in Iowa leidde. Hij stuiterde van staat naar staat door de lange primaire kalender, raakte vertrouwd met kiezersgegevens en de manieren om statistische modellen te gebruiken om het electoraat intelligent te sorteren. Voor de algemene verkiezingen werd hij benoemd tot hoofddoelman voor de regio van de Grote Meren/Ohio River Valley, het meest intense slagveld van het land.

Na de overwinning van Obama vertrokken veel van zijn topadviseurs naar Washington om voorbereidingen te treffen om te regeren. Wagner kreeg te horen dat hij achter moest blijven en lid moest worden van een taskforce na de verkiezingen die een campagne zou beoordelen die er voor de buitenwereld technisch onberispelijk uitzag.

Bij de presidentsverkiezingen van 2008 hadden Obama's doelwitten elke kiezer in het land een paar scores toegewezen op basis van de waarschijnlijkheid dat het individu twee verschillende acties zou uitvoeren die belangrijk waren voor de campagne: een stem uitbrengen en Obama steunen. Deze scores zijn afgeleid van een ongekende hoeveelheid lopend onderzoekswerk. Voor elke staat op het slagveld voerden de callcenters van de campagne elke week 5.000 tot 10.000 zogenaamde korte interviews die snel de voorkeuren van een kiezer peilden, en 1.000 interviews in een lange versie die meer op een traditionele peiling leek. Om voorspellingen op individueel niveau af te leiden, zochten algoritmen naar patronen tussen deze meningen en de datapunten die de campagne voor elke kiezer had verzameld - wel duizend variabelen elk, ontleend aan kiezersregistratierecords, datawarehouses van consumenten en eerdere campagnecontacten.

Deze innovatie werd het meest gewaardeerd in het veld. Daar leidde een bijna perfecte cyclus van microtargeting-modellen vrijwilligers naar gescripte gesprekken met specifieke kiezers aan de deur of via de telefoon. Elk van die interacties produceerde gegevens die terugstroomden naar de servers van Obama om de modellen te verfijnen die vrijwilligers naar de volgende deur wijzen die het kloppen waard is. De efficiëntie en schaal van dat proces gaven de Democraten een grote voorsprong als het ging om het profileren van kiezers. De campagne van John McCain had in de meeste staten zijn statistische model slechts één keer uitgevoerd, waarbij elke kiezer in de zomer aan een van zijn microtargeting-segmenten werd toegewezen. De adviseurs van McCain konden de kans niet herberekenen dat die kiezers hun kandidaat zouden steunen naarmate de dynamiek van de race veranderde. Obama's scores daarentegen werden wekelijks aangepast, als reactie op nieuwe gebeurtenissen zoals de nominatie van Sarah Palin tot vice-president of de ineenstorting van Lehman Brothers.

Binnen de campagne werden echter de Obama-gegevensoperaties gezien als tekortkomingen. Zoals typisch was in de politieke informatie-infrastructuur, werd kennis over mensen apart opgeslagen van gegevens over de interacties van de campagne met hen, vooral omdat de databases die voor die doeleinden waren gebouwd, waren ontwikkeld door verschillende consultants die er geen belang bij hadden hun systemen samen te laten werken.

Maar de taskforce wist dat de volgende campagne niet aan die situatie vastzat. Obama zou zijn laatste race niet lopen als een opstandeling tegen een partij-etablissement, maar als het establishment zelf. Vier jaar lang, zo wisten de leden van de taskforce, zou hun team het apparaat van de Democratische Partij controleren. Hun eisen, niet het aanbod van adviseurs en verkopers, zouden de markt vormgeven. In hun rapport werd aanbevolen een systeem voor relatiebeheer te ontwikkelen waarmee medewerkers van de hele campagne individuen kunnen opzoeken, niet alleen als kiezers of vrijwilligers of donateurs of websitegebruikers, maar als volledige burger. We realiseerden ons dat er een probleem was met de interactie tussen onze gegevens en infrastructuur en de rest van de campagne, en we zouden dit aan alle onderdelen van de campagne moeten kunnen aanbieden, zegt Chris Wegrzyn, een ontwikkelaar van databasetoepassingen die in de taskforce werkte. .

Wegrzyn werd de belangrijkste targeting-ontwikkelaar van de DNC en hield toezicht op een reeks kostbare acquisities, allemaal bedoeld om de partij te bevrijden van de traditionele afhankelijkheid van externe leveranciers. De commissie installeerde een Siemens Enterprise System-telefoonkieseenheid die 1,2 miljoen oproepen per dag zou kunnen versturen om de mening van kiezers te peilen. Later tekenden partijleiders een licentie van $ 280.000 voor het gebruik van Vertica-software van Hewlett-Packard waarmee hun servers niet alleen toegang kregen tot het kiezersbestand van 180 miljoen personen, maar ook tot alle gegevens over vrijwilligers, donateurs en degenen die contact hadden gehad met Obama online.

Veel van degenen die na de verkiezingen van 2008 naar Washington gingen om de politieke agenda van de president te bevorderen, keerden in het voorjaar van 2011 terug naar Chicago om te werken aan zijn herkozen. De kastijdende verliezen die ze in Washington hadden geleden, scheidden hen van degenen die alleen de extase van 2008 hadden gekend. Mensen die '08 deden, maar niet '10, en terugkwamen in '11 of '12 - ze hadden de moeilijkste cultuur botsing, zegt Jeremy Bird, die nationaal velddirecteur werd in de herkozen campagne. Maar degenen die naar Washington gingen en naar Chicago terugkeerden, ontwikkelden een bijzondere waardering voor Wagners methoden om op atomair niveau met het electoraat samen te werken. Het was een manier van denken die perfect in lijn was met hun eenvoudige theorie van wat er nodig zou zijn om de gekozen president te winnen: iedereen die in 2008 op hem had gestemd, het opnieuw laten doen. Tegelijkertijd wisten ze dat ze erin zouden moeten slagen om nieuwe kiezers te registreren en te mobiliseren, vooral in enkele van de snelst groeiende demografische categorieën, om eventuele kiezers van 2008 die overliepen, goed te maken.

Obama's campagne begon het verkiezingsjaar in het vertrouwen dat het de naam kende van elk van de 69.456.897 Amerikanen wiens stemmen hem in het Witte Huis hadden gebracht. Ze hebben die stemmen misschien bij geheime stemming uitgebracht, maar de analisten van Obama kunnen de stemmen van de Democraten in elk district bekijken en de mensen identificeren die hem waarschijnlijk hebben gesteund. Experts spraken in abstracto over het opnieuw samenstellen van Obama's coalitie van 2008. Maar binnen de campagne was het doel letterlijk. Ze zouden de coalitie één voor één opnieuw samenstellen via persoonlijke contacten.

Morgen: deel 2 — De experimenten

zich verstoppen