211service.com
Obama's datatechnieken zullen toekomstige verkiezingen bepalen
Dit is deel 3 van ons diepgaande profiel van de big data-technieken die Barack Obama een tweede ambtstermijn bezorgden. Lees deel 1 en deel 2.
de mars
In de zomer van 2011 ontving Carol Davidsen een bericht van Dan Wagner. De Obama-campagne stond al bekend om zijn meedogenloze e-mails die supporters smeekten om geld of tijd te geven, maar deze bood iets dat Davidsen intrigeerde: een baan. Wagner had de lijst met donateurs van de campagne, die teruggaat tot 2008, gesorteerd om degenen te vinden die hun beroep beschreven met termen als data en analyses, en ze alle uitnodigingen gestuurd om te solliciteren op zijn nieuwe analyseafdeling.
Davidsen werkte bij Navic Networks, een bedrijf dat eigendom is van Microsoft en dat code schreef voor settopboxen om de geschiedenis van de DVR of tuner van een gebruiker vast te leggen, toen ze gehoor gaf aan de oproep van Wagner. Een jaar voor de verkiezingsdag begon ze te werken op de technologieafdeling van de campagne om te dienen als productmanager voor Narwhal. Dat was de codenaam, geleend van een slagtandwalvis, voor een ambitieuze poging om records uit voorheen niet-verbonden databases te matchen, zodat de online interacties van een gebruiker met de campagne konden worden gesynchroniseerd. Met Narwhal kunnen e-mailexplosies waarin mensen worden gevraagd om vrijwilligerswerk te doen, rekening houden met hun eerdere donatiegeschiedenis, en de algoritmen die bepalen hoeveel een supporter zou worden gevraagd om bij te dragen, kunnen worden gevormd door kennis over zijn of haar reactie op eerdere verzoeken. Deze integratie verrijkte een techniek die gebruikelijk is in website-ontwikkeling, die Obama's online fondsenwervingsinspanningen in 2008 met goed resultaat hadden gebruikt: de A/B-test, waarin gebruikers willekeurig naar verschillende versies van een ding worden geleid en hun antwoorden worden vergeleken. Nu kunnen analisten persoonlijke gegevens gebruiken om de kenmerken te identificeren van degenen die hebben gereageerd, en die kennis gebruiken om latere beroepen te verfijnen. Je kunt de andere vormen van betrokkenheid van mensen noemen, zegt Amelia Showalter, Obama's directeur digitale analyse. We ontdekten dat er veel dingen waren die goodwill wekten, zoals het ondertekenen van de verjaardagskaart van de president of het krijgen van een gratis bumpersticker, waardoor ze op andere manieren meer betrokken raakten bij de campagne.
Als online communicatie het aspect van de campagne van 2008 was geweest dat aan het meest rigoureuze empirische onderzoek was onderworpen - het is gemakkelijk om willekeurig e-mails toe te wijzen in een A/B-test en klikfrequenties of donatieniveaus te vergelijken - was een massamediastrategie een van die die het minst kreeg. Televisie- en radioadvertenties moesten per geografische zone worden gekocht, en de beschikbare gegevens over wie naar welke zenders of programma's kijkt, verzameld door onderzoeksbureaus als Nielsen en Scarborough, bevatten vaak niet meer dan leeftijd en geslacht van de kijkers. Dat is misschien goed genoeg om aankopen voor Schick of Foot Locker te begeleiden, maar het is van beperkte waarde voor adverteerders die doelgroepen in politieke termen willen definiëren.
Terwijl campagnemanager Jim Messina bereid was om maar liefst een half miljard dollar uit te geven aan de massamedia voor de herkozen van Obama, begon hij het proces voor het toewijzen van middelen over uitzendingen, kabel, satelliet en online kanalen opnieuw uit te vinden. Als je nadenkt over het universum van mogelijke plaatsen voor een adverteerder, is het bijna oneindig, zegt Amy Gershkoff, die werd ingehuurd als mediaplanningsdirecteur van de campagne op basis van haar succesvolle onderhandelingen, terwijl ze bij haar bedrijf Changing Targets in 2009 de informatie van kabelsystemen tot individuele microtargetingprofielen. Er zijn tientallen miljoenen kansen waar een campagne zijn volgende dollar kan inzetten. Je hebt al deze geweldige, robuuste kiezersgegevens die niet passen bij de mediagegevens. Hoe je dat breit, is een uitdaging.
Begin 2012 had Wagner de leiding over de mediaplanning behendig in zijn eigen afdeling gelegd. Terwijl hij de reikwijdte van analyse uitbreidde, definieerde hij zijn bevoegdheid als de studie en praktijk van resource-optimalisatie met als doel programma's te verbeteren en efficiënter stemmen te verdienen. Dat betekende meestal dat voor elke campagneactiviteit het aantal stemmen moest worden berekend dat werd behaald door een bepaald aantal contacten tegen een bepaalde prijs.
Maar als het ging om het kopen van media, waren dergelijke berekeningen gewoon onmogelijk, omdat campagnes hun kennis over kiezers niet konden koppelen aan wat kabelaanbieders wisten over hun klanten. Obama's adviseurs kwamen tot de conclusie dat de gegevens die in de particuliere sector beschikbaar werden gesteld, politieke adverteerders er lange tijd toe hadden aangezet om de verkeerde vragen te stellen. Walsh zegt over de poging om het proces van mediatargeting opnieuw vorm te geven: het was niet om een beter begrip te krijgen van wat meer dan 35 vrouwen op tv kijken. Het was om erachter te komen hoeveel van onze overtuigende kiezers naar die dagdelen keken.
Davidsen, wiens eerdere werk haar zeer vertrouwd had gemaakt met de rijke datasets in settopboxen, begreep dat veel van die gegevens beschikbaar waren in de vorm van tuner- en DVR-geschiedenissen die werden verzameld door kabelaanbieders en vervolgens geaggregeerd door onderzoeksbureaus. Om privacyredenen was de informatie echter niet op individueel niveau beschikbaar. Het moeilijkste bij het kopen van media op dit moment is het gebrek aan informatie, zegt ze.
Davidsen begon te onderhandelen om onderzoeksbureaus hun gegevens opnieuw te laten verpakken in een vorm die de campagne toegang zou geven tot de individuele geschiedenissen zonder de privacynormen van de kabelaanbieders te schenden. Onder een deal van $ 350.000 die ze uitwerkte met één bedrijf, Rentrak, leverde de campagne een lijst op van overtuigbare kiezers en hun adressen, afgeleid van zijn microtargeting-modellen, en het bedrijf zocht ernaar in de factureringsbestanden van de kabelaanbieders. Wanneer een record overeenkwam, gaf Rentrak het een unieke huishoud-ID die de kijkgegevens van een enkele settopbox identificeerde, maar alle persoonlijk identificeerbare informatie maskeerde.
De Obama-campagne had zijn eigen kijkcijfersysteem gecreëerd, een soort Nielsen waarin de enige kijkers die ertoe deden degenen waren die nog niet volledig toegewijd waren aan een presidentskandidaat. Maar Davidsen moest de informatie begin mei in een praktische vorm krijgen, toen Obama-strategen van plan waren hun anti-Romney-advertenties te gaan vertonen. Ze hield toezicht op de ontwikkeling van een softwareplatform dat de Obama-staf de Optimizer noemde, dat de dag opdeelde in 96 kwartiersegmenten en beoordeelde welke tijdvakken over 60 kanalen het grootste aantal overtuigende doelen per dollar boden. (Tegen september had ze een nog rijkere schat aan gegevens ontgrendeld: een kabelsysteem in Toledo, Ohio, dat de tunergeschiedenis van kijkers per seconde bijhield.) De revolutie van media-aankopen in deze campagne, zegt Terry Walsh, die de campagne coördineerde. peilingen en reclame-uitgaven, was om van een uitzendmedium iets te maken dat veel meer op een narrowcast-medium lijkt.
Toen de Obama-campagne televisie als massamedium gebruikte, was dat omdat de Optimizer had geconcludeerd dat dit een efficiëntere manier zou zijn om overhaalbare doelen te bereiken. Soms was een nationale kabeladvertentie een beter koopje dan een groot aantal lokale aankopen in de 66 mediamarkten die slagveldstaten bereikten. Maar de occasionele nationale aankoop had ook andere voordelen. Het kan fondsenwerving stimuleren en vrijwilligers motiveren in staten die niet essentieel waren voor de rekenkunde van Obama's Electoral College. En, zegt Davidsen, het helpt een deel van de strategie van uw aankoop te verbergen.
Zelfs zonder die tactiek verbijsterden de aankopen van Obama de Romney-analisten in Boston. Ze hadden geïnvesteerd in hun eigen media-intelligentieplatform, Centraforce genaamd. Het gebruikte enkele van dezelfde geaggregeerde gegevensbronnen die in de Optimizer werden ingevoerd, en soms leken beide de campagnes naar dezelfde onwaarschijnlijke advertentieblokken te sturen, bijvoorbeeld in herhalingen op TV Land. Maar er was veel meer aan wat Alex Lundry, die de datawetenschapseenheid van Romney oprichtte, Obama's zeer variabele mediastrategie noemde. Veel van de advertenties van de Democraten werden geplaatst in marginale markten, op marginale stations en op vreemde tijden waar maar weinig politieke kandidaten ooit waarde hadden gezien. De datawetenschappers van Romney konden die beslissingen eenvoudigweg niet ontcijferen zonder de kiezersmodellen of overtuigingsexperimenten die Obama hielpen om individuele doelen te kiezen. We hebben nooit het niveau van advertenties kunnen achterhalen en wat ze probeerden te doen, zegt Romney-data-analist Brent McGoldrick. Het was niet de moeite waard om te reverse-engineeren, want wat ga je doen?
De gemeenschap
Hoewel de kiezersopinietabellen die uit de Grot tevoorschijn kwamen veel op peilingen leken, waren de analisten die ze maakten niet geneigd ze peilingen te noemen. De campagne had er veel van, gegenereerd door een publiek opinieteam van acht externe bedrijven, en nieuwkomers op het hoofdkantoor in Chicago waren geschokt door de gevarieerde reikwijdte van het onderzoek dat dagelijks op hun bureau arriveerde. We geloofden in het combineren van de qual, die we meer deden dan welke campagne ooit dan ook, met de quant, die we [ook] meer deden dan welke andere campagne dan ook, om ervoor te zorgen dat alle communicatie voor elk niveau van de campagne werd geïnformeerd door wat ze vonden, zegt David Simas, directeur opinieonderzoek.
Simas beschouwde zichzelf als de luchtverkeersleider voor dergelijk onderzoek, dat werd geleid door een reeks kiezersagenda's die het team van Obama in opdracht had gegeven bij de voorbereiding van de campagne voor herkozen. We moesten iets doen dat bijna los stond van de politiek en de manier waarop zij hun leven zien, krijgen, zegt hij. De hoofdonderzoeker, Joel Benenson, liet respondenten schrijven over hun ervaringen. In de inzendingen werd vaak het woord teleurstelling gebruikt, wat de houding ten opzichte van de regering van Obama hielp verklaren, maar ook een bredere ontevredenheid over de economische omstandigheden aangaf. Dat werd de basis voor ons hele onderzoeksprogramma, zegt Simas.
Carol Davidsen koppelde de lijsten van Obama 2012 met overtuigende kiezers aan de factuurgegevens van kabelaanbieders.
De adviseurs van Obama gebruikten die dagboeken om berichten te ontwikkelen die Obama en Romney als een strijder voor de middenklasse contrasteerden. Benensons nationale peilingen testten de taal om te zien welke de reacties van kiezers in enquête-experimenten en directe vragen beïnvloedde. Een kwartet van pollingbureaus kreeg specifieke staten toegewezen en werd gevraagd om uit te zoeken welke nationale thema's het beste passen bij lokale zorgen. Uiteindelijk hebben de media-adviseurs van Obama meer dan 500 advertenties gemaakt en deze getest voor een online steekproef van kijkers geselecteerd door focusgroepdirecteur David Binder.
Maar de campagne moest ook verdedigen. Toen er iets potentieel schadelijks in het nieuws opdook, zoals de verklaring van de Democratische adviseur Hilary Rosen dat Ann Romney nog nooit een dag in haar leven had gewerkt, nam Simas contact op met de Community, een privé online bulletinboard bevolkt door 100 onbesliste kiezers die Binder had gerekruteerd. Simas zou gesprekken met de gemeenschap volgen om te zien welke nieuwsgebeurtenissen het bewustzijn van de kiezers drongen. Soms liet hij Binder controversieel materiaal aan zijn leden tonen - zoals een videoclip van Obama's You did not build that comment - en vroegen of het hun mening over de kandidaat veranderde. Voor mij was het een heel snelle manier om me terug te trekken en te bepalen of iets een probleem was of niet, zegt Simas.
Toen Wagner het onderzoek van zijn afdeling begon te bundelen tot iets dat campagneleiders konden lezen als een peiling, werd een patroon duidelijk. Obama's aantallen in belangrijke slagveldstaten waren laag in de analytische tabellen, maar dat van Romney ook. Er waren gewoon meer onbesliste kiezers in dergelijke staten - soms bijna twee keer zoveel als de traditionele opiniepeilers vonden. Een fundamenteel methodologisch onderscheid verklaarde deze discrepantie: voor microtargeting-modellen moesten veel onwaarschijnlijke kiezers worden geïnterviewd om vorm te geven aan een profiel van hoe een niet-stemster eruitzag, terwijl opiniepeilers die de paardenrace volgden, strenger wilden screenen op degenen die waarschijnlijk zouden gaan stemmen. De rivaliteit tussen de twee eenheden die de publieke opinie probeerden te meten, werd intens: de analytische peilingen vormden een bedreiging voor het primaat van de opiniepeilers en, mogelijk, voor hun bedrijfsmodel. Ik heb veel tijd besteed aan de campagne om mensen uit te leggen dat de cijfers die we krijgen van analyses en de cijfers die we krijgen van externe opiniepeilers niet strikt met elkaar in overeenstemming hoeven te worden gebracht, zegt Walsh. Ze waren anders.
Dankzij de reikwijdte van het analytische onderzoek kon het bewegingen oppikken die te klein waren om door traditionele peilingen te worden waargenomen. Toen Simas half oktober de analytische tabellen van Wagner doornam, zag hij tot zijn schrik dat wat een Romney-voorsprong van één tot twee punten was geweest in Green Bay, Wisconsin, was uitgegroeid tot een voorsprong van zes tot negen. Green Bay was de enige mediamarkt in de staat die een dergelijke verschuiving meemaakte, en er was geen duidelijke verklaring. Maar korting was moeilijk. Terwijl een standaard peiling van 800 personen over de hele staat 100 respondenten in het Green Bay-gebied zou hebben bereikt, plaatste de analyse in Wisconsin 5.000 telefoontjes in elke vijfdaagse cyclus - en profiteerde van tienduizenden andere veldcontacten - om microtargeting-scores te produceren. Analytics sprak met zoveel mensen in de Green Bay-mediamarkt als traditionele opiniepeilers wekelijks in heel Wisconsin. We zouden het vertrouwensniveau kunnen hebben om te zeggen: 'Dit is geen lawaai', zegt Simas. Dus de media-inkopers van de campagne zonden een advertentie uit waarin Romney werd aangevallen op outsourcing en smeekten Messina om voormalig president Bill Clinton en Obama zelf naar daar bijeenkomsten te sturen. (Uiteindelijk nam Romney de provincie 50,3 tot 48,5 procent.)
De analysetabellen lieten echter voor het grootste deel zien hoe stabiel het electoraat was en hoe voorspelbaar individuele kiezers konden zijn. Opiniepeilingen van de media en academische instellingen fluctueerden misschien per uur, maar het gebruik van honderden gegevenspunten om te beoordelen of iemand een waarschijnlijke kiezer was, bleek betrouwbaarder dan het gebruik van een batterij met zeven vragen zoals die van Gallup om hetzelfde te doen. Als je deze Pogo-stick ziet gebeuren met de openbare gegevens, is het electoraat gewoon niet zo vluchtig, zegt Mitch Stewart, directeur van de Democratische campagnegroep Organizing for America. De analytische gegevens boden een bron van rust.
De adviseurs van Romney waren even optimistisch, maar ze waren aan het verliezen. Ook zij geloofden dat het mogelijk was om de samenstelling van het electoraat te projecteren, gebruikmakend van een methode die vergelijkbaar is met die van Gallup: enquêteur Neil Newhouse vroeg respondenten hoe waarschijnlijk het was dat ze zouden gaan stemmen. Degenen die die vraag beantwoordden met een zeven of lager op een schaal van 10 werden buiten beschouwing gelaten als niet geneigd om te stemmen. Maar dat negeerde de experimentele methoden die het mogelijk maakten om individueel gedrag te meten en de impact die een campagne zelf zou kunnen hebben op de motivatie van een burger. Als gevolg daarvan slaagden de Republikeinen er niet in om de kiezers te verklaren dat de Obama-campagne zou kunnen mobiliseren, zelfs als ze zonder enthousiasme of intensiteit naar de verkiezingsdag keken.
Op de laatste dag van de race verlieten Wagner en zijn analysepersoneel de grot en gingen met de lift een verdieping omhoog in de wolkenkrabber van de campagne in Chicago om zich bij leden van andere afdelingen aan te sluiten in een stookruimte die was opgericht om de stemmen bij te houden zodra ze binnenkwamen. al meer dan een maand waren de analisten van Obama bezig met het tellen van de stembiljetten van staten die burgers toestonden om vroeg te stemmen. Elke dag bedekte de campagne de lijsten van vroege kiezers die door de verkiezingsautoriteiten waren vrijgegeven met zijn modelscores om te voorspellen hoeveel stemmen ze als hun eigen stemmen konden claimen.
Tegen de dag van de verkiezingen veranderden de analytische tabellen van Wagner in voorspellingen. Voordat de stembureaus in Ohio opengingen, gaven de autoriteiten in Hamilton County, de op twee na grootste staat van de staat en de thuisbasis van Cincinnati, de namen vrij van 103.508 kiezers die de afgelopen maand vervroegd hadden gestemd. Wagner sorteerde ze op microtargeting-projecties en ontdekte dat 58.379 individuele ondersteuningsscores van meer dan 50,1 hadden - dat wil zeggen, de campagnemodellen voorspelden dat ze meer dan waarschijnlijk op Obama zouden hebben gestemd. Dat kwam neer op 56,4 procent van de stemmen van de provincie, of een ruwe voorsprong van 13.249 stemmen op Romney. Vroege stembiljetten waren de eersten die werden geteld nadat de stembureaus in Ohio waren gesloten, en het hogere personeel van Obama verzamelde zich rond schermen in de stookruimte om de eerste telling te zien. De cijfers kwamen bijna precies overeen met wat Wagner had gezegd: Obama kreeg 56,6 procent van de stemmen in Hamilton County. In Florida was hij zo dicht bij het doel; Obama's marge was slechts twee tiende van een procent korting. Na die eerste twee cijfers wisten we het, zegt Bird. Het was doodstil.
Toen Obama werd gekozen, en met een veel grotere marge van het Electoral College dan de meeste buitenstaanders hadden verwacht, was zijn staf opgetogen, maar niet verrast. De volgende ochtend zat Mitch Stewart alleen in de stookruimte en hield de achterblijvende stemmen in de gaten toen ze de servers van Obama binnenkwamen van de verkiezingsautoriteiten in Florida, de laatste staat die een winnaar noemde. Het presidentschap stond niet meer op het spel; het enige dat nog op het spel stond, was de nauwkeurigheid van de voorspellingen van de analyseafdeling.
De nalatenschap
Een paar dagen na de verkiezingen, terwijl de autoriteiten van Florida de voorlopige stembiljetten bleven tellen, kregen enkele personeelsleden de opdracht, net als vier jaar eerder, in Chicago te blijven. Hun opdracht was om nog een autopsierapport op te stellen met een samenvatting van de lessen van het afgelopen anderhalf jaar. De onderneming heette het Legacy Project, een grandioze titel geïnspireerd door het idee dat de innovaties van Obama 2012 niet alleen vertaald moesten worden naar de campagne van de volgende Democratische presidentskandidaat, maar ook naar bestuur. Obama was erin geslaagd enkele burgers ervan te overtuigen dat een bescheiden aanpassing van hun gedrag de verkiezingsuitslag, hoe marginaal ook, zou beïnvloeden. Zou hij hen hetzelfde gevoel kunnen geven over het Congres?
Simas, die in het Witte Huis had gediend voordat hij bij het team kwam, stond versteld van de intimiteit van de campagne. Misschien meer dan wie dan ook op het hoofdkantoor waardeerde hij het menselijke aspect van politiek. Dit waren zijn eerste presidentsverkiezingen, maar voordat hij een politiek agent werd, was Simas zelf politicus geweest en zat hij in de gemeenteraad en het schoolbestuur in zijn geboorteplaats Taunton, Massachusetts. Hij rende naar zijn ambt door op deuren te kloppen en individueel contact te hebben met kiezers (of degenen waarvan hij hoopte dat ze kiezers zouden worden), in een poging hun stemmingen en verwachtingen te volgen.
In veel opzichten hadden analyses het voor de Obama-campagne mogelijk gemaakt om die stijl van politiek te heroveren. Hoewel de oude garde dergelijke technieken misschien als een verstorende kracht in campagnes beschouwde, stelden ze een presidentskandidaat in staat het electoraat te zien zoals lokale kandidaten dat doen: als een verzameling mensen die een perfectere vakbond vormen, elk van hen benaderbaar op zijn of haar voorwaarden, hun wisselende niveaus van steun en enthousiasme die open staan voor meting en dus voor respect. Dat gaf ons de mogelijkheid om een nationale presidentiële campagne te voeren zoals je een lokale wijkcampagne zou doen, zegt Simas. Je kent de mensen in je buurt. Mensen hebben relaties met elkaar, en je maakt er gebruik van zodat je weet hoe ze over problemen praten, wat ze bespreken in de coffeeshop.
Er zijn maar weinig andere gebeurtenissen in het Amerikaanse leven dan de presidentsverkiezingen die op één dag 126 miljoen volwassenen raken, of zelfs een aanzienlijk deel daarvan. Zeker geen enkel bedrijf, geen maatschappelijke instelling en heel weinig overheidsinstanties doen dat ooit. Obama deed dat door elke Amerikaan terug te brengen tot een reeks getallen. Toch gaven die cijfers op de een of andere manier de individualiteit van elke kiezer weer, en het waren geen demografische classificaties. De scores maten het vermogen van mensen om de politiek te veranderen - en erdoor veranderd te worden.
Dit verhaal is op 18 december bijgewerkt om de beschrijving van de peiling van Neil Newhouse voor de Republikeinen te corrigeren.