Bij de verkiezingen van 2016 hadden opiniepeilers het bij het verkeerde eind. Nu willen ze nog een kans.

Er is een nieuwe menigte van orakels in spe, vastbesloten om de fouten van hun voorgangers niet te herhalen. Door

• Rob Arthur archiefpagina

14 februari 2020

Karsten Petrat

In de nacht van 8 november 2016 zag Charles Franklin, net als miljoenen andere Amerikanen, de resultaten van de presidentsverkiezingen binnenkomen met wat hij beschreef als een zinkend gevoel. Maar Franklin , een opiniepeiler uit Wisconsin en hoogleraar recht en openbaar beleid aan de Marquette University, was niet bedroefd vanwege zijn persoonlijke politieke voorkeuren; hij had zijn reputatie op het spel. Slechts een week eerder had zijn eigen peiling Hillary Clinton zes punten laten stijgen in Wisconsin. In plaats daarvan was ze hier en verloor ze met zeven tienden van een punt.

Franklin had dienst bij ABC's Decision Desk, een lid van een deskundig team achter de schermen dat verantwoordelijk was voor het oproepen van staten voor Clinton of Donald Trump zodra de cijfers binnenkwamen. duidelijk dat zijn onderzoek was uitgeschakeld.

Dit verhaal maakte deel uit van ons nummer van maart 2020

• Zie de rest van het nummer
• Abonneren

Niemand wil ongelijk hebben, zegt hij terugkijkend. Dus in die zin was het erg deprimerend.

Hij was niet de enige opiniepeiler die de verkiezingen verkeerd las. Volgens RealClearPolitics , bij elk van de meer dan 30 peilingen in Wisconsin in de maanden voorafgaand aan de verkiezingen won Clinton de staat met marges variërend van 2 tot 16 punten. En deze fouten waren nog versterkt omdat ze vervolgens werden gebruikt als brandstof voor computeralgoritmen die een algehele overwinning van Clinton voorspelden.

Nadat Donald Trump zijn overwinningstoespraak had gehouden en het stof was opgetrokken, begon iedereen zijn fouten toe te geven.

Het deed me pijn om te beseffen dat ik het bij het verkeerde eind had, schreef Natalie Jackson, een datawetenschapper bij de Huffington Post, die Clinton een kans van 98% had gegeven om te winnen.

De media, waaronder veel media wiens eigen voorspellingen Clinton een grote kans op overwinning hadden gegeven, begonnen het falen van voorspellingsalgoritmen te veroordelen. Sommige critici waren oplettender dan anderen en erkenden dat sommige voorspellers een overwinning van Trump nauwkeurig hadden beschreven als louter onwaarschijnlijk. Maar velen trekken het hele idee van het voorspellen van verkiezingen in twijfel. Sommigen gebruikten de verkiezing zelfs als munitie om het hele veld van datawetenschap aan te vallen.

Maar bijna vier jaar later, en met een nieuwe wedstrijd in aantocht, beginnen voorspellers vroege voorspellingen te doen voor 2020. De terugslag op 2016 heeft hen niet ontmoedigd - sterker nog, er is nu een hele nieuwe menigte van potentiële orakels, vastbesloten om dit niet te doen. de fouten van hun voorgangers herhalen.

Wat ging er mis

Een cocktail van problemen leidde tot de verkiezingsmissers van 2016. Sommige enquêtes slaagden er niet in om voldoende laagopgeleide blanke kiezers te bereiken, terwijl sommige Trump-aanhangers weigerden toe te geven op welke manier ze zouden stemmen. De onconventionele strategie van Trump leverde ook meer burgers op in zwaar Republikeinse landelijke provincies. Opiniepeilers gingen er ten onrechte van uit dat deze mensen weg zouden blijven, zoals ze bij eerdere verkiezingen hadden gedaan, waardoor de basis van Trump kleiner leek dan hij in werkelijkheid was.

Maar terwijl opiniepeilers de meeste schuld kregen, had er misschien meer veroordeling moeten zijn op de voorspellers, die de gegevens van opiniepeilers omzetten in voorspellingen.

Twee grote voorspellers hadden Hillary Clinton met 99% te winnen, zegt G. Elliott Morris, een datajournalist bij The Economist die zich bezighoudt met verkiezingsprognoses. Toen ze dat niet deed, gaven veel van hen de opiniepeilers de schuld, omdat het gemakkelijk voor hen is.

Er zijn ten minste twee grote fouten gemaakt door enkele datawetenschappers die hebben geholpen bij het ontwerpen van de voorspellingsalgoritmen. Ten eerste gingen ze ervan uit dat als de kans op een afwijking van bijna zeven punten in Wisconsin klein was, de kans op een vergelijkbare fout in andere kritieke staten zoals Michigan en Pennsylvania klein was. In feite waren pollingproblemen in de ene staat gecorreleerd met fouten in andere, vergelijkbare staten. Ervan uitgaande dat peilingen volledig onafhankelijk van elkaar waren - in plaats van dezelfde reacties op dezelfde kwesties weer te geven - produceerde overmoed in de leiding van Clinton.

Ten tweede slaagden voorspellingsalgoritmen er niet in om het recordaantal onbesliste kiezers te registreren als waarschuwingssignaal. Omdat zoveel kiezers tot de verkiezingsdag op het hek zaten – en uiteindelijk sterk zouden breken voor Trump – waren de marges van Clinton veel minder veilig dan ze leken.

Karsten Petrat

Het staarde ons recht in het gezicht, zegt Rachel Bitecofer , een professor in de politieke wetenschappen aan de Christopher Newport University. Als er vlak voor de verkiezingsdag meer peilingen waren geweest in de zwaar omstreden staten, zo suggereert ze, hadden analisten het ongebruikelijk hoge aantal kiezers kunnen oppikken dat op het laatste moment besloot te gaan.

Het was echter niet alleen de schuld van de voorspellers. Zelfs als hun kansen voor elke kandidaat juist waren, leek het publiek moeite te hebben de betekenis van die getallen te begrijpen.

Tijdens de laatste dagen van de verkiezingscampagne werkte ik bij FiveThirtyEight, een van de meest prominente verkooppunten die voorspellingen deed. Mijn baan hield niet de presidentiële race in: in plaats daarvan dekte ik de World Series van honkbal. Toen de Chicago Cubs in de reeks van zeven wedstrijden tegen de Cleveland Indians drie wedstrijden achterstand hadden op één tegen de Cleveland Indians, merkte ik op dat hun kans om te winnen, ongeveer één op zes, een haar lager was dan Trumps kansen om het Witte Huis te veroveren. Zes teams hadden het eerder gedaan in de 113-jarige geschiedenis van de World Series, en nog eens zeven hadden het voor elkaar gekregen in andere play-offrondes, dus het was zeker mogelijk, maar het was niet typisch. Daarna, toen zowel de Cubs als Trump tegen de verwachtingen in wonnen, ontving ik een stortvloed aan haat-tweets waarin ik de schuld kreeg dat ik op de een of andere manier twee zeer mogelijke wendingen van het lot tot stand had gebracht.

Als je hoort dat er 20% kans op regen is, neem je je paraplu niet mee. En dan regent het en word je helemaal afgevinkt en het is waarschijnlijk jouw schuld, zegt Steven Shepard, een redacteur en verkiezingsvoorspeller bij Politico. Maar dat 20% voorkomen is niet per se zo onwaarschijnlijk.

Veel mensen leken te kijken naar welke kandidaat naar verwachting zou winnen (meestal Clinton) zonder na te denken over hoe zeker de voorspellers waren. Een kans van 70% op een overwinning van Clinton was zeker in het voordeel van de Democraat, maar had heel anders moeten worden bekeken dan een kans van 99%.

Toch zeiden sommigen 99%, en ze waren ongetwijfeld te agressief. Sam Wang van het Princeton Election Consortium schatte de kansen van Trump op minder dan 1%, en beloofde zelfs een insect te eten als Trump meer dan 240 kiesmannen zou halen.

Toen de verkiezingsuitslag bekend werd, bleef Wang trouw aan zijn woord. Een week na de dag van de verkiezingen heeft hij verscheen op CNN met een blikje gastronomische krekels (gastronomisch gezien vanuit het oogpunt van een huisdier, verduidelijkte hij) en veroordeelt het spektakel dat zijn weddenschap had veroorzaakt. Ik hoop dat we terug kunnen naar gegevens en nadenken over beleid en kwesties, zei hij voordat hij een krekel in honing doopte en, met een gepijnigde uitdrukking, het insect naar binnen slokte.

Driedubbele dreiging

Niet alle voorspellingen waren zo ver weg als die van Wang. Sommigen verwachtten zelfs een overwinning voor Trump. Om te begrijpen waarom ze zo verschillend binnenkwamen, is het waardevol om te kijken naar de reeks benaderingen, die in drie brede klassen vallen.

De vroegste voorspellingen in elke verkiezingscyclus zijn afkomstig van zogenaamde fundamentele modellen. Deze zijn meestal opgebouwd uit beoordelingen van presidentiële goedkeuringen, economische statistieken en demografische indicatoren. Een sterke economie voorspelt overwinning voor de partij van de zittende partij, evenals een hoge waardering voor de zittende partij. De demografische samenstelling van een staat kan ook worden gebruikt om de uitkomst te voorspellen - bijvoorbeeld, blanke, niet-hogeschoolopgeleide kiezers stemden in 2016 meestal op Trump, dus staten met veel van hen zullen eerder zijn weg gaan in 2020 als goed.

Omdat deze factoren relatief stabiel zijn, kunnen betrouwbare fundamentele voorspellingen veel eerder worden gedaan dan de meeste andere soorten voorspellingen. Modellen als deze lijken te eenvoudig om alle eigenaardigheden en schandalen van de moderne, tweejarige campagne vast te leggen. Maar ze presteerden schrikbarend goed in 2016: zes van de tien voorspelden de uiteindelijke populaire stem tot op één procentpunt.

Het presidentschap wordt echter niet gekozen door een rechtstreekse nationale volksstemming, en dat is een belangrijke beperking van de fundamentele benaderingen: slechts weinigen voorspellen de uiteindelijke resultaten van het kiescollege.

Fundamentele modellen hebben nog een zwak punt. Als er laattijdig nieuws komt, zoals een schandaal aan het einde van de race of een plotselinge verschuiving in de economie (de financiële crisis van 2008 is een goed voorbeeld), dan kunnen deze stabiele voorspellingen plotseling hopeloos achterhaald raken. Om dit te compenseren, begonnen statistici ongeveer tien jaar geleden nieuwe soorten kwantitatieve modellen te populariseren die niet zo kwetsbaar zijn voor deze verrassingen in oktober. Ze verwerken peilinggegevens zodra deze bekend worden gemaakt en maken van dag tot dag een schatting van wie er zal winnen, zodat ze kunnen reageren als de publieke opinie verandert.

RealClearPolicies en de Het resultaat van de New York Times beide hebben goed aangeschreven kwantitatieve modellen, maar geen enkel model heeft meer bekendheid - of misschien wel een betere staat van dienst - dan Nate Silver's FiveThirtyEight-voorspelling, genoemd naar het totale aantal stemmen in het Electoral College. Het algoritme van FiveThirtyEight is er in verschillende variaties, maar ze zorgen er allemaal voor dat de peilingen worden aangepast op basis van hoe betrouwbaar de onderzoeksorganisatie is en of de resultaten ervan consistent democratisch of republikeins leunen. De zorgvuldige verwerking van peilingsgegevens en de aandacht die Silver besteedt aan onzekerheid, hebben het traditioneel onderscheiden van andere voorspellingen. FiveThirtyEight is de gouden standaard, vertelde Bitecofer me.

Van de belangrijkste kwantitatieve verkiezingsvoorspellingen was die van FiveThirtyEight de meest conservatieve , waarbij Clinton aan de vooravond van de verkiezingen een kans van 71,4% kreeg om te winnen. Achteraf gezien klinkt dat zo ongeveer nu, zegt Charles Franklin: de overwinning van Trump was een onwaarschijnlijke, maar niet onmogelijke uitkomst.

Ten slotte zijn er voorspellers die wiskundige benaderingen helemaal mijden en in plaats daarvan vertrouwen op een combinatie van intuïtie, peiling en de output van alle andere soorten modellen bij elkaar. Deze kwalitatieve voorspellingen draaien op een van de meest geavanceerde en toch foutgevoelige rekenmachines die we kennen: het menselijk brein.

In plaats van nauwkeurige numerieke schattingen, groeperen kwalitatieve voorspellers races doorgaans in een van de vier categorieën op een schaal die varieert van veilig tot opgooien.

Opgooien betekent dat er geen favoriet is: een soort muntstuk, zegt Kyle Kondik , een kwalitatieve voorspeller met de Crystal Ball politieke analyse-nieuwsbrief van de Universiteit van Virginia. Lean, zegt hij, is een klein voordeel voor de ene of de andere kant. Waarschijnlijk is een grotere rand voor de ene of de andere kant. En veilig, zegt hij, betekent dat we zouden schrikken als dat feest zou verliezen. Sommige kwalitatieve voorspellers beweren dat deze verbale groeperingen lezers helpen de relatieve kansen beter te begrijpen dan de meer exacte getallen die elders worden aangeboden.

Hoewel deze voorspellingen misschien minder wetenschappelijk lijken dan voorspellingen die gebaseerd zijn op het kraken van cijfers, hebben sommige een indrukwekkend niveau van nauwkeurigheid. In de tussentijdse examens van 2018 volgens een externe beoordeling van verschillende professionele prognoses , het was de toepasselijk genaamde Crystal Ball die het beste deed, niet het statistische algoritme van FiveThirtyEight. Prestaties hebben echter de neiging om van cyclus tot cyclus te fluctueren: volgens opiniepeilers en academici is het het beste om een ​​grote verscheidenheid aan voorspellingen te gebruiken: kwalitatieve, kwantitatieve en fundamentele gegevens.

Wat nu?

Bijna alle voorspellers die ik sprak, hadden na de resultaten van 2016 venijnige haatmail ontvangen. Toch hebben tientallen nieuwe modelbouwers hun petje in de ring gegooid voor 2020.

Ze zullen dit jaar voor het eerst hun voorspellingen uitrollen en ze zijn van plan fouten uit eerdere verkiezingscycli te vermijden. Morris, de voorspeller van The Economist, is een van degenen die het veld betreedt. Hij noemde eerdere, foutgevoelige voorspellingen liegen tegen mensen en redactionele wanpraktijken. Daar moeten we van leren, zegt hij.

The Economist zal zijn algoritme bouwen met behulp van peilingen die zijn gepubliceerd door externe organisaties, maar het zal ook zijn eigen onderzoeken uitvoeren om de resultaten in ambigue staten en rassen te ondersteunen, waarvan Morris hoopt dat dit tot grotere nauwkeurigheid kan leiden.

Ook de Washington Post waagt zijn eerste gok op voorspellingen, maar kiest een andere weg. Het blijft buiten het voorspellingsspel totdat de rendementen binnenkomen. Pas als de eerste districten op de verkiezingsdag de stemtotalen beginnen bekend te maken, zal de Post zijn analytische model inzetten om de waarschijnlijkheid te beoordelen dat specifieke kandidaten de staat of het district kiezen waarvoor ze zijn concurreren. Door te wachten tot de eerste stemmen zijn geteld, zijn de datawetenschappers van de Post van plan om de fout bij het voorspellen van de rest van de stemmen drastisch te verminderen, zij het ten koste van het niet kunnen vrijgeven van een vroege projectie.

Ervaren voorspellers en opiniepeilers zitten ook niet stil. Bouwers van fundamentele modellen beginnen de uitdaging aan te gaan om het Electoral College te voorspellen in plaats van alleen de populaire stemming. Bitecofer ontwierp een model dat voornamelijk is gebaseerd op demografie en dat al een nipte verkiezingsoverwinning voorspelt voor de Democratische uitdager, wie dat ook mag zijn.

De ontwerpers van die problematische kwantitatieve algoritmen lijken hun lesje te hebben geleerd over gecorreleerde fouten tussen staten. De Huffington Post heeft een MEA culpa voor zijn 98% voorspelling van een overwinning van Clinton. Wang, de insectenetende professor van Princeton, heeft beloofd zijn algoritme te updaten, zodat het in 2020 veel minder vertrouwen zal hebben. toegeven op zijn blog dat zijn eerdere model een vergissing was.

POLLING VAN PAARDEN RACE WORDT GELOOFD OM HET CYNISME TE VERHOGEN ... HET VEROORZAAKT MENSEN POLITIEK ALS EEN SPEL TE BEKIJKEN, WAAR ZE EROP ZIJN VOOR HUN TEAM.

Kwalitatieve voorspellers hebben ondertussen verschillende lessen getrokken uit 2016. Er zijn veel verschillende dingen waar ik achteraf gezien had gewild dat we ons misschien wat meer op hadden gericht, maar ik zou zeggen dat de op de fundamenten gebaseerde modellen de beste waren in die verkiezing, zegt Kondik van de Universiteit van Virginia. Ik wou dat we ze allemaal meer aandacht zouden schenken.

Kondik en anderen benadrukken de noodzaak om voorzichtig te zijn met elke voorspelling, gezien de historische impopulariteit van de zittende president, die zijn kansen zou moeten verkleinen, en de sterke economie, die ze zou moeten vergroten. Die duelfactoren zorgen ervoor dat de race tot op de verkiezingsdag onzeker is.

Karsten Petrat

Elders zijn mediaorganisaties ook begonnen met het verstrekken van hun schattingen op manieren die zijn ontworpen om de lezer een beter, intuïtiever begrip te geven van wat waarschijnlijkheden betekenen. In plaats van te schrijven dat Democraten bijvoorbeeld een kans van 87,9% hadden om het Huis te winnen tijdens de tussentijdse verkiezingen van 2018, benadrukte FiveThirtyEight dat ze hadden kunnen verwachten dat ze zeven van de acht keer zouden winnen.

Psychologen hebben ontdekt dat mensen dit soort [nummers] beter begrijpen, schreef Yphtach Lelkes, een professor in communicatie aan de Universiteit van Pennsylvania.

Ten slotte verhogen opiniepeilers ook hun spel. De American Association for Public Opinion Research (AAPOR) bracht een retrospectief van 2016 uit met lessen voor toekomstige verkiezingen. Tips zijn onder meer het gebruik van statistische trucs om ervoor te zorgen dat bevolkingssteekproeven representatiever zijn voor de staat die wordt ondervraagd en het uitvoeren van meer peilingen in de laatste dagen van de campagne om de neigingen van laat beslissende kiezers vast te leggen, die zo cruciaal bleken voor de overwinning van Trump.

Franklin, de opiniepeiler van Wisconsin, was een van de auteurs van de autopsie van AAPOR. De systematische mislukking van tientallen enquêtes in verschillende staten suggereert dat de fout van zijn peiling te wijten was aan een echte verschuiving in de laatste dagen van de race, en niet aan een eerdere, meer fundamentele fout. Toch vraagt ​​hij zich af wat er had kunnen zijn: wat als we in het weekend voor de verkiezingen hadden gestemd? Zouden we de zwaai naar Trump in die gegevens hebben vastgelegd?

Quantum polling

Maar hoewel fouten van vier jaar geleden kunnen worden gecorrigeerd, kunnen er ook nieuwe problemen opduiken voor de cyclus van 2020. Sommige kunnen zelfs worden gedreven door zelf voorspellingen te doen. Sommige deskundigen beweren dat verkiezingsvoorspellingen van invloed kunnen zijn op de resultaten die ze proberen te voorspellen.

STUDIES SUGGEREN DAT ALS MENSEN GELOVEN DAT DE UITKOMST VAN EEN VERKIEZING ZEKER IS, ZE MINDER WAARSCHIJNLIJK ZIJN OM TE STEMMEN.

Volgens een recent onderzoek , een overweldigend liberaal publiek stemde af op die al te zelfverzekerde kwantitatieve voorspellingen in 2016. Eerder gepubliceerde onderzoeken suggereren dat wanneer mensen geloven dat de uitslag van een verkiezing zeker is, ze minder snel zullen stemmen, vooral als de zekerheid in het voordeel van hun gekozen is. kandidaat. Dus in een draai aan wat bekend staat als het waarnemerseffect - waarbij alleen al het kijken naar iets de uitkomst verandert - zou het voeden van een zwaar democratisch publiek met een vast dieet van overmoedige peilingen zoals die van Wang de opkomst aanzienlijk hebben verminderd. Aangezien de race in wezen werd beslist met slechts 107.000 stemmen in drie staten, had elke verlaging belangrijk kunnen zijn.

Clinton verloor met zo weinig stemmen dat het zeker mogelijk is dat probabilistische voorspellingen ervoor zorgden dat genoeg Democraten thuis bleven dat het de uitkomst beïnvloedde, schreef Lelkes. Clinton suggereerde dat zelf ook. Ik weet niet hoe we ooit zullen berekenen hoeveel mensen dachten dat het in de tas zat, omdat de percentages steeds naar mensen werden gegooid - 'Oh, ze heeft 88 procent kans om te winnen!', zei ze in een interview in New Yorkse tijdschrift.

Zelfs als verkiezingsvoorspellingen de uitkomst in 2016 niet zouden veranderen, zou dit een grotere impact kunnen hebben op toekomstige campagnes.

Men denkt dat paardenraces het politiek cynisme vergroten, de opkomst beïnvloeden, de polarisatie vergroten en waarschijnlijk informatie over inhoudelijke kwesties verdringen, schreef Lelkes. Het zorgt ervoor dat mensen politiek gaan zien als een spel, waarbij ze erop uit gaan om hun team te steunen, in plaats van kandidaten te steunen op basis van hun politieke standpunten. En als deze effecten reëel zijn, zullen ze waarschijnlijk krachtiger worden naarmate er meer voorspellingen worden gedaan.

Sommige voorspellers, zoals Silver, hebben deze zorg van de hand gewezen. Ze stellen dat het niet hun taak is om mensen te vertellen of ze wel of niet moeten stemmen – of om de media te vertellen wat ze moeten vertellen. Anderen nemen het advies van Lelkes en zijn collega's echter serieuzer.

We experimenteren met manieren om onzekerheid over te brengen die mensen er niet van weerhouden [te stemmen], zegt Morris van The Economist. Maar ik denk dat dat nog steeds een probleem is dat voorspellers zullen hebben ... Ik weet niet hoe we sommige van de maatschappelijke implicaties van ons werk kunnen omzeilen.

Rob Arthur is een onafhankelijke journalist en data science-consultant gevestigd in Chicago.

zich verstoppen