211service.com
Wisdom of the Crowd voorspelt nauwkeurig beslissingen van het Hooggerechtshof
FantasySCOTUS is een online fantasy-competitie waarin deelnemers strijden door beslissingen van het Amerikaanse Hooggerechtshof te voorspellen. Spelers worden gerangschikt zoals in elke fantasiecompetitie, en de best presterende kunnen prijzen winnen zoals een Gouden Hamer en zelfs $ 10.000 in contanten.
Sinds 2011 hebben zo'n 7.000 spelers meer dan 600.000 voorspellingen gedaan over de uitkomst van meer dan 400 beslissingen van het Hooggerechtshof. Deze mensen hebben geen speciale kwalificatie nodig en de toegang is gratis, hoewel de prijzen beperkt zijn tot Amerikaanse staatsburgers. Spelers kunnen komen en gaan wanneer ze willen en wel aan sommige voorspellingen deelnemen, maar niet aan andere.
Dat alles maakt dit een interessante groep. Sociale wetenschappers zijn al lang geïnteresseerd in de wijsheid van menigten - het fenomeen waarin grote aantallen individuen, schijnbaar onafhankelijk handelend, samen verrassend nauwkeurige beslissingen kunnen nemen, soms zelfs beter dan de slimste onder hen.
Het landschap van crowdsourced-wijsheid bij het voorspellen van SCOTUS-beslissingen
Wetenschappers weten dat in sommige omstandigheden de wijsheid van de menigte zeer nauwkeurig is, maar dat het in andere niet beter is dan willekeurig gissen, en soms erger. Dus hoe goed is de menigte in het voorspellen van beslissingen van het Hooggerechtshof?
Vandaag krijgen we een antwoord dankzij het werk van Daniel Martin Katz aan het Chicago Kent College of Law in Illinois en een paar vrienden die de gegevens van FantasySCOTUS hebben gekraakt om erachter te komen hoe goed de wijsheid van de menigte werkelijk is. En ze laten zien dat crowdsourcing redelijk goed is in het voorspellen van de uitkomst onder een breed scala aan omstandigheden.
Hun methode is eenvoudig. Deze jongens komen met het volgende scenario:
Stel je voor dat het volgende verhaal echt zou zijn. In oktober 2011 werd een prijs van een miljoen dollar aangekondigd om zes jaar aan beslissingen van het Hooggerechtshof van de Verenigde Staten te voorspellen met behulp van crowdsourcing-gegevens. Duizenden teams uit de hele industrie en de academische wereld reageren op de uitdaging en maken elk iets andere maar redelijke keuzes over hoe ze hun voorspellingen kunnen doen.
Katz en co vragen hoe deze teams het probleem kunnen aanpakken. Sommige teams volgen misschien de wijsheid van de menigte in het algemeen, anderen kiezen misschien een subset van invloedrijke individuen om te volgen, een andere benadering kan zijn om de invloed van individuen te wegen op basis van hun nauwkeurigheid in het verleden, enzovoort. Deze modellen kunnen ook in de loop van de tijd evolueren naarmate de teams leren welke aanpak het beste werkt.
De vraag die Katz en co stellen is hoe goed deze modellen kunnen zijn. Om daar achter te komen, maken ze een breed scala aan modellen - zo'n 250.000 - en testen ze op de gegevens van FantasySCOTUS. We simuleren uitputtend modellen over een breed scala aan redelijke keuzes, en analyseren vervolgens de prestaties van deze modellen in totaal, zeggen de onderzoekers.
Vervolgens vergelijken ze de prestaties van de modellen met een nulmodel. In dit geval is het nulmodel een vuistregel die advocaten gebruiken om de uitkomst van beslissingen van het Hooggerechtshof te raden. Deze regel gaat ervan uit dat SCOTUS de beslissing van een lagere rechtbank zal herroepen. En inderdaad, dit is wat er ongeveer 60 procent van de tijd gebeurt.
Uit de analyse blijkt echter dat crowdsourced-modellen nog beter zijn. Katz en co zeggen dat veel modellen consequent beter presteren dan het nulmodel, de best voorspellende SCOTUS-beslissingen met een nauwkeurigheid van 80 procent. We bieden krachtige ondersteuning voor de bewering dat crowdsourcing de beslissingen van het Hooggerechtshof van de Verenigde Staten nauwkeurig en robuust kan voorspellen, zeggen ze.
Het team is van plan dezelfde methode te gebruiken om de uitkomst van andere wetgevingsprocessen en zelfs verkiezingen te voorspellen.
Het werk geeft echter geen inzicht in de zwakheden van crowdsourcingwijsheid. De wijsheid van menigten valt bijvoorbeeld vaak in duigen wanneer de meningen van individuen gecorreleerd raken - wanneer ze elkaar te sterk beïnvloeden. Dit kan leiden tot rampzalige situaties, zoals wanneer grote groepen irrationele of verkeerde meningen hebben onder de heerschappij van groepsdenken.
Natuurlijk ligt het interessante gebied tussen deze uitersten - tussen wijsheid en dwaasheid. Daarom kan het een interessante weg zijn voor toekomstig werk om te begrijpen hoe en wanneer wijsheid kapot gaat.
Referentie: arxiv.org/abs/1712.03846 : Crowdsourcing voorspelt nauwkeurig en robuust beslissingen van het Hooggerechtshof