211service.com
Datamining onthult de manier waarop mensen elkaar evalueren
De manier waarop we de prestaties van andere mensen evalueren, is een van de grotere mysteries van de cognitieve psychologie. Dit proces vindt continu plaats terwijl we het vermogen van individuen om bepaalde taken uit te voeren beoordelen, waarbij we iedereen beoordelen, van elektriciens en buschauffeurs tot accountants en politici.
Het probleem is dat we toegang hebben tot slechts een beperkte set gegevens over de prestaties van een persoon - sommige rechtstreeks relevant, zoals het rijgedrag van een taxichauffeur, maar veel ervan irrelevant, zoals het geslacht van de bestuurder. De hoeveelheid informatie kan inderdaad zo groot zijn dat we genoodzaakt zijn om een kleine subset ervan te gebruiken. Hoe komen die beslissingen tot stand?
Vandaag krijgen we een soort antwoord dankzij het werk van Luca Pappalardo aan de Universiteit van Pisa in Italië en een paar vrienden die dit probleem hebben bestudeerd in de sportarena, waar prestatiekwesties in schril reliëf worden gegooid. Hun werk geeft een uniek inzicht in de manier waarop we menselijke prestaties evalueren en hoe dit zich verhoudt tot objectieve maatregelen.
De factoren die menselijke waarnemers gebruiken om prestaties te beoordelen, zijn een kleine subset van objectieve maatstaven.
Sportprestaties zijn een gebied waar sinds enkele jaren gedetailleerde gegevens over individuele prestaties worden verzameld. Pappalardo en co richten zich op voetbal, 's werelds meest populaire sport, en in het bijzonder op de prestaties van spelers die aan de top van de sport strijden in de Italiaanse Serie A-voetbalcompetitie.
Jarenlang hebben Italiaanse sportkranten de prestaties van spelers in elke wedstrijd beoordeeld op een schaal van 0 tot 10, waarbij 0 onvergetelijk slecht is en 10 onvergetelijk geweldig. Dit systeem is gebaseerd op het Italiaanse systeem van schoolclassificaties, waarbij een 6 aangeeft dat een leerling voldoende heeft gepresteerd. De manier waarop de spelers worden beoordeeld, wordt niet gepubliceerd, maar is vermoedelijk gedaan door een deskundige sportjournalist.
In de afgelopen jaren zijn dezelfde spelers ook beoordeeld door een objectief meetsysteem dat het aantal passes, schoten, tackles, saves enzovoort telt dat elke speler maakt. Deze technische maatregel houdt rekening met 150 verschillende parameters en biedt een uitgebreid overzicht van de prestaties van elke speler op het veld.
De vraag die Pappalardo en co stellen is hoe de krantenbeoordelingen correleren met de technische beoordelingen, en of het mogelijk is om de technische gegevens te gebruiken om de factoren te begrijpen die menselijke beoordelingen beïnvloeden.
De onderzoekers beginnen met de technische dataset van 760 wedstrijden in de Serie A in de seizoenen 2015-16 en 2016-17. Dit bestaat uit meer dan een miljoen datapunten die tijdgestempelde on-pitch-evenementen beschrijven. Ze gebruiken de gegevens om een technische prestatievector voor elke speler in elk spel te extraheren; dit fungeert als een objectieve maatstaf voor zijn prestaties.
De onderzoekers hebben ook de beoordelingen voor elke speler in elke wedstrijd van drie sportkranten: Gazzetta dello Sport , Corriere dello Sport , en Tuttosport .
De krantenbeoordelingen hebben enkele interessante statistische eigenschappen. Slechts 3 procent van de beoordelingen is lager dan 5 en slechts 2 procent hoger dan 7. Wanneer de beoordelingen worden gecategoriseerd in overeenstemming met het schoolbeoordelingssysteem - slecht als ze lager zijn dan 6 en goed als ze 7 of hoger zijn - slecht beoordelingen blijken drie keer zo vaak voor te komen als goede.
Over het algemeen beoordelen de kranten een optreden op dezelfde manier, hoewel er af en toe onenigheid kan zijn met maximaal 6 punten. We constateren een goede overeenkomst over gepaarde beoordelingen tussen de kranten, waarbij we vaststellen dat de beoordelingen (i) identieke distributies hebben; (ii) sterk met elkaar gecorreleerd zijn; en (iii) verschillen doorgaans met één beoordelingseenheid (0,5), zeggen Pappalardo en co.
Om de relatie tussen de krantenbeoordelingen en de technische beoordelingen te analyseren, gebruiken Pappalardo en zijn collega's machine learning om correlaties in de datasets te vinden. In het bijzonder creëren ze een kunstmatige rechter die probeert de krantenbeoordelingen te reproduceren uit een subset van de technische gegevens.
Dit leidt tot een merkwaardig resultaat. De kunstmatige rechter kan de krantenbeoordelingen met een redelijke mate van nauwkeurigheid matchen, maar niet zo goed als de kranten met elkaar overeenkomen. Het meningsverschil geeft aan dat de technische kenmerken alleen het beoordelingsproces van [kranten] niet volledig kunnen verklaren, zeggen Pappalardo en co.
Met andere woorden, de krantenbeoordelingen moeten afhankelijk zijn van externe factoren die niet worden opgevangen door de technische gegevens, zoals de verwachting van een bepaald resultaat, persoonlijke vooringenomenheid, enzovoort.
Om dit idee te testen, hebben Pappalardo en co een andere set gegevens verzameld die externe factoren vastleggen. Deze omvatten de leeftijd, nationaliteit en club van de speler, het verwachte spelresultaat zoals geschat door bookmakers, het daadwerkelijke spelresultaat en of een spel thuis of uit wordt gespeeld.
Wanneer deze gegevens worden opgenomen, doet de kunstmatige rechter het veel beter. Door contextuele informatie toe te voegen, neemt de statistische overeenkomst tussen de kunstmatige rechter en de menselijke rechter aanzienlijk toe, aldus het team.
Ze kunnen inderdaad duidelijk voorbeelden zien van de manier waarop externe factoren de kijkcijfers van de krant beïnvloeden. In de hele dataset hebben slechts twee spelers ooit een perfecte 10 gekregen. Een daarvan was de Argentijnse spits Gonzalo Higuaín, die speelde voor Napoli. Bij deze gelegenheid scoorde hij drie doelpunten in een wedstrijd, en daarmee werd hij de hoogste scorer ooit in een seizoen in de Serie A. Die mijlpaal was vrijwel zeker de reden voor de perfecte rating, maar er is geen manier om dit af te leiden score uit de technische dataset.
Een belangrijke vraag is welke factoren de kunstmatige rechter gebruikt om de krantenbeoordelingen te matchen. We merken dat de meeste aandacht van een menselijke rechter wordt besteed aan een klein aantal kenmerken, en de overgrote meerderheid van de technische kenmerken wordt slecht overwogen of weggegooid tijdens het evaluatieproces, zeggen Pappalardo en co.
Dus voor aanvallende aanvallers hebben kranten de neiging om ze te beoordelen op basis van gemakkelijk waarneembare factoren zoals het aantal gescoorde doelpunten; ze beoordelen keepers op het aantal tegendoelpunten. Spelers op het middenveld worden doorgaans beoordeeld op basis van meer algemene parameters, zoals het doelsaldo.
Dat is logisch: menselijke waarnemers hebben een beperkte bandbreedte en zijn waarschijnlijk in staat om slechts een klein deel van de prestatie-indicatoren waar te nemen. Het team zegt inderdaad dat de kunstmatige rechter menselijke beoordelingen kan evenaren met behulp van minder dan 20 van de technische en externe factoren.
Dat is een fascinerend resultaat dat belangrijke implicaties heeft voor de manier waarop we over prestatiebeoordelingen denken. Het doel is natuurlijk om effectievere manieren te vinden om prestaties in allerlei situaties te evalueren. Pappalardo en co denken dat hun werk hier een belangrijke invloed op heeft. Dit document kan worden gebruikt om menselijke evaluatoren in staat te stellen inzicht te krijgen in de onderliggende logica van hun beslissingen, concluderen ze.
Referentie: arxiv.org/abs/1712.02224 : Menselijke perceptie van prestaties