De wet van Benford en de kunst van het slagen in meerkeuzetoetsen

In de jaren dertig ontdekte de Amerikaanse natuurkundige Frank Benford dat het eerste cijfer in bepaalde getallenlijsten veel eerder een 1 dan een 9 was. Hij testte dit idee op verschillende datasets, zoals het oppervlak van rivieren, een lijst met fysieke constanten en zelfs de straatadressen van de eerste 342 vermeldingen in American Men of Science.

In beide gevallen vond hij hetzelfde patroon. Dat het cijfer 1 het eerste cijfer 30 procent van de tijd is, het cijfer 2 het eerste cijfer 18 procent van de tijd is, het cijfer 3 de eerste 13 procent van de tijd is enzovoort tot het cijfer 9 dat het eerst is slechts 5 procent van de tijd.

Hij stelde vervolgens de wet van Benford voor: dat de verdeling van de eerste getallen in veel, maar niet alle, datasets hetzelfde logaritmische patroon volgt. Het blijkt dat deze eigenschap geldt voor veel datasets met fysieke hoeveelheden, maar niet voor willekeurig gegenereerde getallen waarin de verdeling van de eerste cijfers uniform is.

Nu, 60 jaar later, is de wet van Benford beroemd. De bekendste toepassing is het opsporen van fraude. Dat kan omdat de verdeling van de eerste cijfers in de rekeningen van een bedrijf de wet van Benford blijkt te volgen. Dus elke afwijking hiervan is een goed bewijs dat iemand de boeken heeft gekookt. En dit heeft geleid tot de ondergang van verschillende fraudeurs.

Maar dat roept een interessante vraag op: waar zou de wet van Benford anders goed kunnen worden gebruikt?

Vandaag hebben Aaron Slepkov van de Trent University in Peterborough, Canada, en een paar vrienden een suggestie gedaan. Ze wijzen erop dat de antwoorden op meerkeuzeexamens in de natuurkunde de wet van Benford moeten volgen. Maar als de foute antwoorden willekeurig worden gekozen, zullen ze de wet van Benford niet volgen.

Dus kan een ondernemende student met begrip als de wet van Benford, maar weinig begrip van natuurkunde, een voordeel behalen?

Om daar achter te komen, simuleerden Slepkov en co zo'n meerkeuze-examen met 5000 proefvragen. Voor de juiste antwoorden gebruikten ze een dataset met getallen uit de antwoorden op echte natuurkundevragen. Maar ze haalden de verkeerde antwoorden uit een dataset van willekeurige getallen waarin de eerste cijfers uniform zijn verdeeld (d.w.z. het eerste cijfer is even waarschijnlijk een van de cijfers van 1 tot 9).

De beste strategie bij zo'n meerkeuzetoets is om het antwoord met het laagste eerste cijfer te kiezen. En als twee of meer antwoorden hetzelfde laagste cijfer hebben, kies dan.

En dat is wat Slepkov en co deden bij het afleggen van de tests. De resultaten zijn overtuigend. In een meerkeuzetoets met 3 mogelijke antwoorden leverde deze strategie een score van 51 procent op. Dat is een duidelijke pass, ook al zijn de antwoorden gekozen zonder enige kennis van de fysica die wordt getest.

In zekere zin is dat niet echt verrassend. De wet van Benfords houdt in dat de kans dat het eerste cijfer een 1, 2 of 3 is, groter is dan 50 procent en dit levert een duidelijke vooringenomenheid op voor iemand die het weet.

Maar werkt deze strategie ook voor echte examens? Slepkov en co hebben het getest op een dataset van bekende meerkeuze-examens voor natuurkunde en hun resultaten zorgen voor een verrassing.

De door de wet van Benford voorgestelde strategie levert geen enkel voordeel op. Ze vonden dat het onmogelijk was om op deze manier een natuurkunde-examen te halen.

Hoe kan dat? Slepkov en co hebben de juiste antwoorden en ook de dummy-antwoorden in deze papieren onder de loep genomen en vonden iets verrassends. Hoewel de echte antwoorden de wet van Benford volgen, doen de onjuiste antwoorden dat ook. Er is dus geen verschil in de verdeling van de eerste cijfers die een ondernemende student kan uitbuiten.

Precies waarom de onjuiste antwoorden de wet van Benford volgen, is niet duidelijk. Het zijn duidelijk geen willekeurige getallen, dus hoe kunnen ze worden gekozen? Slepkov en co bespreken een aantal mogelijkheden, waarvan misschien de meest voor de hand liggende is dat het antwoorden op andere vragen zijn, en dat geldt ook voor fysieke grootheden. Maar er zijn ook andere mogelijkheden.

Dat zal een teleurstelling zijn voor de legioenen natuurkundestudenten die dit lezen en hoopten rond te komen met weinig of geen kennis van hun onderwerp.

Voor deze studenten bieden Slepkov en co een sprankje hoop. Ze wijzen erop dat de kans op een juist antwoord op een natuurkundevraag die begint met de cijfers 1, 2 of 3 meer dan 50 procent is. Maar evengoed is de kans dat het antwoord met een 7, 8 of 9 begint slechts 15 procent.

Dus besluiten ze hiermee:

Een onbeduidend advies dat we kunnen geven aan de student die een toets maakt, is het volgende: Als je aan het einde van een lang examen met geconstrueerde antwoorden weinig tijd hebt om de antwoorden op alle vragen te controleren, besteed dan tijd aan die vragen. vragen die definitieve antwoorden opleverden met de grootste voorloopcijfers; vragen zullen naar verwachting slechts 15% van de tijd antwoorden met voorloopcijfers 7, 8 of 9 hebben.

Succes!

Referentie: arxiv.org/abs/1311.4787v1 : Wet van Benford: leerboekoefeningen en meerkeuzetestbanken

zich verstoppen