211service.com
Het Britse examendebacle herinnert ons eraan dat algoritmen geen kapotte systemen kunnen repareren
mevrouw Tech | AP, Getty
Toen het VK voor het eerst op zoek ging naar een alternatief voor diploma's voor schoolverlaten, leek het uitgangspunt volkomen redelijk. Covid-19 had alle kansen voor studenten om de examens persoonlijk af te leggen ontspoord, maar de regering wilde nog steeds een manier om ze te beoordelen voor beslissingen over toelating tot de universiteit.
Een van de belangrijkste punten van zorg was een kwestie van eerlijkheid. Docenten hadden al voorspellingen gedaan van de examenscores van hun leerlingen, maar eerdere studies had aangetoond dat deze kunnen worden bevooroordeeld op basis van leeftijd, geslacht en etniciteit. Na een reeks expertpanels en consultaties Ofqual, de Regeling Kwalificaties en Examens, wendde zich tot een algoritme. Vanaf daar ging het vreselijk mis.
Bijna 40% van de studenten eindigden met het ontvangen van examenscores die werden verlaagd ten opzichte van de voorspellingen van hun leraren, waardoor ze hun universitaire plaatsen dreigden te kosten. Analyse van het algoritme onthulde ook dat het onevenredig veel pijn had gedaan aan studenten uit de arbeidersklasse en achtergestelde gemeenschappen en dat het de scores van studenten van privéscholen had opgeblazen. Op 16 augustus zongen honderden Fuck het algoritme voor het gebouw van het Britse ministerie van Onderwijs in Londen om te protesteren tegen de resultaten. De volgende dag had Ofqual keerde terug op zijn beslissing . Studenten krijgen nu de voorspelde scores van hun leraar of die van het algoritme, afhankelijk van wat hoger is.
Het debacle voelt als een schoolvoorbeeld van algoritmische discriminatie . Degenen die sindsdien hebben ontleed het algoritme hebben erop gewezen hoe voorspelbaar het was dat het mis zou gaan; het werd gedeeltelijk niet alleen getraind op de academische prestaties van elke student, maar ook op de prestaties van het toelatingsexamen in het verleden van de school van de student. De aanpak had alleen kunnen leiden tot bestraffing van uitstaande uitbijters ten gunste van een consistent gemiddelde.
Maar de wortel van het probleem zit dieper dan slechte gegevens of een slecht algoritmisch ontwerp. De meer fundamentele fouten werden gemaakt voordat Ofqual koos er zelfs voor om een algoritme na te streven. Uiteindelijk verloor de toezichthouder het uiteindelijke doel uit het oog: studenten helpen bij de overgang naar de universiteit in angstige tijden. In deze ongekende situatie had het examensysteem volledig opnieuw moeten worden bedacht.
Er was gewoon een spectaculair gebrek aan verbeeldingskracht, zegt Hye Jung Han, een onderzoeker bij Human Rights Watch in de VS, die zich bezighoudt met kinderrechten en technologie. Ze twijfelden gewoon niet aan het uitgangspunt van zoveel van hun processen, zelfs niet als ze dat hadden moeten doen.
Op een basisniveau had Ofqual te maken met twee mogelijke doelen nadat de examens waren geannuleerd. De eerste was om cijferinflatie te voorkomen en de scores te standaardiseren; de tweede was om studenten zo nauwkeurig mogelijk te beoordelen op een manier die nuttig is voor toelating tot de universiteit. Volgens een richtlijn van de staatssecretaris gaf het prioriteit aan het eerste doel. Ik denk echt dat dat het moment was dat het probleem was, zegt Hannah Fry, een hoofddocent aan het University College London en auteur van Hallo wereld: hoe mens te zijn in het tijdperk van de machine . Ze optimaliseerden voor het verkeerde. Dan maakt het eigenlijk niet uit wat het algoritme is - het zou nooit perfect zijn.
Er was gewoon een spectaculair gebrek aan verbeeldingskracht.
Hye Jung Han
De doelstelling vormde volledig de manier waarop Ofqual het probleem aanpakte. De behoefte aan standaardisatie overstemde al het andere. De toezichthouder koos vervolgens logischerwijs een van de beste standaardisatietools, een statistisch model, om een verdeling van toelatingsexamenscores voor 2020 te voorspellen die zou overeenkomen met de verdeling vanaf 2019.
Als Ofqual het andere doel had gekozen, zou het heel anders zijn gelopen. Het zou waarschijnlijk het algoritme hebben geschrapt en met universiteiten hebben samengewerkt om de manier te veranderen waarop de examencijfers worden gewogen in hun toelatingsprocedures. Als ze maar één stap voorbij hun directe probleem hadden gekeken en hadden gekeken naar het doel van cijfers - naar de universiteit gaan, een baan kunnen krijgen - hadden ze flexibel kunnen samenwerken met universiteiten en met werkplekken om te zeggen: 'Hé, dit jaar cijfers gaan er anders uitzien, wat betekent dat alle belangrijke beslissingen die traditioneel werden genomen op basis van cijfers, ook flexibel moeten zijn en moeten worden gewijzigd, zegt Han.
Door zich te fixeren op de gepercipieerde eerlijkheid van een algoritmische oplossing, verblindde Ofqual zichzelf voor de flagrante ongelijkheden van het totale systeem. Er is een inherente oneerlijkheid bij het definiëren van het probleem om de cijfers van studenten te voorspellen alsof er geen pandemie heeft plaatsgevonden, zegt Han. Het negeert eigenlijk wat we al weten, namelijk dat de pandemie al deze digitale scheidslijnen in het onderwijs blootlegde.
De mislukkingen van Ofqual zijn niet uniek. In een rapport vorige week gepubliceerd door het Oxford Internet Institute, ontdekten onderzoekers dat een van de meest voorkomende valkuilen waar organisaties in trappen bij het implementeren van algoritmen de overtuiging is dat ze echt complexe structurele problemen zullen oplossen. Deze projecten lenen zich voor een soort magisch denken, zegt Gina Neff, universitair hoofddocent aan het instituut, mede-auteur van het rapport. Op de een of andere manier zal het algoritme alle vooroordelen van leraren wegwassen, elke poging om vals te spelen of het systeem te gamen wegspoelen.
Ik denk dat het de eerste keer is dat een hele natie tegelijkertijd het onrecht van een algoritme heeft gevoeld.
Hannah Fry
Maar de waarheid is dat algoritmen geen kapotte systemen kunnen repareren. Ze erven de gebreken van de systemen waarin ze zijn geplaatst. In dit geval droegen de studenten en hun toekomst uiteindelijk de dupe van de schade. Ik denk dat het de eerste keer is dat een hele natie tegelijkertijd het onrecht van een algoritme heeft gevoeld, zegt Fry.
Fry, Neff en Han zijn allemaal bang dat dit niet het einde zal zijn van algoritmische blunders. Ondanks het nieuwe publieke bewustzijn van de problemen, is het ontwerpen en implementeren van eerlijke en voordelige algoritmen eerlijk gezegd heel moeilijk.
Desalniettemin dringen zij er bij organisaties op aan om de lessen die uit deze ervaring zijn getrokken optimaal te benutten. Keer eerst terug naar het doel en denk kritisch na of het de juiste is. Ten tweede, evalueer de structurele problemen die moeten worden opgelost om de doelstelling te bereiken. (Toen de regering het examen in maart annuleerde, had dat het signaal moeten zijn om met een andere strategie te komen om een veel grotere ecologie van besluitvormers in staat te stellen de prestaties van studenten eerlijk te beoordelen, zegt Neff.)
Kies ten slotte een oplossing die gemakkelijk te begrijpen, implementeren en betwisten is, vooral in tijden van onzekerheid. In dit geval, zegt Fry, betekent dat dat we afzien van het algoritme ten gunste van door de leraar voorspelde scores: ik zeg niet dat dat perfect is, zegt ze, maar het is in ieder geval een eenvoudig en transparant systeem.