Software die studenten controleert tijdens toetsen bestendigt ongelijkheid en schendt hun privacy

Foto door Iris Wang op Unsplash

De pandemie van het coronavirus is een zegen voor de testproctoring-industrie. Ongeveer een half dozijn bedrijven in de VS beweren dat hun software fraude in online tests nauwkeurig kan detecteren en voorkomen. examen , EerLock , Proctorio , ProctorU , Antwoord en andere zijn snel gegroeid sinds hogescholen en universiteiten zijn overgestapt op lessen op afstand.

Hoewel er geen officiële telling is, is het redelijk om te zeggen dat er elke maand miljoenen algoritmisch gecontroleerde tests plaatsvinden over de hele wereld. Proctorio vertelde de New York Times in mei was die omzet in de eerste paar maanden van de pandemie met 900% gestegen, tot het punt waarop het bedrijf alleen al in april wereldwijd 2,5 miljoen tests uitvoerde.

Ik ben een universiteitsbibliothecaris en ik heb de effecten van deze systemen van dichtbij gezien. Mijn eigen werkgever, de University of Colorado Denver, heeft een contract met Proctorio.

Het is me duidelijk geworden dat algoritmische proctoring een moderne surveillancetechnologie is die blanke suprematie, seksisme, bekwaamheid en transfobie versterkt. Het gebruik van deze tools is een inbreuk op de privacy van studenten en, vaak, een schending van de burgerrechten.

Als je een student bent die een algoritmische proctortest doet, werkt het als volgt: wanneer je begint, begint de software met het opnemen van de camera, het geluid van je computer en de websites die je bezoekt. Het meet je lichaam en houdt je in de gaten voor de duur van het examen, waarbij je bewegingen worden gevolgd om te identificeren wat het als vals gedrag beschouwt. Als je iets doet dat de software verdacht acht, zal het je professor waarschuwen om de opname te bekijken en hem een ​​kleurgecodeerde waarschijnlijkheid van je academische wangedrag te geven.

Afhankelijk van welk bedrijf de software heeft gemaakt, zal het een combinatie van machine learning, AI en biometrie (inclusief gezichtsherkenning, gezichtsdetectie of eye-tracking) gebruiken om dit allemaal te doen. Het probleem is dat gezichtsherkenning en -detectie bewezen hebben dat racistisch , seksistisch , en transfoob over , en over , en over nog een keer.

Over het algemeen heeft technologie een patroon van versterkende structurele onderdrukking Leuk vinden racisme en seksisme . Nu duiken dezelfde vooroordelen op in testproctoring-software die gemarginaliseerde studenten onevenredig veel pijn doet.

Een zwarte vrouw op mijn universiteit vertelde me eens dat wanneer ze Proctorio's testproctoring-software gebruikte, het haar er altijd toe aanzette om meer licht op haar gezicht te laten schijnen. De software kon haar identiteit niet valideren en ze kreeg zo vaak geen toegang tot toetsen dat ze naar haar professor moest om andere afspraken te maken. Haar blanke leeftijdsgenoten hadden dit probleem nooit.

Soortgelijke vormen van discriminatie kunnen optreden als een student trans of niet-binair is. Maar als je een blanke cis-man bent (zoals de meeste ontwikkelaars die gezichtsherkenningssoftware maken), komt het waarschijnlijk wel goed.

Ook studenten met kinderen worden door deze systemen bestraft. Als je ooit hebt geprobeerd e-mails te beantwoorden terwijl je voor kinderen zorgde, weet je hoe onmogelijk het kan zijn om zelfs maar een paar minuten ononderbroken achter de computer te zitten. Maar verschillende proctoring-programma's markeren geluiden in de kamer of iedereen die het zicht van de camera verlaat als snode. Dat betekent dat studenten met medische aandoeningen die vaak naar het toilet moeten of medicijnen moeten toedienen, als even verdacht worden beschouwd.

Naast alle manieren waarop proctoring-software studenten kan discrimineren, is algoritmische proctoring ook een aanzienlijke inbreuk op de privacy. Deze producten filmen studenten bij hen thuis en vereisen vaak dat ze kamerscans maken, waarbij ze hun camera gebruiken om hun omgeving te laten zien. In veel gevallen hebben professoren op elk moment toegang tot de opnamen van hun studenten en kunnen ze deze opnamen zelfs downloaden naar hun persoonlijke machines. Ze kunnen ook de locatie van elke student zien op basis van hun IP-adres.

Privacy is van het grootste belang voor bibliothecarissen zoals ik, omdat klanten ons hun gegevens toevertrouwen. Na 9/11, toen de Patriot Act het Amerikaanse ministerie van Binnenlandse Veiligheid toestemming gaf om... toegang tot de gebruikersrecords van de bibliotheek in hun zoektocht naar terroristen begonnen veel bibliothecarissen software te gebruiken die de gegevens van een klant verwijderde zodra een boek werd teruggegeven. Producten die de privacy van mensen schenden en discrimineren, zijn in strijd met mijn professionele ethos , en het is zeer zorgwekkend om te zien dat dergelijke producten gretig worden geadopteerd door instellingen voor hoger onderwijs.

Deze ijver zou iets begrijpelijker zijn als er enig bewijs was dat deze programma's echt deden wat ze beweren. Voor zover ik weet, is er geen enkele peer-reviewed of gecontroleerde studie die aantoont dat proctoring-software fraude effectief detecteert of voorkomt. Gezien het feit dat universiteiten er trots op zijn om op feiten gebaseerde beslissingen te nemen, is dit een flagrante vergissing.

Gelukkig zijn er bewegingen gaande om proctoring-software verbieden en gezichtsherkenningstechnologieën op campussen verbieden , net zoals congres rekeningen om de Amerikaanse federale overheid te verbieden gezichtsherkenning te gebruiken. Maar zelfs als gezichtsherkenningstechnologie zou worden verboden, zou proctoring-software nog steeds kunnen bestaan ​​als een programma dat de bewegingen van de ogen en lichamen van studenten volgt. Hoewel dat misschien minder racistisch is, zou het nog steeds discrimineren tegen mensen met een handicap, ouders die borstvoeding geven en mensen die neuroatypisch zijn. Deze producten kunnen niet worden hervormd; ze moeten worden verlaten.

Vreemdgaan is niet de bedreiging voor de samenleving die testproctoringbedrijven je willen doen geloven. Het verwatert de waarde van diploma's niet en verslechtert de reputatie van instellingen niet, en studenten proberen dat ook niet vals spelen om uw chirurg te worden . Technologie heeft de voorwaarden voor bedrog niet uitgevonden en het zal ook niet zijn wat het stopt. Het beste wat we in het hoger onderwijs kunnen doen, is beginnen met het radicale idee van: vertrouwende studenten . Laten we compassie verkiezen boven toezicht.

Shea Swauger is een academische bibliothecaris en onderzoeker aan de University of Colorado Denver.

zich verstoppen