Auditors testen wervingsalgoritmen op vooringenomenheid, maar er is geen gemakkelijke oplossing

AI-audits kunnen bepaalde soorten vooroordelen over het hoofd zien, en ze verifiëren niet noodzakelijkerwijs dat een wervingstool de beste kandidaten voor een baan kiest.

Simon Simard

door

• Hilke Schellmann archiefpagina

11 februari 2021

Ik ben thuis een videogame aan het spelen op mijn computer. Het is mijn taak om één ballon tegelijk op te pompen en zoveel mogelijk geld te verdienen. Elke keer dat ik op Pomp klik, wordt de ballon groter en ontvang ik vijf virtuele centen. Maar als de ballon springt voordat ik op Verzamelen druk, verdwijnen al mijn digitale inkomsten.

Na 39 ballonnen te hebben gevuld, heb ik $ 14,40 verdiend. Er verschijnt een melding op het scherm: Je houdt vast aan een consistente aanpak in risicovolle situaties. Gemeten eigenschap: Risico.

Deze game maakt deel uit van een serie die is gemaakt door een bedrijf genaamd Pymetrics, dat door veel grote Amerikaanse bedrijven wordt ingehuurd om sollicitanten te screenen. Als u zich aanmeldt bij McDonald's, Boston Consulting Group, Kraft Heinz of Colgate-Palmolive, wordt u mogelijk gevraagd om de spellen van Pymetrics te spelen.

Terwijl ik speel, meet een kunstmatige-intelligentiesysteem eigenschappen zoals vrijgevigheid, eerlijkheid en aandacht. Als ik daadwerkelijk naar een functie zou solliciteren, zou het systeem mijn scores vergelijken met die van medewerkers die al in die functie werkzaam zijn. Als mijn persoonlijkheidsprofiel de kenmerken weerspiegelde die het meest specifiek zijn voor mensen die succesvol zijn in de rol, zou ik doorgaan naar de volgende wervingsfase.

Steeds meer bedrijven gebruiken op AI gebaseerde wervingstools zoals deze om de stortvloed aan sollicitaties die ze ontvangen te beheren, vooral nu er ongeveer twee keer zoveel werkloze werknemers in de VS zijn als vóór de pandemie. Een vragenlijst van meer dan 7.300 human-resourcesmanagers wereldwijd door Mercer, een vermogensbeheerder, ontdekte dat het percentage dat zei dat hun afdeling voorspellende analyses gebruikt, is gestegen van 10% in 2016 naar 39% in 2020.

Stills van het kernproduct van Pymetrics, een suite van 12 op AI gebaseerde games die volgens het bedrijf de sociale, cognitieve en emotionele eigenschappen van een sollicitant kunnen onderscheiden.

PYMETRIE

Net als bij andere AI-toepassingen hebben onderzoekers ontdekt dat sommige wervingstools produceren bevooroordeelde resultaten — bijvoorbeeld onbedoeld mannen of mensen met een bepaalde sociaaleconomische achtergrond bevoordelen. Velen pleiten nu voor meer transparantie en meer regelgeving. Eén oplossing in het bijzonder wordt keer op keer voorgesteld: AI-audits.

Vorig jaar betaalde Pymetrics een team van computerwetenschappers van de Northeastern University om het wervingsalgoritme te controleren. Het was een van de eerste keren dat een dergelijk bedrijf om een ​​externe audit van zijn eigen tool vroeg. CEO Frida Polli vertelde me dat ze dacht dat de ervaring een model zou kunnen zijn voor de naleving van een voorgestelde wet die dergelijke audits vereist voor bedrijven in New York City, waar Pymetrics is gevestigd.

Pymetrics brengt zijn software op de markt als volledig vrij van vooroordelen.

Wat Pymetrics doet, namelijk het inschakelen van een neutrale derde partij om te controleren, is een heel goede richting om in te gaan, zegt Pauline Kim, hoogleraar rechten aan de Washington University in St. Louis, die expertise heeft op het gebied van arbeidsrecht en kunstmatige intelligentie. Als ze de industrie kunnen pushen om transparanter te zijn, is dat een heel positieve stap voorwaarts.

Ondanks alle aandacht die AI-audits hebben gekregen, is hun vermogen om vooroordelen daadwerkelijk te detecteren en te beschermen nog steeds niet bewezen. De term AI-audit kan veel verschillende dingen betekenen, waardoor het moeilijk is om de resultaten van audits in het algemeen te vertrouwen. De meest rigoureuze audits kunnen nog steeds beperkt in omvang zijn. En zelfs met onbelemmerde toegang tot de ingewanden van een algoritme, kan het verrassend moeilijk zijn om met zekerheid te zeggen of het sollicitanten eerlijk behandelt. In het beste geval geven audits een onvolledig beeld, en in het slechtste geval kunnen ze bedrijven helpen om problematische of controversiële praktijken te verbergen achter het goedkeuringsstempel van een auditor.

Binnen een AI-audit

Er zijn tegenwoordig al veel soorten AI-inhuurtools in gebruik. Ze omvatten software die de gezichtsuitdrukkingen, toon en taal van een kandidaat analyseert tijdens video-interviews, evenals programma's die cv's scannen, persoonlijkheid voorspellen of de sociale media-activiteit van een sollicitant onderzoeken.

Ongeacht wat voor soort tool ze verkopen, leveranciers van AI-rekruteringen beloven over het algemeen dat deze technologieën beter gekwalificeerde en meer diverse kandidaten zullen vinden tegen lagere kosten en in minder tijd dan traditionele HR-afdelingen. Er is echter heel weinig bewijs dat ze dat doen, en dat is in ieder geval niet waar de AI-audit van het algoritme van Pymetrics op heeft getest. In plaats daarvan was het bedoeld om te bepalen of een bepaald wervingsinstrument kandidaten op grove wijze discrimineert op basis van ras of geslacht.

Christo Wilson van Northeastern had al eerder algoritmen onder de loep genomen, inclusief de algoritmen die de prijsstijgingen van Uber en de zoekmachine van Google stimuleren . Maar totdat Pymetrics belde, had hij nooit rechtstreeks samengewerkt met een bedrijf dat hij onderzocht.

Het team van Wilson, waaronder zijn collega Alan Mislove en twee afgestudeerde studenten, vertrouwde op gegevens van Pymetrics en had toegang tot de datawetenschappers van het bedrijf. De auditors waren redactioneel onafhankelijk, maar stemden ermee in Pymetrics vóór publicatie op de hoogte te stellen van eventuele negatieve bevindingen. Het bedrijf betaalde Northeastern $ 104.465 via een beurs , inclusief $ 64.813 die naar de salarissen van Wilson en zijn team ging.

Verwant verhaal

Deepfake-porno verpest het leven van vrouwen. Nu kan de wet het eindelijk verbieden.

Na jaren van activisten die vechten om de slachtoffers van op afbeeldingen gebaseerd seksueel geweld te beschermen, dwingen deepfakes de wetgevers eindelijk om op te letten.

Het kernproduct van Pymetrics is een suite van 12 games waarvan het zegt dat ze grotendeels zijn gebaseerd op cognitieve wetenschappelijke experimenten . De spellen zijn niet bedoeld om te winnen of te verliezen; ze zijn ontworpen om de cognitieve, sociale en emotionele eigenschappen van een sollicitant te onderscheiden, waaronder risicotolerantie en leervermogen. Pymetrics brengt zijn software op de markt als: volledig vrij van vooroordelen . Pymetrics en Wilson besloten dat de auditors zich beperkt zouden concentreren op één specifieke vraag: zijn de modellen van het bedrijf eerlijk?

Ze baseerden de definitie van eerlijkheid op wat in de volksmond bekend staat als de viervijfderegel, die in de Verenigde Staten een informele norm is geworden voor het aannemen van personeel. De Equal Employment Opportunity Commission (EEOC) vrijgegeven richtlijnen in 1978 waarin staat dat aanwervingsprocedures ongeveer hetzelfde percentage mannen en vrouwen moeten selecteren, en mensen uit verschillende raciale groepen. Volgens de vier-vijfde-regel, legt Kim uit, moeten vrouwen, als mannen 100% van de tijd overgaan naar de volgende stap in het wervingsproces, ten minste 80% van de tijd passeren.

Als de wervingstools van een bedrijf de vier-vijfde-regel schenden, kan de EEOC zijn praktijken nader bekijken. Voor een werkgever is het geen slechte cheque, zegt Kim. Als werkgevers ervoor zorgen dat deze tools niet grof discriminerend zijn, zullen ze naar alle waarschijnlijkheid niet de aandacht trekken van federale toezichthouders.

Om erachter te komen of de software van Pymetrics deze balk opruimde, moest het Northeastern-team eerst proberen te begrijpen hoe de tool werkt.

Wanneer een nieuwe klant zich aanmeldt bij Pymetrics, moet deze minimaal 50 medewerkers selecteren die succesvol zijn geweest in de rol die hij wil invullen. Deze medewerkers spelen de games van Pymetrics om trainingsgegevens te genereren. Vervolgens vergelijkt het systeem van Pymetrics de gegevens van die 50 werknemers met spelgegevens van meer dan 10.000 mensen die willekeurig zijn geselecteerd uit meer dan twee miljoen. Het systeem bouwt vervolgens een model dat de vaardigheden identificeert en rangschikt die het meest specifiek zijn voor de succesvolle werknemers van de klant.

Om te controleren op vooringenomenheid, voert Pymetrics dit model uit met een andere dataset van ongeveer 12.000 mensen (willekeurig geselecteerd uit meer dan 500.000) die niet alleen de games hebben gespeeld, maar ook hun demografie hebben bekendgemaakt in een enquête. Het idee is om te bepalen of het model de viervijfde-test zou doorstaan ​​als het deze 12.000 mensen zou evalueren.

Als het systeem enige vooringenomenheid detecteert, bouwt en test het meer modellen totdat het er een vindt die zowel succes voorspelt als ongeveer dezelfde slagingspercentages oplevert voor mannen en vrouwen en voor leden van alle raciale groepen. In theorie kan Pymetrics dus, zelfs als de meeste succesvolle werknemers van een klant blanke mannen zijn, voor vooroordelen corrigeren door de spelgegevens van die mannen te vergelijken met gegevens van vrouwen en mensen uit andere raciale groepen. Waar het naar op zoek is, zijn datapunten die eigenschappen voorspellen die niet correleren met ras of geslacht, maar die succesvolle werknemers wel onderscheiden.

Christo Wilson van de Northeastern University

SIMON SIMARD

Wilson en zijn team van auditors wilden uitzoeken of het anti-biasmechanisme van Pymetrics inderdaad bias voorkomt en of het voor de gek gehouden kan worden. Om dat te doen, probeerden ze in feite het systeem te bespelen door bijvoorbeeld spelgegevens van dezelfde blanke man vele malen te dupliceren en te proberen het te gebruiken om een ​​model te bouwen. Het resultaat was altijd hetzelfde: de manier waarop hun code is ingedeeld en de manier waarop de datawetenschappers de tool gebruiken, was er geen voor de hand liggende manier om ze in wezen te misleiden om iets te produceren dat bevooroordeeld was en dat duidelijk te krijgen, zegt Wilson.

Afgelopen najaar deelden de auditors hun bevindingen met het bedrijf: het systeem van Pymetrics voldoet aan de viervijfde-regel. Het Noordoost-team heeft onlangs gepubliceerd de studie van het algoritme online en zal in maart een rapport over het werk presenteren op de conferentie over algoritmische verantwoording FAccT.

Het grote voordeel is dat Pymetrics het echt heel goed doet, zegt Wilson.

Een onvolmaakte oplossing

Maar hoewel de software van Pymetrics voldoet aan de vier-vijfde-regel, heeft de audit niet bewezen dat de tool vrij is van enige vooringenomenheid, noch dat het daadwerkelijk de meest gekwalificeerde kandidaten voor welke baan dan ook kiest.

Het voelde in feite alsof de vraag die werd gesteld meer was 'Doen Pymetrics wat ze zeggen dat ze doen?' in plaats van 'Doen ze het juiste of juiste ding? heeft uitgebreid gepubliceerd over kunstmatige intelligentie en aanwerving.

Het voelde in feite alsof de vraag die werd gesteld meer was 'Doen Pymetrics wat ze zeggen dat ze doen?' in tegenstelling tot 'Doen ze het juiste of juiste ding?'

De viervijfderegel vereist bijvoorbeeld alleen dat mensen van verschillende geslachten en raciale groepen tegen ongeveer dezelfde tarieven naar de volgende ronde van het wervingsproces gaan. Een AI-wervingstool zou aan die vereiste kunnen voldoen en toch enorm inconsistent zijn in het voorspellen hoe goed mensen uit verschillende groepen daadwerkelijk slagen in de baan als ze eenmaal zijn aangenomen. En als een tool bijvoorbeeld het succes voor mannen nauwkeuriger voorspelt dan voor vrouwen, zou dat betekenen dat het niet echt de best gekwalificeerde vrouwen identificeert, dus de vrouwen die worden aangenomen, zijn misschien niet zo succesvol op het werk, zegt Kim.

Een ander probleem dat noch de vier-vijfde-regel noch de controle van Pymetrics aanpakt, is intersectionaliteit. De regel vergelijkt mannen met vrouwen en de ene raciale groep met de andere om te zien of ze in hetzelfde tempo slagen, maar het vergelijkt bijvoorbeeld niet blanke mannen met Aziatische mannen of zwarte vrouwen. Je zou iets kunnen hebben dat voldeed aan de viervijfde regel [voor] mannen versus vrouwen, zwarten versus blanken, maar het zou een vooroordeel tegen zwarte vrouwen kunnen verhullen, zegt Kim.

Pymetrics is niet het enige bedrijf dat zijn AI laat controleren. HireVue, een andere grote leverancier van AI-wervingssoftware, liet een bedrijf genaamd O'Neil Risk Consulting and Algorithmic Auditing (ORCAA) een van zijn algoritmen evalueren. Dat bedrijf is eigendom van Cathy O'Neil, een datawetenschapper en de auteur van Wapens van Math Destruction, een van de baanbrekende populaire boeken over AI-bias, die al jaren pleit voor AI-audits.

ORCAA en HireVue richtten hun audit op één product: HireVue's wervingsbeoordelingen, die veel bedrijven gebruiken om recent afgestudeerden te evalueren. In dit geval heeft ORCA het technische ontwerp van de tool zelf niet geëvalueerd. In plaats daarvan interviewde het bedrijf belanghebbenden (waaronder een sollicitant, een AI-ethicus en verschillende non-profitorganisaties) over mogelijke problemen met de tools en gaf HireVue aanbevelingen om deze te verbeteren. Het eindrapport wordt gepubliceerd op de website van HireVue, maar kan pas worden gelezen na ondertekening van een geheimhoudingsverklaring.

Alex Engler, een fellow bij de Brookings Institution die AI-inhuurtools heeft bestudeerd en bekend is met beide audits, is van mening dat die van Pymetrics de betere is: er is een groot verschil in de diepte van de analyse die is ingeschakeld, zegt hij. Maar nogmaals, geen van beide audits ging in op de vraag of de producten bedrijven echt helpen om betere wervingskeuzes te maken. En beide zijn gefinancierd door de bedrijven die worden gecontroleerd, wat een klein risico met zich meebrengt dat de accountant wordt beïnvloed door het feit dat dit een klant is, zegt Kim.

Om deze redenen, zeggen critici, zijn vrijwillige audits niet genoeg. Datawetenschappers en accountability-experts dringen nu aan op bredere regulering van AI-inhuurtools, evenals op normen voor het controleren ervan.

De gaten vullen

Sommige van deze maatregelen beginnen op te duiken in de VS. In 2019 introduceerden senatoren Cory Booker en Ron Wyden en vertegenwoordiger Yvette Clarke de Algoritmische verantwoordingswet om bias-audits verplicht te stellen voor grote bedrijven die AI gebruiken, hoewel het wetsvoorstel niet is geratificeerd.

Ondertussen is er wat beweging op staatsniveau. De AI Video Interview Act in Illinois, dat in januari 2020 van kracht werd, vereist dat bedrijven kandidaten vertellen wanneer ze AI gebruiken in video-interviews. Steden ondernemen ook actie - in Los Angeles, stelde gemeenteraadslid Joe Buscaino voor een eerlijke aanwervingsbeweging voor geautomatiseerde systemen in november.

De New York City rekening in het bijzonder als voorbeeld kunnen dienen voor steden en staten in het hele land. Het zou jaarlijkse audits verplicht stellen voor leveranciers van geautomatiseerde wervingstools. Het zou ook bedrijven vereisen die de tools gebruiken om aanvragers te vertellen welke kenmerken hun systeem heeft gebruikt om een ​​beslissing te nemen.

Maar de vraag hoe die jaarlijkse controles eruit zouden zien, blijft open. Voor veel experts zou een audit in de trant van wat Pymetrics deed niet erg ver gaan om te bepalen of deze systemen discrimineren, aangezien die audit niet controleerde op intersectionaliteit of het vermogen van de tool om nauwkeurig de eigenschappen te meten die het beweert te meten voor mensen van verschillende rassen en geslachten.

En veel critici zouden graag zien dat de controle door de overheid wordt uitgevoerd in plaats van door particuliere bedrijven, om belangenverstrengeling te voorkomen. Er zou een preventieve regelgeving moeten zijn, zodat voordat u een van deze systemen gebruikt, de Equal Employment Opportunity Commission deze moet beoordelen en vervolgens in licentie moet geven, zegt Frank Pasquale, een professor aan de Brooklyn Law School en een expert in algoritmische verantwoording. Hij heeft een pre-goedkeuringsproces in gedachten voor algoritmische wervingstools, vergelijkbaar met wat de Food and Drug Administration gebruikt met medicijnen.

Tot nu toe heeft de EEOC niet eens duidelijke richtlijnen uitgevaardigd over wervingsalgoritmen die al in gebruik zijn. Maar dingen kunnen binnenkort beginnen te veranderen. In december, 10 senatoren stuurde een brief naar de EEOC met de vraag of het de bevoegdheid heeft om toezicht te houden op AI-aanwervingssystemen om discriminatie van mensen van kleur te voorkomen, die al onevenredig zijn getroffen door banenverlies tijdens de pandemie.