We hebben AI-interviewtools getest. Dit is wat we hebben gevonden.

Na meer dan een jaar van de covid-19-pandemie zijn miljoenen mensen op zoek naar werk in de Verenigde Staten. Door AI aangedreven sollicitatiesoftware claimt werkgevers te helpen bij het doorzoeken van sollicitaties om de beste mensen voor de baan te vinden. Bedrijven die gespecialiseerd zijn in deze technologie meldden: een golf van zaken tijdens de pandemie.

Maar naarmate de vraag naar deze technologieën toeneemt, neemt dat ook toe vragen over hun nauwkeurigheid en betrouwbaarheid . In de nieuwste aflevering van MIT Technology Review's podcast In Machines We Trust, hebben we software getest van twee bedrijven die gespecialiseerd zijn in AI-sollicitatiegesprekken, MijnInterview en Nieuwsgierig ding . En we vonden variaties in de voorspellingen en scores voor het matchen van banen die aanleiding geven tot bezorgdheid over wat deze algoritmen precies evalueren.

Je leren kennen

MyInterview meet eigenschappen die in aanmerking worden genomen in de Big Five Personality Test, een psychometrische evaluatie die vaak wordt gebruikt in het wervingsproces. Deze eigenschappen omvatten openheid, nauwgezetheid, extraversie, vriendelijkheid en emotionele stabiliteit. Curious Thing meet ook persoonlijkheidskenmerken, maar in plaats van de Big Five worden kandidaten beoordeeld op andere maatstaven, zoals nederigheid en veerkracht.

Deze screenshot toont de matchscore en persoonlijkheidsanalyse van onze kandidaat op MyInterview na het beantwoorden van alle interviewvragen in het Duits in plaats van in het Engels.

HELKE SCHELLMANN

De algoritmen analyseren de reacties van kandidaten om persoonlijkheidskenmerken te bepalen. MyInterview verzamelt ook scores die aangeven hoe goed een kandidaat overeenkomt met de kenmerken die door personeelsmanagers worden geïdentificeerd als ideaal voor de functie.

Om onze tests af te ronden, stellen we eerst de software in. We hebben een nep-vacature voor een kantoorbeheerder/onderzoeker geüpload op zowel MyInterview als Curious Thing. Vervolgens hebben we onze ideale kandidaat geconstrueerd door persoonlijkheidskenmerken te kiezen wanneer het systeem daarom vraagt.

Op MyInterview hebben we kenmerken zoals aandacht voor detail geselecteerd en gerangschikt op belangrijkheid. We hebben ook interviewvragen geselecteerd, die op het scherm worden weergegeven terwijl de kandidaat videoreacties opneemt. Op Curious Thing selecteerden we kenmerken als nederigheid, aanpassingsvermogen en veerkracht.

Een van ons, Hilke, solliciteerde toen naar de functie en voltooide interviews voor de rol op zowel MyInterview als Curious Thing.

Onze kandidaat heeft een telefonisch interview met Curious Thing afgerond. Ze deed eerst een regulier sollicitatiegesprek en kreeg een 8,5 op 9 voor Engelse taalvaardigheid. In een tweede poging stelde de geautomatiseerde interviewer dezelfde vragen, en ze antwoordde op elk door het Wikipedia-artikel voor psychometrie in het Duits te lezen.

Toch gaf Curious Thing haar een 6 uit 9 voor Engelse vaardigheid. Ze voltooide het interview opnieuw en kreeg dezelfde score.

Een screenshot toont de Engelse competentiescore van onze kandidaat in de software van Curious Thing nadat ze alle vragen in het Duits heeft beantwoord.

HELKE SCHELLMANN

Onze kandidaat wendde zich tot MyInterview en herhaalde het experiment. Ze las hetzelfde Wikipedia-artikel hardop voor in het Duits. Het algoritme leverde niet alleen een persoonlijkheidsbeoordeling op, maar voorspelde ook dat onze kandidaat voor 73% geschikt zou zijn voor de nepbaan, waardoor ze in de bovenste helft van alle sollicitanten stond die we hadden gevraagd om te solliciteren.

MyInterview biedt personeelsmanagers een transcriptie van hun interviews. Toen we het transcript van onze kandidaat inspecteerden, ontdekten we dat het systeem haar Duitse woorden interpreteerde als Engelse woorden. Maar de transcriptie sloeg nergens op. De eerste paar regels, die overeenkomen met het bovenstaande antwoord, luiden:

|__+_|

niet-overeenkomend

In plaats van onze kandidaat te scoren op de inhoud van haar antwoorden, haalde het algoritme persoonlijkheidskenmerken uit haar stem, zegt Clayton Donnelly , een arbeids- en organisatiepsycholoog die werkt met MyInterview.

Maar intonatie is geen betrouwbare indicator van persoonlijkheidskenmerken, zegt Fred Oswald , hoogleraar industriële organisatiepsychologie aan de Rijst Universiteit . We kunnen intonatie echt niet gebruiken als data voor werving, zegt hij. Dat lijkt gewoon niet eerlijk of betrouwbaar of valide.

Het gebruik van open vragen om persoonlijkheidskenmerken vast te stellen, brengt ook aanzienlijke uitdagingen met zich mee, zelfs wanneer - of misschien vooral wanneer - dat proces is geautomatiseerd. Dat is de reden waarom veel persoonlijkheidstests, zoals de Big Five, mensen opties bieden om uit te kiezen.

Het komt erop neer dat persoonlijkheid moeilijk te achterhalen is in deze open zin, zegt Oswald. Er zijn mogelijkheden voor AI of algoritmen en de manier waarop de vragen worden gesteld kan meer gestructureerd en gestandaardiseerd worden. Maar ik denk niet dat we er noodzakelijkerwijs zijn in termen van de gegevens, in termen van de ontwerpen die ons de gegevens geven.

De medeoprichter en chief technology officer van Curious Thing, Han Xu , reageerde op onze bevindingen in een e-mail en zei: Dit is de allereerste keer dat ons systeem in het Duits wordt getest, daarom een ​​uiterst waardevol gegevenspunt voor ons om te onderzoeken en te zien of het iets in ons systeem onthult.

De bias-paradox

Prestaties op AI-gestuurde interviews zijn vaak niet de enige statistiek die potentiële werkgevers gebruiken om een ​​kandidaat te evalueren. En deze systemen kunnen vooringenomenheid zelfs verminderen en betere kandidaten vinden dan menselijke interviewers. Maar veel van deze tools zijn niet onafhankelijk getest, en de bedrijven die ze hebben gebouwd, aarzelen om details te delen over hoe ze werken, waardoor het voor zowel kandidaten als werkgevers moeilijk is om te weten of de algoritmen nauwkeurig zijn of welke invloed ze zouden moeten hebben op het aannemen van personeel. beslissingen.

Mark Gray , die werkt bij een Deens vastgoedbeheerplatform genaamd Juist , begon AI-video-interviews te gebruiken tijdens zijn vorige HR-rol bij het elektronicabedrijf Airtame . Hij zegt dat hij de software oorspronkelijk heeft ingebouwd, geproduceerd door een Duits bedrijf genaamd Retoriek , in interviews om de menselijke vooringenomenheid te verminderen die vaak ontstaat wanneer personeelsmanagers een praatje maken met kandidaten.

Hoewel Gray wervingsbeslissingen niet alleen baseert op de evaluatie van Retorio, die ook gebaseerd is op de Big Five-kenmerken, houdt hij er wel rekening mee als een van de vele gegevenspunten bij het kiezen van kandidaten. Ik denk niet dat het een wondermiddel is om erachter te komen hoe je de juiste persoon kunt aannemen, zegt hij.

Gray's gebruikelijke wervingsproces omvat een screeninggesprek en een Retorio-interview, waaraan hij de meeste kandidaten uitnodigt om deel te nemen, ongeacht de indruk die ze tijdens de screening hebben gemaakt. Succesvolle kandidaten gaan dan door naar een functietest, gevolgd door een live interview met andere leden van het team.

Verwant verhaal

LinkedIn's job-matching AI was bevooroordeeld. De oplossing van het bedrijf? Meer AI.

ZipRecruiter, CareerBuilder, LinkedIn: de meeste van 's werelds grootste vacaturesites gebruiken AI om mensen te matchen met vacatures. Maar de algoritmen spelen niet altijd eerlijk.

Na verloop van tijd zouden producten zoals Retorio en Retorio zelf - elk bedrijf het moeten gebruiken omdat het je zoveel inzicht geeft, zegt Gray. Hoewel er enkele vraagtekens en controverses zijn in de AI-sfeer in het algemeen, denk ik dat de grotere vraag is, zijn we een betere of slechtere beoordelaar van karakter?

Gray erkent de kritiek op AI-interviewtools. Een onderzoek gepubliceerd in februari door de Beierse Publieke Omroep ontdekte dat het algoritme van Retorio kandidaten anders beoordeelde wanneer ze tijdens het interview verschillende video-achtergronden en accessoires, zoals een bril, gebruikten.

Mede-oprichter en directeur van Retorio, Christopher Hohenberger , zegt dat hoewel hij niet op de hoogte is van de details achter de testmethoden van de journalisten, het bedrijf niet van plan is om zijn software de beslissende factor te laten zijn bij het aannemen van kandidaten. We zijn een hulpmiddel, en het wordt in de praktijk ook gebruikt samen met mensen aan de andere kant. Het is geen automatisch filter, zegt hij.

Toch staat de inzet zo hoog voor werkzoekenden die deze tools proberen te gebruiken, dat meer voorzichtigheid geboden is. Voor de meesten gaat het vinden van werk immers niet alleen over een nieuwe uitdaging of omgeving - het vinden van een baan is cruciaal voor hun economisch voortbestaan.

zich verstoppen