211service.com
Leugendetectoren zijn altijd verdacht geweest. AI heeft het probleem verergerd.
Nicholas Ortega
Voordat de polygraaf hem schuldig verklaarde, werkte Emmanuel Mervilus voor een oliemaatschappij in de haven van Newark, New Jersey. Hij verdiende $ 12 per uur met verhuisdozen, maar dat was niet genoeg. Zijn broer en zus waren te jong om te werken, en zijn moeder voerde een dure strijd tegen kanker. Zijn baas bij de haven had hem echter verteld dat hij de volgende in de rij was voor promotie naar een functie als technicus, wat zou resulteren in een verhoging van $ 25 per uur.
Mervilus wachtte nog steeds op deze promotie op 19 oktober 2006, toen hij en een vriend stopten bij een Dunkin' Donuts in het nabijgelegen Elizabeth, New Jersey. Een paar minuten later, terwijl ze door de straat liepen, kwamen twee politieagenten naar hen toe en beschuldigden hen ervan een paar minuten eerder een man met een mes te hebben beroofd, buiten een nabijgelegen treinstation.
Het slachtoffer had Mervilus en zijn vriend op afstand geïdentificeerd. Wanhopig om zijn onschuld te bewijzen, bood Mervilus aan om een leugendetectortest te doen. De politie was het daarmee eens, maar in de dagen vlak voor de test stierf de moeder van Mervilus. Hij was radeloos en angstig toen de politie hem vastbond aan het apparaat. Hij zakte voor de test, vroeg om het opnieuw te doen, en werd geweigerd.
Nadat Mervilus zijn pleidooi voor onschuld handhaafde, kwam zijn zaak voor de rechter. De luitenant die de polygraaf had afgenomen, getuigde in de rechtbank dat het apparaat een betrouwbare waarheidsindicator was. Hij had nog nooit in zijn carrière, zei hij, een geval gezien waarin iemand tekenen van bedrog vertoonde, en [later] bleek dat ze waarheidsgetrouw waren. Een jury veroordeelde Mervilus - zwaaide, zo ontdekte een hof van beroep later, door misplaatst vertrouwen in de polygraaf. De rechter veroordeelde hem tot 11 jaar gevangenisstraf.
De overtuiging dat bedrog kan worden opgespoord door het menselijk lichaam te analyseren, is verankerd geraakt in het moderne leven. Ondanks talrijke onderzoeken die de validiteit van de polygraaf in twijfel trekken, worden er elk jaar meer dan 2,5 miljoen screenings met het apparaat uitgevoerd en zijn polygraaftests een industrie van $ 2 miljard. Amerikaanse federale overheidsinstanties, waaronder het ministerie van Justitie, het ministerie van Defensie en de CIA, gebruiken het apparaat allemaal bij het screenen van potentiële werknemers. Volgens cijfers van het ministerie van Justitie uit 2007 gebruikte meer dan driekwart van alle stedelijke politie- en sheriffafdelingen ook leugendetectors om personeel te screenen.
Maar polygraafmachines zijn nog steeds te traag en omslachtig om te gebruiken bij grensovergangen, op luchthavens of bij grote groepen mensen. Als gevolg hiervan is in het afgelopen decennium een nieuwe generatie leugendetectoren ontstaan op basis van kunstmatige intelligentie. Hun voorstanders beweren dat ze zowel sneller als nauwkeuriger zijn dan polygrafen.
In werkelijkheid is het psychologische werk dat aan deze nieuwe AI-systemen ten grondslag ligt zelfs zwakker dan het onderzoek dat aan de polygraaf ten grondslag ligt. Er is weinig bewijs dat de resultaten die ze opleveren betrouwbaar zijn. Desalniettemin brengt het fineer van moderniteit dat AI hen geeft deze systemen in instellingen die de polygraaf niet heeft kunnen doordringen: grensovergangen, privé-sollicitatiegesprekken, screening van leningen en claims voor verzekeringsfraude. Bedrijven en overheden beginnen erop te vertrouwen om beslissingen te nemen over de betrouwbaarheid van klanten, werknemers, burgers, immigranten en internationale bezoekers. Maar wat als liegen gewoon te complex is voor een machine om betrouwbaar te identificeren, hoe geavanceerd het algoritme ook is?
Inquisiteurs in het oude China vroegen verdachte leugenaars om rijst in hun mond te stoppen om te zien of ze aan het kwijlen waren. De De heldendaden van de Romeinen , een middeleeuwse bloemlezing van morele fabels, vertelt het verhaal van een soldaat die zijn klerk de pols van zijn vrouw liet meten om erachter te komen of ze ontrouw was.
Een Engelse vertaling van de De heldendaden van de Romeinen , of Deeds of the Romans, een verzameling verhalen oorspronkelijk gepubliceerd in het Latijn aan het einde van de 13e of het begin van de 14e eeuw. Wikimedia commons
Toen de Verenigde Staten de Eerste Wereldoorlog binnengingen, pionierde William Marston, een onderzoeker aan Harvard, met het gebruik van machines die de bloeddruk meten om bedrog vast te stellen. Een paar jaar later, geïnspireerd door het werk van Marston, ontwikkelde John Augustus Larson, een politieagent die net zijn doctoraat in de fysiologie had afgerond aan de University of California, Berkeley, een machine die hij een cardio-pneumo-psychogram noemde, dat continue metingen leverde van een bloeddruk, pols en ademhalingsfrequentie van de proefpersoon. Deze metingen, beweerde Larson, waren een nog betere indicatie voor bedrog dan alleen bloeddruk.
Larson gebruikte de machine voor het eerst om een diefstal in een vrouwenslaapzaal in Berkeley te onderzoeken, en binnen een jaar was hij gebruikt om een man in San Francisco te veroordelen die ervan werd beschuldigd een priester te hebben vermoord. In de jaren dertig verkocht een van Larsons protégés een draagbare versie aan politiediensten in het hele land, en voegde een sensor toe die veranderingen in galvanische huidreactie meet - hoe meer een proefpersoon zweet, hoe meer geleidend de huid zou zijn. In de jaren zeventig namen miljoenen werknemers uit de particuliere sector regelmatig leugendetectortests af in opdracht van hun werkgevers.
De meeste polygraaftests hebben tegenwoordig dezelfde basisstructuur als die van Larson: de onderzoeker stelt een reeks vragen om de normale fysiologische toestand van een proefpersoon te meten, terwijl hij kijkt terwijl de machine deze metingen transcribeert als golfvormlijnen op een pagina of een scherm. De examinator zoekt vervolgens naar plotselinge pieken of dalen in deze niveaus terwijl het onderwerp vragen beantwoordt over vermoedelijke misdaden of gevoelens.
Maar psychologen en neurowetenschappers hebben de polygraaf bekritiseerd bijna sinds het moment dat Larson zijn uitvinding aan het publiek onthulde. Hoewel sommige leugenaars veranderingen in hartslag of bloeddruk kunnen ervaren, is er weinig bewijs dat dergelijke veranderingen consequent correleren met bedrog. Veel onschuldige mensen worden nerveus als ze worden ondervraagd, en geoefende leugenaars kunnen onderdrukken of veranderingen teweegbrengen in hun lichaam om de test voor de gek te houden. Polygrafen kunnen ook wees verslagen door op de tong bijten , op een overstag gaan, of denken aan iemands ergste angst . De apparaten lopen altijd het risico verstorende variabelen op te pikken, zelfs in gecontroleerde laboratoriumexperimenten, en in het echte leven zijn ze nog minder betrouwbaar: omdat criminelen die de test hebben doorstaan de politie bijna nooit vertellen dat ze schuldig waren, en omdat onschuldige verdachten vaak valse bekentenissen afleggen nadat ze de test niet hebben gehaald. tests, is er geen manier om te zeggen hoe goed ze daadwerkelijk werkten.
Leonarde Keeler, een protégé van polygraaf uitvinder John Larson, deed de test aan Bruno Hauptmann, die werd gearresteerd, veroordeeld en geëxecuteerd voor de ontvoering van Charles Augustus Lindbergh Jr. Hauptmann handhaafde zijn onschuld tot aan zijn dood. Publiek domein
Vanwege deze beperkingen zijn polygraaftests al lang niet-ontvankelijk in de meeste Amerikaanse rechtbanken, tenzij beide partijen ermee instemmen. De federale wet verbiedt sinds 1988 particuliere werkgevers om hun werknemers te polygraferen (met uitzondering van personen in gevoelige banen, zoals gewapende bewakers of farmaceutische distributeurs, en voor sommige werknemers die worden verdacht van diefstal of fraude). De American Psychological Association waarschuwt: de meeste psychologen zijn het erover eens dat er weinig bewijs is dat polygraaftests leugens nauwkeurig kunnen detecteren, en een rapport uit 2003 van de National Academy of Sciences, in navolging van eerder overheidsonderzoek, ontdekte dat het apparaat leugenaars detecteert met snelheden die ver boven het toeval liggen , hoewel ver beneden perfectie; De hoofdauteur van het rapport zei destijds dat nationale veiligheid te belangrijk is om aan zo'n bot instrument over te laten.
Maar misschien hoeft het instrument niet zo bot te zijn. Dat is de belofte die wordt gedaan door een groeiend aantal bedrijven die graag leugendetectietechnologie willen verkopen aan zowel overheden als commerciële sectoren. Misschien zeggen ze dat bepaalde complexe patronen van gedrags-tics een betrouwbaarder signaal kunnen zijn voor liegen dan alleen een verhoogde pols of bloeddruk. En misschien kan een geavanceerd algoritme die patronen herkennen.
Van 1969 tot 1981 jaagde een seriemoordenaar met de bijnaam de Yorkshire Ripper op jonge vrouwen in het noorden van Engeland, waarbij hij minstens 13 doodde en probeerde minstens zeven anderen te vermoorden. De politie heeft hem negen verschillende keren ondervraagd en vrijgelaten terwijl zijn moordpartij voortduurde. Zijn laatste slachtoffer was Jacqueline Hill, een 20-jarige student aan de Universiteit van Leeds, die in november 1980 werd vermoord. Een paar maanden later ving de politie hem eindelijk toen hij voorbereidingen trof om een prostituee in het nabijgelegen Sheffield te vermoorden.
Toen Janet Rothwell in de herfst van 1980 aankwam op de Universiteit van Leeds, woonde ze in de slaapzaal naast Hill's. Ze werd achtervolgd door de moord op Hill.
Ze nam de bus van de universiteitsbibliotheek rond dezelfde tijd als ik, zei Rothwell, en ze werd vermoord nadat ze uit de bus was gestapt. Rothwell hoorde later hoe lang het duurde om de moordenaar te pakken te krijgen. Ik vroeg me af, herinnerde ze zich, zou een computer een soort incongruentie in gedrag kunnen signaleren om de politie te waarschuwen?
Rothwell studeerde uiteindelijk eind jaren negentig af aan de Manchester Metropolitan University (MMU). Ze ontmoette Zuhair Bandar, een Iraaks-Britse docent op de afdeling computerwetenschappen. Bandar had onlangs een eureka-moment gehad toen een marketingbedrijf hem had gevraagd een rudimentair apparaat te maken om de interesse van consumenten te meten in producten die ze op een scherm zagen.
Een FBI-foto van een vrouw die een leugendetector neemt. Federal Bureau of Investigation
Ze zouden de klant een handheld-apparaat geven, zei Bandar, en als ze het goedkeuren, drukken ze op 1; als ze het niet leuk vinden, drukken ze op 2. Ik dacht, waarom hebben we draagbare apparaten nodig als er al uitdrukkingen op hun gezicht staan? Bandar vroeg Rothwell om na haar master bij MMU te blijven om te promoveren en hem te helpen software te ontwerpen die gezichten kon analyseren om informatie te extraheren. Bedrieglijkheid, dachten ze, was niet minder waarneembaar dan vreugde of woede. Allemaal zouden ze een of andere vorm van incongruentie creëren - gedragspatronen, verbaal of non-verbaal, die een computer zou kunnen onderscheiden.
Rothwell trainde begin jaren 2000 een neuraal netwerk om gezichtsbewegingen zoals knipperen en blozen te volgen, en voedde de computer vervolgens een paar dozijn clips van mensen die dezelfde reeks vragen eerlijk en oneerlijk beantwoordden. Om te bepalen wat de leugenaars gemeen hadden, onderzocht de computer de gezichtsbewegingen van een persoon, de relaties tussen die bewegingen en de relaties tussen die relaties, en kwam met een theorie die te complex was om in normale taal te verwoorden. Eenmaal op deze manier getraind, zou het systeem zijn kennis kunnen gebruiken om nieuwe onderwerpen als bedrieglijk of waarheidsgetrouw te classificeren door frame-voor-frame veranderingen in hun uitdrukkingen te analyseren.
In een onderzoek uit 2006 werd het systeem, Silent Talker genaamd, gemaakt om te raden of een persoon loog of de waarheid sprak. Het bereikte nooit een nauwkeurigheid van meer dan 80% terwijl Rothwell eraan werkte - en het heeft het ook niet substantieel beter gedaan in alles wat de onderzoeksgroep sindsdien heeft gepubliceerd. Rothwell vertelde me ook dat het helemaal kapot ging als een deelnemer een bril droeg, en ze wees erop: je moet onthouden dat de lichtomstandigheden hetzelfde waren en dat de interviews gebaseerd waren op de geënsceneerde diefstal. Maar zelfs in de beginfase, herinnert Rothwell zich, wilde Bandar graag een commercieel product hebben; hij en een collega presenteerden haar ooit een video van een vrouw die ervan verdacht wordt haar man te hebben bedrogen en vroegen haar om Silent Talker te laten analyseren, net als in de De heldendaden van de Romeinen .
Rothwell had haar bedenkingen. Ik kon zien dat de software, als het werkte, mogelijk opdringerig zou kunnen zijn, zei ze. Ik denk niet dat een systeem ooit 100% kan zijn, en als [het systeem] het bij het verkeerde eind heeft, kan het risico voor relaties en leven catastrofaal zijn. Ze verliet de universiteit in 2006; na een opleiding tot audioloog vond ze een baan in een ziekenhuis op het eiland Jersey, waar ze nog steeds woont.
MMU bracht in 2003 een persbericht uit waarin de technologie werd aangeprezen als een nieuwe uitvinding die de polygraaf overbodig zou maken. Ik was een beetje geschrokken, zei Rothwell, omdat ik vond dat het te vroeg was.
De Amerikaanse regering deed in de eerste jaren na 9/11 talloze uitstapjes naar technologie voor het detecteren van misleiding, waarbij het Department of Homeland Security (DHS), het Department of Defense (DoD) en de National Science Foundation allemaal miljoenen dollars aan dergelijk onderzoek besteedden . Deze instanties financierden de oprichting van een kiosk genaamd AVATAR aan de Universiteit van Arizona. AVATAR, dat gezichtsuitdrukkingen, lichaamstaal en stemmen van mensen analyseerde om proefpersonen een 'geloofwaardigheidsscore' toe te kennen, werd getest op Amerikaanse luchthavens. In Israël hielp het DHS ondertussen met het financieren van een startup genaamd WeCU ('we see you'), die een screeningkiosk verkocht die fysiologische reacties zou veroorzaken bij degenen die iets verbergen, volgens een 2010 artikel in Fast Company . (Het bedrijf is sindsdien gesloten.)
Bandar begon te proberen de technologie te commercialiseren. Samen met twee van zijn studenten, Jim O'Shea en Keeley Crockett, nam hij Silent Talker op als een bedrijf en begon hij klanten te zoeken, waaronder zowel politiediensten als particuliere bedrijven, voor zijn psychologische profileringstechnologie. Silent Talker was een van de eerste AI-leugendetectoren die op de markt kwam. Volgens het bedrijf werd vorig jaar technologie afgeleid van Silent Talker gebruikt als onderdeel van iBorderCtrl, een door de Europese Unie gefinancierd onderzoeksinitiatief dat het systeem testte op vrijwilligers aan de grenzen in Griekenland, Hongarije en Letland. Bandar zegt dat het bedrijf nu in gesprek is om de technologie te verkopen aan advocatenkantoren, banken en verzekeringsmaatschappijen, en tests in te zetten voor sollicitatiegesprekken en fraudeonderzoeken.
Bandar en O'Shea hebben jarenlang het kernalgoritme aangepast voor gebruik in verschillende omgevingen. Ze probeerden het op de markt te brengen bij politiediensten in de grootstedelijke gebieden van Manchester en Liverpool. We praten informeel met zeer senioren, vertelde het bedrijf aan de Britse publicatie De monteur in 2003, waarbij ze opmerkten dat het hun doel was om dit in echte interviews uit te proberen. Een witboek uit 2013 O'Shea gepubliceerd op zijn website suggereerde dat Silent Talker zou kunnen worden gebruikt om onze troepen bij overzeese inzet te beschermen tegen Groen-op-Blauw-aanvallen ('Insider'). (De term groen-op-blauw wordt vaak gebruikt om te verwijzen naar aanvallen van Afghaanse soldaten in uniform tegen hun vroegere bondgenoten.)
Het team publiceerde ook experimentele resultaten die laten zien hoe Silent Talker kan worden gebruikt om zowel begrip als detectie te detecteren. In een studie uit 2012, de eerste die het Silent Talker-systeem in het veld liet zien, werkte het team samen met een NGO in de gezondheidszorg in Tanzania om de gezichtsuitdrukkingen van 80 vrouwen vast te leggen terwijl ze online cursussen volgden over hiv-behandeling en condoomgebruik. Het idee was om te bepalen of patiënten de behandeling begrepen die ze zouden krijgen - zoals de inleiding tot de studieaantekeningen, blijft de beoordeling van het begrip van de deelnemers tijdens het geïnformeerde toestemmingsproces nog steeds een belangrijk punt van zorg. Toen het team de gissingen van de AI over de vraag of de vrouwen de colleges begrepen met hun scores op korte examens na de colleges onderling verwees, ontdekten ze dat het 80% nauwkeurig was in het voorspellen van wie zou slagen en wie zou falen.
Het in Manchester getrainde algoritme zou, volgens het persbericht, efficiëntere en veiligere landgrensovergangen opleveren en bijdragen aan de preventie van misdaad en terrorisme.
Het Tanzania-experiment leidde tot de opname van Silent Talker in iBorderCtrl. In 2015 mailde Athos Antoniades, een van de organisatoren van het opkomende consortium, O'Shea met de vraag of het Silent Talker-team zich wilde aansluiten bij een groep bedrijven en politiediensten die op een EU-subsidie boden. In voorgaande jaren had het groeiende autoverkeer naar de EU de agenten in de grenslanden van de vakbond overweldigd, en als gevolg daarvan bood de EU € 4,5 miljoen ($ 5 miljoen) aan elke instelling die efficiëntere en veiligere landgrensovergangen kon leveren ... en zo bij te dragen aan de preventie van misdaad en terrorisme. Antoniades dacht dat Silent Talker een cruciale rol zou kunnen spelen.
Toen het project in oktober 2018 eindelijk een openbare pilot aankondigde, was de Europese Commissie er snel bij om het succesverhaal van de unieke benadering van het systeem voor het opsporen van misleiding te verkondigen in een persbericht , waarin wordt uitgelegd dat de technologie de microgebaren van reizigers analyseert om erachter te komen of de geïnterviewde liegt. Het in Manchester getrainde algoritme zou, zo vervolgde het persbericht, efficiëntere en veiligere landgrensovergangen opleveren en bijdragen aan de preventie van misdaad en terrorisme.
Het onderliggende algoritme van het programma, vertelde O'Shea me, zou in verschillende andere situaties kunnen worden gebruikt: advertenties, analyse van verzekeringsclaims, screening van sollicitanten en beoordeling van werknemers. Zijn overweldigende geloof in de wijsheid ervan was moeilijk voor mij om te delen, maar zelfs terwijl hij en ik aan de telefoon spraken, was Silent Talker al vrijwilligers aan het screenen bij EU-grensovergangen; het bedrijf was onlangs als bedrijf gelanceerd in januari 2019. Dus besloot ik naar Manchester te gaan om het zelf te zien.
De kantoren van Silent Talker bevinden zich op ongeveer anderhalve kilometer afstand van de Manchester Metropolitan University, waar O'Shea nu hoofddocent is. Hij heeft de dagelijkse ontwikkeling van de technologie van Bandar overgenomen. Het bedrijf is gebaseerd op een knipper-en-je-miss-het-bakstenen kantorenpark in een woonwijk, in de straat van een kebabrestaurant en tegenover een voetbalveld. Binnenin is het kantoor van Silent Talker een eenpersoonskamer met een paar computers, bureaus met aktetassen erop en verklarende posters over de technologie uit de vroege jaren 2000.
Toen ik in september het kantoor van het bedrijf bezocht, ging ik met O'Shea en Bandar in een vergaderruimte in de hal zitten. O'Shea was streng, maar licht verkreukeld, kaal op een paar plukjes haar en een Van Dyke-baard na. Hij begon het gesprek door erop te staan dat we niet over het iBorderCtrl-project praten, en noemde de critici later slecht geïnformeerd. Hij sprak over de kracht van het AI-framework van het systeem in lange, degressieve raaklijnen, waarbij hij af en toe de computerpionier Alan Turing of de taalfilosoof John Searle citeerde.
Machines en mensen hebben allebei intentionaliteit - overtuigingen, verlangens en intenties over objecten en stand van zaken in de wereld, zei hij, terwijl hij de afhankelijkheid van het systeem op een algoritme verdedigde. Daarom vereisen gecompliceerde toepassingen dat u de ideeën en bedoelingen van beide wederzijds gewicht geeft.
O'Shea demonstreerde het systeem door het een video te laten analyseren van een man die vragen beantwoordde of hij $ 50 uit een doos had gestolen. Het programma legde een geel vierkant rond het gezicht van de man en twee kleinere vierkanten rond zijn ogen. Terwijl hij sprak, bewoog een naald in de hoek van het scherm van groen naar rood als hij foute antwoorden gaf, en terug naar een gematigd oranje als hij niet sprak. Toen het interview voorbij was, genereerde de software een grafiek die de kans op misleiding uitzette tegen de tijd. In theorie bleek dit wanneer hij begon en stopte met liegen.
Terwijl hij sprak, bewoog een naald in de hoek van het scherm van groen naar rood als hij foute antwoorden gaf, en terug naar een gematigd oranje als hij niet sprak.
Het systeem kan op een traditionele laptop draaien, zegt O'Shea, en gebruikers betalen ongeveer $ 10 per minuut geanalyseerde video. O'Shea vertelde me dat de software wat voorlopige lokale verwerking van de video doet, versleutelde gegevens naar een server stuurt waar het verder wordt geanalyseerd, en dan de resultaten terugstuurt: de gebruiker ziet een grafiek van de kans op misleiding over de onderkant van het filmpje.
Volgens O'Shea bewaakt het systeem ongeveer 40 fysieke kanalen op het lichaam van een deelnemer - alles van de snelheid waarmee je knippert tot de hoek van je hoofd. Het brengt elk nieuw gezicht een theorie over bedrog die het heeft ontwikkeld door een trainingsdataset van leugenaars en waarheidsvertellers te bekijken. Door de gezichtsbewegingen en houdingsveranderingen van een proefpersoon vele malen per seconde te meten, zoekt het systeem naar bewegingspatronen die overeenkomen met die van de leugenaars in de trainingsgegevens. Deze patronen zijn niet zo eenvoudig als ogen die naar het plafond flitsen of een hoofd dat naar links kantelt. Ze lijken meer op patronen van patronen, veelzijdige relaties tussen verschillende bewegingen, te complex voor een mens om te volgen - een typisch kenmerk van machine learning-systemen.
Het is de taak van de AI om te bepalen welke soorten bewegingspatronen kunnen worden geassocieerd met misleiding. Psychologen zeggen vaak dat je een soort model zou moeten hebben voor hoe een systeem werkt, vertelde O'Shea me, maar we hebben geen functionerend model, en we hebben er ook geen nodig. We laten de AI het uitzoeken. Hij zegt echter ook dat de rechtvaardiging voor de kanalen op het eerste gezicht afkomstig is van academische literatuur over de psychologie van misleiding. In een 2018-paper over Silent Talker , zeggen de makers dat hun software ervan uitgaat dat bepaalde mentale toestanden die verband houden met bedrieglijk gedrag, het [non-verbale gedrag] van een geïnterviewde zullen stimuleren bij het bedriegen. Tot deze gedragingen behoren cognitieve belasting, of de extra mentale energie die het zogenaamd kost om te liegen, en het bedriegen van genot, of het plezier dat een persoon zogenaamd krijgt van het vertellen van een succesvolle leugen.
Paul Ekman, een psycholoog wiens theorie van 'micro-expressies' veel wordt betwist, heeft talloze Amerikaanse overheidsinstanties geraadpleegd. Wikimedia / Momouppycat
Maar Ewout Meijer, hoogleraar psychologie aan de Universiteit Maastricht in Nederland, zegt dat de gronden om te geloven dat dergelijk gedrag universeel is, op zijn best onstabiel zijn. Het idee dat je veelbetekenende gedragslekkage in het gezicht kunt vinden, is geworteld in het werk van Paul Ekman, een Amerikaanse psycholoog die in de jaren tachtig een inmiddels beroemde theorie van micro-expressies of onwillekeurige gezichtsbewegingen omarmde die te klein waren om te beheersen. Ekmans onderzoek maakte van hem een bestsellerauteur en inspireerde het tv-misdaaddrama Lieg tegen me . Hij adviseerde voor talloze Amerikaanse overheidsinstanties, waaronder DHS en DARPA. Onder verwijzing naar de nationale veiligheid heeft hij onderzoeksgegevens geheim gehouden. Dit heeft geleid tot een controversieel debat over de vraag of micro-uitdrukkingen überhaupt enige betekenis hebben.
De AI van Silent Talker volgt alle soorten gezichtsbewegingen, geen Ekman-specifieke micro-expressies. We hebben deze signalen op hoog niveau omgezet in onze eigen reeks microgebaren en getrainde AI-componenten om ze te recombineren tot zinvolle indicatieve patronen, schreef een woordvoerder van het bedrijf in een e-mail. O'Shea zegt dat dit het systeem in staat stelt bedrieglijk gedrag te herkennen, zelfs wanneer een onderwerp alleen maar rondkijkt of in een stoel schuift.
Veel hangt af van of je een technologische vraag of een psychologische vraag hebt, zegt Meijer, waarbij hij waarschuwt dat O'Shea en zijn team misschien op zoek zijn naar technologie voor antwoorden op psychologische vragen over de aard van bedrog. Een AI-systeem presteert misschien beter dan mensen bij het detecteren van [gezichtsuitdrukkingen], maar zelfs als dat het geval zou zijn, zegt dat nog niet of je daaruit kunt afleiden of iemand bedrieglijk is ... bedrog is een psychologische constructie. Er is niet alleen geen consensus over die uitdrukkingen correleren met bedrog, voegt Meijer toe; er is zelfs geen consensus over of zij doen. In een e-mail zei het bedrijf dat dergelijke kritieken niet relevant zijn voor Silent Talker en dat de gebruikte statistieken niet geschikt zijn.
Het televisiedrama Lieg tegen me was gedeeltelijk gebaseerd op Ekmans micro-expressietheorie. Fox studio's
Verder wijst Meijer erop dat het algoritme nog steeds nutteloos zal zijn bij grensovergangen of in sollicitatiegesprekken, tenzij het is getraind op een dataset die zo divers is als degene die het in het echte leven zal evalueren. Onderzoek toont aan dat algoritmen voor gezichtsherkenning slechter zijn in het herkennen van minderheden wanneer ze zijn getraind op sets van overwegend blanke gezichten, iets wat O'Shea zelf toegeeft. Een woordvoerder van Silent Talker schreef in een e-mail: We hebben meerdere experimenten uitgevoerd met kleinere, variërende steekproefomvang. Deze tellen op tot honderden. Sommige hiervan zijn academisch en zijn gepubliceerd [sic], andere zijn commercieel en vertrouwelijk.
Al het gepubliceerde onderzoek dat de nauwkeurigheid van Silent Talker onderbouwt, is echter afkomstig van kleine en gedeeltelijke datasets: in de paper van 2018 bijvoorbeeld bevatte een trainingspopulatie van 32 mensen twee keer zoveel mannen als vrouwen en slechts 10 deelnemers van Aziatische/Arabische afkomst, met geen zwarte of Spaanse onderwerpen. Hoewel de software momenteel verschillende instellingen heeft voor het analyseren van mannen en vrouwen, zei O'Shea dat hij niet zeker wist of er instellingen nodig waren voor etnische achtergrond of leeftijd.
Nadat in 2018 de pilot van iBorderCtrl was aangekondigd, bestempelden activisten en politici het programma als een ongekende, Orwelliaanse uitbreiding van de surveillancestaat. Sophie in 't Veld, een Nederlands lid van het Europees Parlement en leider van de centrumlinkse partij Democraten 66, zei in een brief aan de Europese Commissie dat het Silent Talker-systeem de grondrechten van veel grensoverschrijdende reizigers zou kunnen schenden en dat organisaties zoals Privacy International veroordeelden het als onderdeel van een bredere trend naar het gebruik van ondoorzichtige, en vaak gebrekkige, geautomatiseerde systemen om mensen te beoordelen, beoordelen en classificeren. De oppositie leek het iBorderCtrl-consortium te verrassen: hoewel de Europese Commissie aanvankelijk beweerde dat iBorderCtrl een systeem zou ontwikkelen om grensovergangen te versnellen, zegt een woordvoerder nu dat het programma een puur theoretisch onderzoeksproject was. Antoniades vertelde eind 2018 aan een Nederlandse krant dat het misleidingsdetectiesysteem uiteindelijk misschien niet in het ontwerp zal komen, maar op het moment van schrijven prees Silent Talker nog steeds zijn deelname aan iBorderCtrl op haar website .
Hoe vaak critici zoals Wilde het ook ontkrachten, de droom van een perfecte leugendetector zal niet sterven, vooral niet wanneer deze wordt verdoezeld met de glans van AI.
Silent Talker is een nieuwe versie van de oude fraude, meent Vera Wilde, een Amerikaanse academische en privacyactiviste die in Berlijn woont en die hielp bij het opzetten van een campagne tegen iBorderCtrl. In sommige opzichten is het dezelfde fraude, maar met slechtere wetenschap. Bij een polygraaftest zoekt een onderzoeker naar fysiologische gebeurtenissen waarvan wordt aangenomen dat ze verband houden met bedrog; in een AI-systeem laten examinatoren de computer de correlaties zelf uitzoeken. Als O'Shea zegt dat hij geen theorie heeft, heeft hij het mis, vervolgt ze. Hij heeft wel een theorie. Het is gewoon een slechte theorie.
Hoe vaak critici zoals Wilde het ook ontkrachten, de droom van een perfecte leugendetector zal niet sterven, vooral niet wanneer deze wordt verdoezeld met de glans van AI. Nadat het DHS in de jaren 2000 miljoenen dollars had uitgegeven aan onderzoek naar misleiding aan universiteiten, probeerde het zijn eigen versie van een gedragsanalysetechnologie te creëren. Dit systeem, Future Attribute Screening Technology (FAST) genaamd, was bedoeld om AI te gebruiken om criminele neigingen in de oog- en lichaamsbewegingen van een proefpersoon op te sporen. (Bij een vroege versie moesten de geïnterviewden op een Wii Fit-balansbord gaan staan om veranderingen in houding te meten.) Drie onderzoekers die onofficieel spraken om geheime projecten te bespreken, zeiden dat het programma nooit van de grond kwam - er was te veel onenigheid binnen de afdeling over het al dan niet gebruiken van Ekmans micro-expressies als richtlijn voor gedragsanalyse. De afdeling heeft het programma in 2011 afgebouwd.
Ondanks het mislukken van FAST, toont DHS nog steeds interesse in leugendetectietechnieken. Vorig jaar heeft het bijvoorbeeld een contract van $ 110.000 gegund aan een personeelsbedrijf om zijn officieren te trainen in het detecteren van bedrog en het uitlokken van reacties door middel van gedragsanalyse. Andere delen van de overheid zetten zich ondertussen nog steeds in voor AI-oplossingen. Het Army Research Laboratory (ARL) heeft momenteel een contract met Rutgers University om een AI-programma te maken voor het detecteren van leugens in het gezelschapsspel Mafia, als onderdeel van een grotere poging om zoiets als een Google Glass te maken dat ons waarschuwt voor een paar zakkenrollers in de overvolle bazaar, volgens Purush Iyer, de ARL-divisiechef die verantwoordelijk is voor het project. Nemesysco, een Israëlisch bedrijf dat AI-spraakanalysesoftware verkoopt, vertelde me dat de technologie ervan wordt gebruikt door politiediensten in New York en sheriffs in het Midwesten om verdachten te interviewen, evenals door incassobureaus om de emoties van debiteuren te meten op telefoongesprekken.
De onmiddellijke en potentieel gevaarlijke toekomst van AI-leugendetectie ligt niet bij overheden, maar in de particuliere markt. Politici die initiatieven als iBorderCtrl steunen, moeten uiteindelijk verantwoording afleggen aan de kiezers, en de meeste AI-leugendetectoren kunnen van de rechtbank worden uitgesloten onder hetzelfde juridische precedent dat van toepassing is op de polygraaf. Particuliere bedrijven hebben echter minder beperkingen bij het gebruik van dergelijke technologie om sollicitanten en potentiële klanten te screenen. Silent Talker is een van de vele bedrijven die beweren een objectievere manier te bieden om afwijkend of bedrieglijk gedrag te detecteren, waardoor klanten een risicoanalysemethode krijgen die verder gaat dan kredietscores en sociale-mediaprofielen.
De software genereert een groot aantal valse positieven.
Neuro-ID, een in Montana gevestigd bedrijf, voert AI-analyse uit van muisbewegingen en toetsaanslagen om banken en verzekeringsmaatschappijen te helpen het frauderisico te beoordelen, waarbij kredietaanvragers een betrouwbaarheidsscore van 1 tot 100 krijgen. In een video liet het bedrijf me zien, toen een klant een online leningaanvraag kost extra tijd om het veld voor het gezinsinkomen in te vullen, terwijl u de muis beweegt terwijl u dit doet, het systeem neemt dat mee in zijn geloofwaardigheidsscore. Het is gebaseerd op onderzoek door de oprichtende wetenschappers van het bedrijf dat beweert een verband aan te tonen tussen muisbewegingen en emotionele opwinding: een artikel dat beweert dat bedrieglijk zijn de genormaliseerde bewegingsafstand kan vergroten, de bewegingssnelheid kan verlagen, de responstijd kan verlengen en het resultaat kan opleveren. in meer links klikken. Uit eigen tests van het bedrijf blijkt echter dat de software een groot aantal valse positieven genereert: in één case study waarbij Neuro-ID 20.000 aanvragen voor een e-commerce website verwerkte, kreeg minder dan de helft van de aanvragers met de laagste scores (5 tot 10) bleek frauduleus te zijn, en slechts 10% van degenen die scores van 20 tot 30 kregen vertegenwoordigde een frauderisico. Zoals het bedrijf zelf toegeeft, markeert de software aanvragers die mogelijk onschuldig blijken te zijn en laat het bedrijf die informatie gebruiken om op te volgen hoe het wil. Er bestaat niet zoiets als een op gedrag gebaseerde analyse die 100% nauwkeurig is, vertelde een woordvoerder me. Wat we aanbevelen, is dat u dit in combinatie met andere informatie over sollicitanten gebruikt om betere beslissingen te nemen en [frauduleuze klanten] efficiënter te pakken te krijgen.
Converus, een startup uit Utah, verkoopt software genaamd EyeDetect die de verwijding van de pupillen van een proefpersoon meet tijdens een interview om cognitieve belasting te detecteren. Net als Silent Talker gaat de tool ervan uit dat liegen cognitief veeleisender is dan de waarheid vertellen. Volgens een 2018 artikel in Wired hebben politiediensten in Salt Lake City en Columbus, Georgia EyeDetect gebruikt om sollicitanten te screenen. Converus vertelde Wired ook dat McDonald's, Best Western, Sheraton, IHOP en FedEx hun software in Panama en Guatemala gebruikten op manieren die in de VS illegaal zouden zijn geweest.
In een verklaring die het me gaf, citeerde het bedrijf naar Enkele studies waaruit blijkt dat EyeDetect een nauwkeurigheid van ongeveer 85% bereikt bij het identificeren van leugenaars en waarheidsvertellers, met steekproeven van maximaal 150 personen. Bedrijfsvoorzitter Todd Mickelsen zegt dat het algoritme van zijn bedrijf is getraind in honderdduizenden interviews. Maar Charles Honts, een professor psychologie aan de Boise State University en tevens lid van de adviesraad van Converus, zei dat deze resultaten niet bewijzen dat op EyeDetect kan worden vertrouwd in veldinterviews. Ik vind het EyeDetect-systeem erg interessant, maar aan de andere kant gebruik ik het niet, vertelde hij me. Ik denk dat de database nog steeds relatief klein is en grotendeels afkomstig is uit één laboratorium. Totdat het is uitgebreid en andere mensen het hebben nagemaakt, zou ik terughoudend zijn om het in het veld te gebruiken.
De onderzoekers van de Universiteit van Arizona die het AVATAR-systeem hebben ontwikkeld, zijn ook een particulier bedrijf begonnen, Discern Science, om hun eigen technologie voor het detecteren van misleiding op de markt te brengen. Discern werd vorig jaar gelanceerd en verkoopt een zes meter hoge kiosk vergelijkbaar met de originele AVATAR; volgens een artikel in de Financial Times heeft het bedrijf een joint venture-overeenkomst gesloten met een partner in de luchtvaartindustrie om de tool aan luchthavens te verkopen. Het systeem maatregelen gezichtsbeweging en stemstress om onzichtbaar informatie van het onderwerp te verzamelen op een gespreksafstand, volgens promotiemateriaal. Net als Silent Talker en Converus beweert Discern dat de technologie ongeveer 85% van de leugenaars en waarheidsvertellers op betrouwbare wijze kan detecteren, maar nogmaals, de resultaten zijn nooit onafhankelijk gerepliceerd. Ten minste één van de ingangen die de kiosk gebruikt, is: herhaaldelijk getoond zijn onbetrouwbaar . (Honts merkte verder op dat er bijna geen ondersteuning is voor gezichtsbewegingsanalyse zoals die van AVATAR en Silent Talker - er zijn zoveel mislukkingen geweest om daar te repliceren, zei hij.)
Iedereen die je vertelt dat ze een apparaat hebben dat een regelrechte leugendetector is, is een charlatan.
Toen hem werd gevraagd naar de wetenschappelijke onderbouwing van de kiosk van het bedrijf, benadrukte Discern-onderzoeker Judee Burgoon dat ze slechts beoordelingen maken, geen bindende oordelen over waarheid en onwaarheid. Systemen zoals AVATAR en Silent Talker, zei ze, kunnen bedrog niet direct meten, eraan toevoegend dat iedereen die je vertelt dat ze een apparaat hebben dat een regelrechte leugendetector is, een charlatan is. In marketingmateriaal presenteert Discern de tool echter als een betrouwbare leugendetector: de website van het bedrijf beweringen dat het kan helpen bij het ontdekken van verborgen plannen en dat het wetenschappelijk is bewezen dat zijn algoritmen bedrog sneller en betrouwbaarder detecteren dan welk alternatief dan ook.
Het hof van beroep heeft de veroordeling van Emmanuel Mervilus in 2011 opgeheven, hem vrijgelaten uit de gevangenis en een nieuw proces gelast; hij had meer dan drie jaar van zijn straf uitgezeten. Tijdens het tweede proces, in 2013, beraadslaagden de juryleden slechts 40 minuten voordat ze hem vrijspraken. Zonder de leugendetector en het hardnekkige geloof in de nauwkeurigheid ervan, had hij misschien nooit de eerste keer een voet in een rechtszaal gezet. Mervilus heeft de politieagenten aangeklaagd die hem oorspronkelijk hadden gearresteerd en ondervraagd, waarbij ze beweerden dat ze zijn recht op een eerlijk proces hadden geschonden door polygraaftests te gebruiken waarvan ze wisten dat ze gebrekkig waren om tot een veroordeling te komen. De zaak wordt op 13 maart behandeld tijdens een schikkingsconferentie.
Zelfs als het wijdverbreide gebruik van Silent Talker en systemen zoals deze niet leidt tot meer veroordelingen van onschuldige mensen zoals Mervilus, zou het toch kunnen helpen een nieuw soort sociale onzin te creëren, waardoor mensen worden gedwongen om geloofwaardigheidsbeoordelingen te ondergaan voordat ze een auto huren of een auto afsluiten. een lening.
In een rechtbank moet je materieel bewijs leveren, zoals je haar en je bloed, zegt Wilde. Maar je hebt ook het recht om te zwijgen, het recht om niet tegen jezelf te spreken. Mervilus koos ervoor om de leugendetectortest te doen in de veronderstelling dat het, net als een DNA-test, zou aantonen dat hij onschuldig was. En hoewel het apparaat het bij het verkeerde eind had, was het niet de machine zelf die hem naar de gevangenis stuurde. De jury was van mening dat de testresultaten geloofwaardiger waren dan de feiten van de zaak.
Het fundamentele uitgangspunt van AI-leugendetectie is dat leugens er zijn om gezien te worden met de juiste tools. Psychologen weten nog steeds niet hoe geldig die bewering is, maar in de tussentijd kan het geloof in de geldigheid ervan voldoende zijn om verdienstelijke kandidaten voor banen en leningen te diskwalificeren en om te voorkomen dat onschuldige mensen nationale grenzen overschrijden. De belofte van een venster op het innerlijke leven van anderen is te verleidelijk om te laten liggen, zelfs als niemand zeker weet hoe duidelijk dat venster is.
Het is de belofte van gedachtenlezen, zegt Wilde. Je kunt zien dat het nep is, maar dat is wat ze verkopen.