211service.com
Geheime algoritmen bedreigen de rechtsstaat
Voorspellen en vormgeven wat u vervolgens gaat doen, of u nu als shopper, werknemer of kiezer bent, is big business voor datagestuurde bedrijven. Maar moeten hun methoden ook rechters en openbare aanklagers informeren? Een ambitieus programma om recidive onder veroordeelden te voorspellen, brengt algoritmische risicobeoordelingen naar Amerikaanse gerechtsgebouwen.
Deze beoordelingen zijn een verlengstuk van een trend naar: actuariële voorspellingsinstrumenten voor het recidiverisico. Ze lijken misschien wetenschappelijk, een injectie van computationele rationaliteit in een strafrechtsysteem vol discriminatie en inefficiëntie. Ze zijn echter om verschillende redenen verontrustend: veel worden in het geheim berekend; ze ontkennen een eerlijk proces en begrijpelijke uitleg aan de beklaagden; en ze promoten een verwrongen en onmenselijke visie op de rol van straf in de samenleving.
Laten we beginnen met geheimhouding - een factor die blijkbaar zelfs het Hooggerechtshof heeft gealarmeerd in het geval van de COMPAS-risicoscore van de firma Northpointe. In Loomis v. Wisconsin , verwierp een rechter een pleidooiovereenkomst en veroordeelde een beklaagde (Loomis) tot een zwaardere straf, deels omdat een COMPAS-risicoscore hem een hoger dan gemiddeld recidiverisico achtte. Loomis ging in beroep tegen het vonnis en voerde aan dat noch hij, noch de rechter de formule voor de risicobeoordeling konden onderzoeken - het was een handelsgeheim.
Frank Pasquale
De staat Wisconsin wierp tegen dat Northpointe het verplichtte om de algoritmen vertrouwelijk te houden, om het intellectuele eigendom van het bedrijf te beschermen. En het Hooggerechtshof van Wisconsin handhaafde het vonnis van Loomis, redenerend dat de risicobeoordeling slechts een deel van de reden voor het vonnis was. Het wilde rechters de mogelijkheid blijven geven om de COMPAS-score als een onderdeel van hun strafmotivering in aanmerking te nemen, zelfs als ze geen idee hadden hoe deze werd berekend.
advocaten , academici, en activisten trekken die redenering nu in twijfel. Gerechtelijke procedures zijn over het algemeen openbaar. Rechters moeten hun belangrijkste acties, zoals veroordelingen, motiveren. Wanneer een algoritmisch scoreproces geheim wordt gehouden, is het: onmogelijk uit te dagen belangrijkste aspecten ervan. Hoe weegt het algoritme verschillende gegevenspunten en waarom? Elk van deze onderzoeken is cruciaal voor twee fundamentele juridische principes: een eerlijk proces en de mogelijkheid om op een zinvolle manier in beroep te gaan tegen een ongunstige beslissing.
Een eerlijk proces is een concept met een open einde, maar cruciaal voor legitieme rechtssystemen. Dit grondwettelijke grondbeginsel geeft verdachten het recht te begrijpen waarvan zij worden beschuldigd en wat het bewijs tegen hen is. Een geheim algoritme voor risicobeoordeling dat een vernietigende score biedt, is analoog aan bewijs dat wordt aangeboden door een anonieme expert , die men niet kan kruisverhoren. Elke rechtbank die op de hoogte is van de fundamentele beginselen van de rechtsstaat, evenals de beginselen van het vijfde en veertiende amendement voor kennisgeving en uitleg van beslissingen, zou zeer terughoudend zijn om een staat toe te staan vonnissen (zelfs al is het maar gedeeltelijk) op een geheim algoritme te baseren.
Twee vormen van automatiseringsbias bedreigen ook het recht op een zinvol beroep. Rechters gaan er maar al te vaak van uit dat kwantitatieve methoden superieur zijn aan gewoon verbaal redeneren, en de taak (veroordeling) te reduceren tot een toepassing van de beschikbare kwantitatieve gegevens over recidiverisico. Beide reacties ondermijnen de complexiteit en het humane oordeel die nodig zijn voor veroordeling.
Erger nog, wanneer bedrijven commerciële redenen aanbieden om hun geheime saus buiten het publieke oog te houden, zijn rechtbanken erop gebrand om de handelsgeheimen van scorende bedrijven te beschermen. Die neiging is verontrustend in contexten in de particuliere sector , aangezien commerciële onrechtmatige daden straffeloos kunnen worden begaan dankzij de ondoorzichtigheid van rangschikkings- en beoordelingssystemen. Zelfs in de context van stemmen , autoriteiten zijn traag geweest met het eisen van software die controleerbaar en begrijpelijk is door buitenstaanders . Niettemin zou het geval van strafrechtelijke veroordeling een brug te ver moeten zijn voor gewetensvolle rechters - en dat verklaart waarschijnlijk de uitspraak van het Amerikaanse Hooggerechtshof. interesse in Loomis. Iemand naar de gevangenis sturen dankzij de onverklaarbare, onbetwistbare oordelen van een geheim computerprogramma is dat ook Zwarte spiegel voor zelfs geharde verdedigers van zakelijke privileges.
Bovendien zijn er opties tussen volledige algoritmische geheimhouding en volledige openbaarmaking. zoals ik uitgelegd in 2010 is gekwalificeerde transparantie een gevestigde methode om bepaalde experts in staat te stellen beschermde handelsgeheimen (inclusief bedrijfscode en gegevens) te beoordelen om de kwaliteit, validiteit en betrouwbaarheid van een systeem te testen. Denk aan een bijzondere meester in een rechtszaak, of Beveiligde Gecompartimenteerde Informatie Voorzieningen voor inlichtingendiensten. Overheden mogen op zijn minst geen algoritmen zoals de COMPAS-score gebruiken zonder enige vorm van externe kwaliteitsborging die mogelijk wordt gemaakt door gekwalificeerde transparantie.
Maar geheimhouding is niet het enige probleem hier. Stel dat algoritmische risicobeoordeling uiteindelijk meer openbaar wordt, met volledig transparante formules en gegevens. Er zijn nog steeds ernstige zorgen over het gebruik van op bewijs gebaseerde straftoemeting, aangezien kwantitatieve voorspellende analyses vaak op de markt worden gebracht in strafrechtelijke contexten.
Rechtgeleerde Sonja Starr heeft bijvoorbeeld: betoogd dat niet alleen de recidive op zich van cruciaal belang is in de context van straftoemeting, maar ook het verschil dat een langere gevangenisstraf zal maken voor de kans dat een veroordeelde recidiveert. Algoritmische risicobeoordeling kan uiteindelijk heel goed worden in het voorspellen van recidive, maar hoe zit het met een risicobeoordeling van risicobeoordeling zelf - dat wil zeggen, het gevaar dat een langere straf voor een hoogrisicodelinquent een self-fulfilling prophecy wordt, gezien de criminogene omgeving van veel gevangenissen?
Er is ook waarde in verhalende begrijpelijkheid in de rangschikking en waardering van mensen. Bedrijven gebruiken marketinganalyses om niet alleen de kans op criminele recidive te voorspellen, maar ook de kans dat een bepaalde persoon dat zal zijn mentaal ziek , een slechte medewerker , naar falende student , naar crimineel , of een terrorist . Zelfs als we de hierboven genoemde zorgen over de self-fulfilling prophecy terzijde kunnen schuiven, moeten deze beoordelingen alleen met de grootste voorzichtigheid worden toegepast. Ooit gebruikt om politie, DHS, leraren of bazen te adviseren, zijn het niet alleen maar meningen die in een vrije stroom van ideeën circuleren. Ze kunnen veeleer directe gevolgen hebben voor het levensonderhoud, de vrijheid en het onderwijs van personen. Als ze niet op een verhalende begrijpelijke manier kunnen worden uitgelegd, moeten ze misschien helemaal niet worden gebruikt zonder de directe toestemming van de persoon die ze evalueren.
Deze mening past misschien niet goed bij degenen die kunstmatige intelligentie zien als de volgende stap in de menselijke evolutie. Roboticus Hod Lipson onvergetelijk vergeleken inspanningen om geavanceerde algoritmische informatieverwerking begrijpelijk te maken voor mensen om Shakespeare uit te leggen aan een hond. Maar deze beladen metafoor verbergt meer dan het onthult. Voorlopig hebben mensen tenminste de leiding over regeringen en kunnen ze verklaringen voor beslissingen in natuurlijke taal eisen, niet in computercode. Als u dit niet doet in de criminele context, riskeert u de inherente gouvernementele en juridische functies af te staan aan een onberekenbare computerelite.
Frank Pasquale is een professor in de rechten aan de Universiteit van Maryland en auteur van: De Black Box Society .