211service.com
Hoe algoritmen verantwoordelijk te houden?
Algoritmen worden nu gebruikt in de publieke en private sector en informeren over beslissingen over alles, van onderwijs en werkgelegenheid tot strafrecht. Maar ondanks het potentieel voor efficiëntiewinsten, kunnen algoritmen die worden gevoed door big data ook: versterken structurele discriminatie , fouten produceren die diensten weigeren aan individuen , of zelfs een electoraat verleiden tot een vals gevoel van veiligheid. Er is inderdaad groeiend bewustzijn dat het publiek op zijn hoede moet zijn voor de maatschappelijke risico's veroorzaakt door overmatig vertrouwen op deze systemen en werken aan hou ze vast verantwoordelijk .
Diverse inspanningen van de industrie, waaronder een consortium van Silicon Valley-reuzen, beginnen te worstelen met de ethiek van het gebruik van algoritmen die onverwachte effecten op de samenleving kunnen hebben. Algoritmeontwikkelaars en productmanagers hebben nieuwe manieren nodig om algoritmische systemen op publiekelijk verantwoorde manieren te bedenken, ontwerpen en implementeren. De afgelopen maanden hebben wij en sommige collega's hebben geprobeerd deze doelen te bereiken door een reeks principes voor verantwoorde algoritmen .
Laten we eens kijken naar een geval waarin algoritmische verantwoording hard nodig is: de risicobeoordelingsscores die als basis dienen voor strafrechtelijke beslissingen in het Amerikaanse rechtssysteem. Deze scores worden berekend door een reeks vragen te stellen met betrekking tot zaken als de leeftijd van de verdachte, het criminele verleden en andere kenmerken. De gegevens worden ingevoerd in een algoritme om een score te berekenen die vervolgens kan worden gebruikt bij beslissingen over voorlopige hechtenis, reclassering, voorwaardelijke vrijlating of zelfs veroordeling. En deze modellen worden vaak getraind met behulp van eigen algoritmen voor machinaal leren en gegevens over eerdere beklaagden.
Recente onderzoeken tonen aan dat algoritmen voor risicobeoordeling raciaal vooringenomen kunnen zijn, waardoor scores worden gegenereerd die, wanneer ze verkeerd zijn, zwarte verdachten vaker ten onrechte als hoog risico classificeren. Deze resultaten hebben geleid tot veel controverse. Gezien de letterlijk levensveranderende aard van deze algoritmische beslissingen, moeten ze zorgvuldige aandacht krijgen en verantwoordelijk worden gehouden voor negatieve gevolgen.
Algoritmen en de gegevens die ze aansturen, zijn ontworpen en gemaakt door mensen. Zelfs voor technieken zoals genetische algoritmes die zich vanzelf ontwikkelen, of algoritmen voor machine learning waar het resulterende model niet door een persoon met de hand is gemaakt, worden de resultaten gevormd door door de mens gemaakte ontwerpbeslissingen, regels over wat te optimaliseren en keuzes over welke trainingsgegevens te gebruiken. Het algoritme deed het is geen acceptabel excuus als algoritmische systemen fouten maken of ongewenste gevolgen hebben.
Verantwoording impliceert een verplichting om algoritmische besluitvorming te rapporteren en te rechtvaardigen, en om eventuele negatieve sociale effecten of potentiële schade te beperken. We bekijken aansprakelijkheid door de lens van vijf kernprincipes: verantwoordelijkheid, verklaarbaarheid, nauwkeurigheid, controleerbaarheid en eerlijkheid.
Verantwoordelijkheid . Voor elk algoritmisch systeem moet er een persoon zijn met de autoriteit om de nadelige individuele of maatschappelijke effecten ervan tijdig aan te pakken. Dit is geen verklaring over juridische verantwoordelijkheid, maar veeleer een focus op mogelijkheden voor verhaal, publieke dialoog en interne autoriteit voor verandering. Dit kan zo eenvoudig zijn als iemand van uw technische team de interne macht en middelen geven om het systeem te wijzigen, en ervoor zorgen dat de contactgegevens van die persoon openbaar beschikbaar zijn.
verklaarbaarheid . Alle beslissingen die door een algoritmisch systeem worden genomen, moeten uit te leggen zijn aan de mensen die door die beslissingen worden getroffen. Deze uitleg moet toegankelijk en begrijpelijk zijn voor de doelgroep; puur technische beschrijvingen zijn niet geschikt voor het grote publiek. Het uitleggen van risicobeoordelingsscores aan beklaagden en hun juridisch adviseur zou een groter begrip bevorderen en hen helpen om klaarblijkelijke fouten of foutieve gegevens aan te vechten. Sommige modellen voor machine learning zijn: beter verklaarbaar dan anderen, maar alleen omdat er een mooi neuraal netwerk bij betrokken is, wil nog niet zeggen dat een zinvolle uitleg kan niet worden geproduceerd.
Nauwkeurigheid . Algoritmen maken fouten, hetzij vanwege gegevensfouten in hun invoer (garbage in, garbage out) of vanwege statistische onzekerheid in hun uitvoer. Het principe van nauwkeurigheid suggereert dat bronnen van fouten en onzekerheid in een algoritme en zijn gegevensbronnen moeten worden geïdentificeerd, geregistreerd en gebenchmarkt. Inzicht in de aard van fouten die door een algoritmisch systeem worden veroorzaakt, kan informatie verstrekken over mitigatieprocedures.
controleerbaarheid . Het principe van controleerbaarheid stelt dat algoritmen moeten worden ontwikkeld om derden in staat te stellen het gedrag van een algoritme te onderzoeken en te beoordelen. Door algoritmen te laten monitoren, controleren en bekritiseren zou dit leiden tot een bewuster ontwerp en koerscorrectie bij uitval. Hoewel er misschien is technische uitdagingen door openbare controle toe te staan en tegelijkertijd bedrijfseigen informatie te beschermen, zou particuliere controle (zoals in de boekhouding) enige publieke zekerheid kunnen bieden. Waar mogelijk zou zelfs beperkte toegang (bijvoorbeeld via een API) het publiek een waardevolle kans geven om: audit deze maatschappelijk significante algoritmen.
Eerlijkheid . Nu algoritmen steeds vaker beslissingen nemen op basis van historische en maatschappelijke gegevens, dreigen bestaande vooroordelen en historisch discriminerende menselijke beslissingen ingebakken te worden in geautomatiseerde beslissingen. Alle algoritmen die beslissingen nemen over individuen moeten worden beoordeeld op discriminerende effecten. De resultaten van de evaluatie en de gehanteerde criteria moeten openbaar worden gemaakt en toegelicht.
Er is veel ruimte om deze principes aan uw eigen context aan te passen en te interpreteren, en natuurlijk zullen politieke, bedrijfseigen of zakelijke belangen tussenkomen. Maar we denken wel dat het overwegen van deze ideeën tijdens de ontwerp-, implementatie- en releasecycli van ontwikkeling zal leiden tot een meer maatschappelijk verantwoorde inzet van algoritmen in de samenleving.
Hoe ga je aan de slag? We schetsen enkele pragmatische vragen waar het product- en ontwikkelingsteam aan kan werken om een verklaring van sociale impact die deze principes aanpakt .
Nicholas Diakopoulos is een assistent-professor aan de Universiteit van Maryland, College Park. Sorelle Friedler is een n assistent-professor aan Haverford College en een filiaal bij het Data & Society Research Institute.