211service.com
Wat is een algoritme? Het hangt ervan af aan wie je het vraagt
Getty
Het beschrijven van een besluitvormingssysteem als een algoritme is vaak een manier om de verantwoordelijkheid voor menselijke beslissingen af te wenden. Voor velen impliceert de term een reeks regels die objectief zijn gebaseerd op empirisch bewijs of gegevens. Het suggereert ook een systeem dat zeer complex is - misschien zo complex dat een mens moeite zou hebben om zijn innerlijke werking te begrijpen of te anticiperen op zijn gedrag wanneer het wordt ingezet.
Maar klopt deze karakterisering? Niet altijd.
Eind december werd de verkeerde toewijzing van covid-19-vaccins door het Stanford Medical Center bijvoorbeeld toegeschreven aan een distributie-algoritme dat de voorkeur gaf aan hooggeplaatste beheerders boven eerstelijnsartsen. Het ziekenhuis beweerde met ethici te hebben overlegd om zijn zeer complexe algoritme te ontwerpen, dat volgens een vertegenwoordiger duidelijk niet goed werkte, aangezien MIT Technology Review destijds gemeld. Hoewel veel mensen het gebruik van de term zo interpreteerden dat er sprake was van AI of machine learning, was het systeem in feite een medisch algoritme, dat functioneel anders is. Het leek meer op een heel eenvoudige formule of beslisboom ontworpen door een menselijke commissie.
Deze ontkoppeling wijst op een groeiend probleem. Naarmate voorspellende modellen toenemen, wordt het publiek voorzichtiger met het gebruik ervan bij het nemen van cruciale beslissingen. Maar nu beleidsmakers normen beginnen te ontwikkelen voor: beoordelen en controleren algoritmen, moeten ze eerst de klasse van besluitvormings- of beslissingsondersteunende instrumenten definiëren waarop hun beleid van toepassing is. Door de term algoritme open te laten voor interpretatie, zouden sommige van de modellen met de grootste impact buiten het bereik van beleid kunnen komen dat is ontworpen om ervoor te zorgen dat dergelijke systemen mensen geen schade toebrengen.
Hoe een algoritme te identificeren
Dus is het algoritme van Stanford een algoritme? Dat hangt ervan af hoe je de term definieert. Hoewel er geen universeel aanvaarde definitie is, komt er een algemene uit: een leerboek uit 1971 geschreven door computerwetenschapper Harold Stone, die stelt: Een algoritme is een reeks regels die een reeks bewerkingen nauwkeurig definiëren. Deze definitie omvat alles, van recepten tot complexe neurale netwerken: een daarop gebaseerd auditbeleid zou belachelijk breed zijn.
In statistiek en machine learning denken we meestal aan het algoritme als de reeks instructies die een computer uitvoert om van gegevens te leren. In deze velden wordt de resulterende gestructureerde informatie doorgaans een model genoemd. De informatie die de computer via het algoritme uit de gegevens leert, kan eruitzien als gewichten waarmee elke invoerfactor moet worden vermenigvuldigd, of het kan veel gecompliceerder zijn. De complexiteit van het algoritme zelf kan ook variëren. En de impact van deze algoritmen hangt uiteindelijk af van de data waarop ze worden toegepast en de context waarin het resulterende model wordt ingezet. Hetzelfde algoritme kan een netto positieve impact hebben wanneer het in de ene context wordt toegepast en een heel ander effect wanneer het in een andere wordt toegepast.
Verwant verhaal
Dit is het Stanford-vaccinalgoritme dat eerstelijnsartsen buitenliet Het universitaire ziekenhuis gaf een zeer complex algoritme de schuld van zijn ongelijke distributieplan voor vaccins. Dit is wat er mis ging.In andere domeinen wordt wat hierboven wordt beschreven als een model zelf een algoritme genoemd. Hoewel dat verwarrend is, is het onder de breedste definitie ook nauwkeurig: modellen zijn regels (aangeleerd door het trainingsalgoritme van de computer in plaats van rechtstreeks door mensen aangegeven) die een reeks bewerkingen definiëren. Zo beschreef de media vorig jaar in het VK het mislukken van een algoritme om eerlijke scores toe te kennen aan studenten die vanwege covid-19 niet voor hun examens konden zitten. Wat in deze rapporten werd besproken, was het model - de reeks instructies die input (de prestaties van een leerling of de evaluatie van een leraar) vertaalde in output (een score).
Wat er op Stanford lijkt te zijn gebeurd, is dat mensen - inclusief ethici - gingen zitten en bepaalden welke reeks bewerkingen het systeem moest gebruiken om, op basis van gegevens zoals de leeftijd en afdeling van een werknemer, te bepalen of die persoon een van de eersten zou moeten zijn om een vaccin te krijgen. Voor zover we weten, was deze reeks niet gebaseerd op een schattingsprocedure die was geoptimaliseerd voor een bepaald kwantitatief doel. Het was een reeks normatieve beslissingen over de prioriteit van vaccins, geformaliseerd in de taal van een algoritme. Deze benadering kwalificeert als een algoritme in medische terminologie en onder de brede definitie, ook al was de enige intelligentie die erbij betrokken was die van mensen.
Focus op impact, niet op input
Wetgevers wegen ook in op wat een algoritme is. Geïntroduceerd in het Amerikaanse Congres in 2019, HR2291 , of de Algorithmic Accountability Act, gebruikt de term geautomatiseerd besluitvormingssysteem en definieert dit als een computerproces, inclusief een proces dat is afgeleid van machine learning, statistieken of andere gegevensverwerkings- of kunstmatige-intelligentietechnieken, dat een beslissing neemt of menselijke besluitvorming vergemakkelijkt, dat heeft gevolgen voor de consument.
Verwant verhaal
Auditors testen wervingsalgoritmen op vooringenomenheid, maar er is geen gemakkelijke oplossing AI-audits kunnen bepaalde soorten vooroordelen over het hoofd zien, en ze verifiëren niet noodzakelijkerwijs dat een wervingstool de beste kandidaten voor een baan kiest.
Evenzo overweegt New York City: int 1894 , een wet die verplichte audits van geautomatiseerde instrumenten voor arbeidsbeslissingen zou introduceren, gedefinieerd als elk systeem waarvan de functie wordt bepaald door statistische theorie, of systemen waarvan de parameters door dergelijke systemen worden gedefinieerd. Met name beide wetsvoorstellen verplichten audits, maar bieden alleen richtlijnen op hoog niveau over wat een audit is.
Aangezien besluitvormers bij zowel de overheid als de industrie normen opstellen voor algoritmische audits, is de kans groot dat er onenigheid ontstaat over wat als een algoritme telt. In plaats van te proberen overeenstemming te bereiken over een gemeenschappelijke definitie van 'algoritme' of een bepaalde universele audittechniek, stellen we voor om geautomatiseerde systemen primair te evalueren op basis van hun impact. Door te focussen op resultaat in plaats van input, vermijden we onnodige discussies over technische complexiteit. Waar het om gaat is het potentieel voor schade, ongeacht of we het hebben over een algebraïsche formule of een diep neuraal netwerk.
Impact is een kritische beoordelingsfactor op andere gebieden. Het is ingebouwd in de klassieker DRAAD framework in cybersecurity, dat begin jaren 2000 voor het eerst door Microsoft werd gepopulariseerd en nog steeds wordt gebruikt bij sommige bedrijven. De A in DREAD vraagt dreigingsbeoordelaars om getroffen gebruikers te kwantificeren door te vragen hoeveel mensen de impact van een geïdentificeerde kwetsbaarheid zouden ondervinden. Effectbeoordelingen komen ook veel voor in mensenrechten- en duurzaamheidsanalyses, en we hebben gezien dat enkele vroege ontwikkelaars van AI-effectbeoordelingen vergelijkbare rubrieken hebben gemaakt. Bijvoorbeeld Canada's Algoritmische effectbeoordeling geeft een score op basis van kwalitatieve vragen als Zijn klanten in deze branche bijzonder kwetsbaar? (Ja of nee).
Waar het om gaat is het potentieel voor schade, ongeacht of we het hebben over een algebraïsche formule of een diep neuraal netwerk.
Het is zeker moeilijk om een los gedefinieerde term als impact in een beoordeling op te nemen. Het DREAD-framework werd later aangevuld of vervangen door STRIDE, mede vanwege: uitdagingen met het verzoenen van verschillende opvattingen over wat dreigingsmodellering inhoudt. Microsoft stopte met het gebruik van DREAD in 2008.
Op het gebied van AI hebben conferenties en tijdschriften al impactverklaringen geïntroduceerd met wisselend succes en controverse. Het is verre van onfeilbaar: effectbeoordelingen die puur formeel zijn, kunnen gemakkelijk worden gespeeld, terwijl een te vage definitie kan leiden tot willekeurige of onmogelijk lange beoordelingen.
Toch is het een belangrijke stap voorwaarts. De term algoritme, hoe ook gedefinieerd, mag geen schild zijn om de mensen die een systeem hebben ontworpen en geïmplementeerd, te ontslaan van verantwoordelijkheid voor de gevolgen van het gebruik ervan. Dit is de reden waarom het publiek steeds meer algoritmische verantwoording eist - en het concept van impact biedt een nuttige gemeenschappelijke basis voor verschillende groepen die aan die vraag willen voldoen.
Kristian Lum is een assistent-onderzoeksprofessor bij de afdeling Computer- en Informatiewetenschappen van de Universiteit van Pennsylvania.
Rumman Chowdhury is de directeur van het Machine Ethics, Transparency, and Accountability (META)-team bij Twitter. Ze was eerder de CEO en oprichter van Parity, een algoritmisch auditplatform, en wereldwijd leider voor verantwoorde AI bij Accenture.