Een bevooroordeeld medisch algoritme gaf de voorkeur aan blanke mensen voor gezondheidszorgprogramma's

Categorie: Kunstmatige intelligentie Geplaatst 25 okt

Een onderzoek heeft de risico's benadrukt die inherent zijn aan het gebruik van historische gegevens om algoritmen voor machine learning te trainen om voorspellingen te doen.

Het nieuws: Een algoritme dat veel Amerikaanse zorgverleners gebruiken om te voorspellen welke patiënten extra medische zorg het meest nodig hebben, bevoorrechte blanke patiënten boven zwarte patiënten, volgens onderzoekers van UC Berkeley, wiens studie werd gepubliceerd in Wetenschap . In feite stootte het blanken in de rij voor speciale behandelingen voor complexe aandoeningen zoals nierproblemen of diabetes.

De studie: De onderzoekers groeven door bijna 50.000 records van een groot, niet nader genoemd academisch ziekenhuis. Ze ontdekten dat blanke patiënten hogere risicoscores kregen en daarom vaker werden geselecteerd voor extra zorg (zoals meer verpleging of speciale afspraken), dan zwarte patiënten die in feite even ziek waren. De onderzoekers berekenden dat de vooringenomenheid het aandeel zwarte patiënten dat extra hulp kreeg met meer dan de helft verminderde.

Welke software was dit? De onderzoekers zeiden niet, maar de Washington Post identificeert het als Optum, eigendom van verzekeraar UnitedHealth. Het zegt dat het product wordt gebruikt om meer dan 70 miljoen levens te beheren. Hoewel de onderzoekers zich slechts op één bepaald hulpmiddel concentreerden, ze identificeerden dezelfde fout in de 10 meest gebruikte algoritmen in de industrie. Elk jaar worden deze tools gezamenlijk toegepast op naar schatting 150 tot 200 miljoen mensen in de VS.

Hoe de vooringenomenheid binnensijpelde: Ras was geen factor in de besluitvorming van het algoritme (dat zou illegaal zijn); het gebruikte de medische geschiedenis van patiënten om te voorspellen hoeveel ze het gezondheidszorgsysteem waarschijnlijk zouden kosten. Maar kosten zijn geen rasblinde maatstaf: om sociaaleconomische en andere redenen hebben zwarte patiënten in het verleden lagere gezondheidszorgkosten gemaakt dan blanke patiënten met dezelfde aandoeningen. Als gevolg hiervan gaf het algoritme blanke patiënten dezelfde scores als zwarte patiënten die significant zieker waren.

Een kleine goedmaker: De onderzoekers werkten samen met Optum om het probleem op te lossen. Ze verminderden het verschil met meer dan 80% door een versie te maken die zowel de toekomstige kosten van een patiënt voorspelt als het aantal keren dat een chronische aandoening het komende jaar kan opflakkeren. Dus algoritmische vooringenomenheid kan worden gecorrigeerd, als - en helaas, het is een grote als - je het kunt opvangen.

Waarom het uitmaakt: De studie is de laatste die de valkuilen laat zien van het toewijzen van belangrijke middelen volgens de aanbeveling van algoritmen. Dit soort uitdagingen spelen niet alleen in de gezondheidszorg, maar ook bij het aannemen, kredietwaardigheid, verzekeringen en strafrecht.

Lees volgende: onze interactieve uitleg over hoe AI-bias het strafrechtelijke rechtssysteem beïnvloedt en waarom het zo moeilijk te elimineren is.