Bevooroordeelde algoritmen zijn overal, en het lijkt niemand iets te kunnen schelen

Kate Crawford, sprekend op de AI Now-conferentie op MIT deze week. John Maeda (@johnmaeda)

Ondoorzichtige en mogelijk bevooroordeelde wiskundige modellen hervormen ons leven - en noch de bedrijven die verantwoordelijk zijn voor de ontwikkeling ervan, noch de overheid is geïnteresseerd in het aanpakken van het probleem.

Deze week lanceerde een groep onderzoekers samen met de American Civil Liberties Union een poging om algoritmische vooringenomenheid te identificeren en te benadrukken. De AI Now-initiatief werd aangekondigd tijdens een evenement bij MIT om te bespreken wat veel experts als een groeiende uitdaging zien.

Algoritmische vooringenomenheid wordt een groot maatschappelijk probleem op een kritiek moment in de evolutie van machine learning en AI. Als de vooringenomenheid die op de loer ligt in de algoritmen die steeds belangrijkere beslissingen nemen, niet wordt herkend en niet wordt gecontroleerd, kan dit ernstige negatieve gevolgen hebben, vooral voor armere gemeenschappen en minderheden. De uiteindelijke verontwaardiging kan ook de voortgang van een ongelooflijk nuttige technologie belemmeren (zie Algoritmen op vooringenomenheid inspecteren).

Algoritmen die verborgen vooroordelen kunnen verbergen, worden al routinematig gebruikt om essentiële financiële en juridische beslissingen te nemen. Eigen algoritmen worden gebruikt om bijvoorbeeld te beslissen wie een sollicitatiegesprek krijgt, wie voorwaardelijke vrijlating krijgt en wie een lening krijgt.

De oprichters van het nieuwe AI Now Initiative, Kate Crawford , een onderzoeker bij Microsoft, en Meredith Whittaker, een onderzoeker bij Google, zeggen dat vooringenomenheid kan bestaan ​​in allerlei diensten en producten.

Het is nog te vroeg om algoritmische vooringenomenheid te begrijpen, zeiden Crawford en Whittaker in een e-mail. Dit jaar hebben we meer systemen gezien die problemen hebben, en dit zijn slechts degenen die zijn onderzocht.

Voorbeelden van algoritmische vooringenomenheid die de laatste tijd aan het licht zijn gekomen, zeggen ze, zijn onder meer gebrekkig en een verkeerde voorstelling van zaken systemen die worden gebruikt om leraren te rangschikken , en gender-vooringenomen modellen voor natuurlijke taalverwerking .

Cathy O'Neil, een wiskundige en de auteur van Wapens van wiskundige vernietiging , een boek dat het risico van algoritmische vooringenomenheid in veel contexten benadrukt, zegt dat mensen vaak te graag vertrouwen in wiskundige modellen omdat ze denken dat het menselijke vooroordelen zal wegnemen. [Algoritmen] vervangen menselijke processen, maar ze worden niet aan dezelfde normen gehouden, zegt ze. Mensen vertrouwen ze te veel.

Een belangrijke uitdaging, zeggen deze en andere onderzoekers, is dat cruciale belanghebbenden, waaronder de bedrijven die machine learning-systemen ontwikkelen en toepassen en overheidsregelgevers, weinig interesse tonen in het monitoren en beperken van algoritmische vooringenomenheid. Financiële en technologiebedrijven gebruiken allerlei wiskundige modellen en zijn niet transparant over hoe ze werken. O'Neil zegt bijvoorbeeld dat ze zich zorgen maakt over hoe de algoritmen achter de nieuwe baanzoekservice van Google werken.

Verwant verhaal

Verwant verhaal Zonder wetenschaps- en technologieadviseurs in het Witte Huis zou president Trump moeite kunnen hebben om op crises te reageren.

O'Neil werkte eerder als professor aan het Barnard College in New York en als kwantitatief analist bij het bedrijf D.E. Shaw. Ze is nu het hoofd van Online risicoadvies en algoritmische controle , een bedrijf dat is opgericht om bedrijven te helpen bij het identificeren en corrigeren van de vooroordelen in de algoritmen die ze gebruiken. Maar O'Neil zegt dat zelfs degenen die hun algoritmen kennen, een risico lopen op vooringenomenheid, meer geïnteresseerd zijn in de bottom line dan in het uitroeien van vooroordelen. Ik zal eerlijk tegen je zijn, zegt ze. Ik heb momenteel geen klanten.

O'Neil, Crawford en Whittaker waarschuwen ook allemaal dat het gebrek aan interesse van de regering-Trump in AI - en in de wetenschap in het algemeen - betekent dat er geen regelgevende beweging is om het probleem aan te pakken (zie The Gaping, Dangerous Hold in the Trump Administration).

Het Office of Science and Technology Policy is niet langer actief betrokken bij AI-beleid - of veel van wat dan ook volgens hun website, schrijven Crawford en Whittaker. Beleidswerk moet nu ergens anders worden gedaan.

zich verstoppen