Hoe onze gegevens systematisch racisme coderen

mevrouw Tech

Er is mij vaak verteld: de gegevens liegen niet. Dat is echter nooit mijn ervaring geweest. Voor mij liegen de gegevens bijna altijd. De zoekresultaten van Google Afbeeldingen voor een gezonde huid tonen alleen vrouwen met een lichte huid en een zoekopdracht op Zwarte meisjes retourneren nog steeds pornografie . De CelebA gezichtsgegevensset heeft labels van grote neus en grote lippen die onevenredig worden toegewezen aan vrouwelijke gezichten met een donkere huidskleur, zoals de mijne. Label voor door ImageNet getrainde modellen ik een slecht persoon, een drugsverslaafde of een mislukkeling. Datasets voor het opsporen van huidkanker ontbreken monsters van donkerder huidtypes.

Witte suprematie verschijnt vaak gewelddadig - in geweerschoten op een drukke Walmart of kerkdienst , in de scherpe opmerking van een door haat gevoede beschuldiging of een harde duw op straat - maar soms neemt het een subtielere vorm aan, zoals deze leugens. Wanneer degenen onder ons die AI-systemen bouwen de flagrante leugen van blanke suprematie blijven toelaten in alles, van hoe we gegevens verzamelen tot hoe we datasets definiëren en kiezen om ze te gebruiken, betekent dit een verontrustende tolerantie.

Niet-blanke mensen zijn geen uitbijters. Wereldwijd zijn wij de norm , en dit lijkt niet te zijn binnenkort veranderen . Datasets die zo specifiek in en voor witruimten zijn ingebouwd, vertegenwoordigen de geconstrueerde realiteit, niet de natuurlijke. Nauwkeurigheid laten berekenen zonder mijn geleefde ervaring beledigt me niet alleen, maar brengt me ook in reëel gevaar.

Corrupte gegevens

In een onderzoekspaper getiteld Vuile gegevens, slechte voorspellingen , beschrijft hoofdauteur Rashida Richardson een alarmerend scenario: politiebureaus waarvan wordt vermoed of bevestigd dat ze betrokken zijn geweest bij corrupte, raciaal vooringenomen of anderszins illegale praktijken, blijven hun gegevens bijdragen aan de ontwikkeling van nieuwe geautomatiseerde systemen die bedoeld zijn om agenten te helpen bij het nemen van politiebeslissingen.

Het doel van voorspellende politietools is om agenten naar de plaats van een misdrijf te sturen voordat het gebeurt. De veronderstelling is dat locaties waar eerder personen zijn gearresteerd, correleren met een kans op toekomstige illegale activiteiten. Wat Richardson opmerkt, is dat deze veronderstelling onbetwist blijft, zelfs wanneer die eerste arrestaties racistisch gemotiveerd of illegaal waren, waarbij soms sprake was van systematische gegevensmanipulatie, politiecorruptie, het vervalsen van politierapporten en geweld, waaronder het beroven van bewoners, het verzamelen van bewijsmateriaal, afpersing, ongrondwettelijke huiszoekingen en andere corrupte praktijken. Zelfs gegevens van de slechtst gedragende politiediensten zijn nog steeds gebruikt om voorspellende politietools te informeren .

als de Tampa Bay Times meldt: , kan deze benadering een algoritmische rechtvaardiging bieden voor verdere intimidatie door de politie van minderheden en gemeenschappen met lage inkomens. Door dergelijke gebrekkige gegevens te gebruiken om nieuwe systemen te trainen, wordt het gedocumenteerde wangedrag van de politie in het algoritme ingebed en worden praktijken waarvan bekend is dat ze de meest kwetsbaren voor dat misbruik terroriseren, in stand gehouden.

Dit lijkt misschien een handvol tragische situaties te beschrijven. Het is echter echt de norm in machine learning: dit is de typische kwaliteit van de gegevens die we momenteel accepteren als onze onbetwiste grondwaarheid.

Verwant verhaal

Wat ontbreekt er in bedrijfsverklaringen over raciale onrechtvaardigheid? De echte oorzaak van racisme. Een analyse van 63 recente verklaringen laat zien dat Amerikaanse technologiebedrijven herhaaldelijk de verantwoordelijkheid voor raciale onrechtvaardigheid bij zwarte mensen legden.

Op een dag GPT-2, een eerdere openbaar beschikbare versie van de geautomatiseerd taalgeneratiemodel ontwikkeld door de onderzoeksorganisatie OpenAI, begon openlijk met mij te praten over blanke rechten. Gegeven eenvoudige aanwijzingen zoals een blanke man is of een zwarte vrouw is, zou de tekst die het model heeft gegenereerd, leiden tot discussies over blanke Arische naties en buitenlandse en niet-blanke indringers.

Deze tirades bevatten niet alleen gruwelijke scheldwoorden als bitch, slut, nigger, chink en slanteye, maar de gegenereerde tekst belichaamde een specifieke Amerikaanse blanke nationalistische retoriek, die demografische dreigingen beschreef en antisemitische kanttekeningen tegen joden en communisten maakte.

GPT-2 denkt niet voor zichzelf - het genereert reacties door taalpatronen te repliceren die zijn waargenomen in de gegevens die zijn gebruikt om het model te ontwikkelen. Deze dataset, genaamd WebText, bevat meer dan 8 miljoen documenten voor een totaal van 40 GB aan tekst afkomstig van hyperlinks. Deze links zijn zelf geselecteerd uit berichten die het meest werden gestemd op de sociale-mediawebsite Reddit, zoals een heuristische indicator om te zien of andere gebruikers de link interessant, leerzaam of gewoon grappig vonden .

Reddit-gebruikers, inclusief degenen die uploaden en upvoten, zijn echter waarvan bekend is dat ze blanke supremacisten omvatten . Jarenlang was het platform staat bol van racistische taal en toegestane links naar inhoud die een racistische ideologie uitdrukt. En hoewel er zijn praktische opties beschikbaar om dit gedrag op het platform te beteugelen, de eerste serieuze pogingen om actie ondernemen , tegen de toenmalige CEO Ellen Pao in 2015, werden slecht ontvangen door de gemeenschap en leidden tot intense intimidatie en terugslag .

Of ze nu te maken hebben met eigenzinnige agenten of eigenzinnige gebruikers, technologen kiezen ervoor om dit specifieke onderdrukkende wereldbeeld te laten stollen in datasets en de aard van de modellen die we ontwikkelen te definiëren. OpenAI erkende zelf de beperkingen van het sourcen van gegevens van Reddit en merkte op dat: veel kwaadwillende groepen gebruiken die discussieforums om zich te organiseren . Maar de organisatie ook blijft gebruik maken van de van Reddit afgeleide dataset , zelfs in latere versies van zijn taalmodel. De gevaarlijk gebrekkige aard van gegevensbronnen wordt voor het gemak effectief afgedaan, ondanks de gevolgen. Kwaad opzet is niet nodig om dit te laten gebeuren, hoewel een zekere onnadenkende passiviteit en verwaarlozing dat wel is.

Kleine leugentjes om bestwil

Witte suprematie is de valse overtuiging dat blanke individuen superieur zijn aan die van andere rassen. Het is geen simpele misvatting, maar een ideologie die geworteld is in teleurstelling . Ras is de eerste mythe, superioriteit de volgende. Voorstanders van deze ideologie klampen zich koppig vast aan een uitvinding die hen bevoordeelt.

Ik hoor hoe deze leugen de taal verzacht van een... oorlog tegen drugs aan een opioïde epidemie en verwijten geestelijke gezondheid of videogames voor de acties van blanke aanvallers, zelfs zoals het toeschrijft luiheid en criminaliteit aan niet-blanke slachtoffers. Ik merk hoe het degenen uitwist die op mij lijken, en ik zie hoe het zich afspeelt in een eindeloze parade van bleke gezichten waar ik niet aan kan ontsnappen - in films, op omslagen van tijdschriften en bij prijsuitreikingen.

Datasets die zo specifiek in en voor witruimten zijn ingebouwd, vertegenwoordigen de geconstrueerde realiteit, niet de natuurlijke.

Deze schaduw volgt al mijn bewegingen, een ongemakkelijke rilling in mijn nek. Als ik moord hoor, zie ik niet alleen de politieagent met... zijn knie op een keel of de misplaatste burgerwacht met een pistool aan zijn zijde - het is de economie die wurgt wij, de ziekte die verzwakt wij en de regering die het zwijgen oplegt ons.

Vertel me - wat is het verschil tussen overpolitie in minderheidsbuurten en de vooringenomenheid van het algoritme dat agenten daarheen stuurde ? Wat is het verschil tussen een gescheiden schoolsysteem en een discriminerend? beoordelingsalgoritme ? Tussen een dokter die niet luistert en een algoritme dat je een ziekenhuisbed ontzegt ? Er is geen systematisch racisme los van onze algoritmische bijdragen, van het verborgen netwerk van algoritmische implementaties die regelmatig instorten bij degenen die al het meest kwetsbaar zijn.

Verzet tegen technologisch determinisme

Technologie is niet onafhankelijk van ons; het is door ons gemaakt en we hebben er volledige controle over. Gegevens zijn niet zomaar willekeurig politiek -er zijn specifieke giftige en slecht geïnformeerde politiek die datawetenschappers achteloos toestaan ​​om onze datasets te infiltreren. Witte suprematie is er een van.

We hebben onszelf en onze beslissingen al in de uitkomst betrokken - er is geen neutrale benadering. Er is geen toekomstige versie van gegevens die magisch onbevooroordeeld is. Gegevens zullen altijd een subjectieve interpretatie zijn van iemands realiteit, een specifieke presentatie van de doelen en perspectieven die we op dit moment prioriteit geven. Dat is een bevoegdheid van degenen onder ons die verantwoordelijk zijn voor het sourcen, selecteren en ontwerpen van deze gegevens en het ontwikkelen van de modellen die de informatie interpreteren. In wezen is er geen ruil van eerlijkheid voor nauwkeurigheid - dat is een mythisch offer, een excuus om onze rol bij het definiëren van prestaties niet op te nemen met uitsluiting van anderen in de eerste plaats.

Degenen onder ons die deze systemen bouwen, zullen kiezen welke: subreddits en online bronnen om te crawlen , die talen naar gebruiken of negeren, welke datasets verwijderen of accepteren . Het belangrijkste is dat wij kiezen op wie we deze algoritmen toepassen , en welke doelstellingen we optimaliseren? voor. We kiezen de labels die we maken, de gegevens die we opnemen, de methoden die we gebruiken. We kiezen wie we verwelkomen als datawetenschappers en ingenieurs en onderzoekers - en wie we doen niet . Er waren veel mogelijkheden voor het ontwerp van de technologie die we bouwden, en we kozen voor deze. Wij zijn verantwoordelijk.

Dus waarom kunnen we niet voorzichtiger zijn? Wanneer zullen we er eindelijk een gewoonte van maken om te onthullen? gegevens herkomst , problematische datasets verwijderen , en het expliciet definiëren van de beperkingen van de reikwijdte van elk model ? Op welk punt kunnen we degenen die met een? expliciete blanke supremacistische agenda , en neem serieuze acties ter betrekking?

Een onzeker pad voorwaarts

Afgeleid door zakelijke condoleances , abstracte technische oplossingen en gearticuleerde sociale theorieën, heb ik peers zichzelf zien feliciteren met onzichtbare vooruitgang. Uiteindelijk ben ik jaloers op ze, omdat ze een keuze hebben in dezelfde wereld waar ik, net als elke andere zwarte persoon, er niet voor kan kiezen om me hier druk om te maken.

Terwijl zwarte mensen nu sterven in een kakofonie van natuurlijke en onnatuurlijke rampen, zijn veel van mijn collega's nog steeds meer geprikkeld door het nieuwste product of de lancering van de ruimte dan de schokkende gruwel van een realiteit die me de adem verstikt.

Feit is dat AI pas werkt als het voor ons allemaal werkt.

Jarenlang heb ik deze kwestie als belangrijk aangeprezen, maar het is duidelijk dat ermee omgaan nog steeds wordt gezien als een niet-prioritaire, leuk om aanvullende actie te hebben - altijd secundair aan een definitie van modelfunctionaliteit die mij niet omvat.

Modellen die duidelijk nog steeds moeite hebben om deze bias-uitdagingen aan te pakken, krijgen gevierd als doorbraken , terwijl mensen dapper genoeg zijn om over het risico te praten monddood worden gemaakt, of erger . Er is een duidelijke culturele zelfgenoegzaamheid met de dingen zoals gewoonlijk, en hoewel teleurstellend, is dat niet bijzonder verrassend in een veld waar de overgrote meerderheid gewoon de inzet niet begrijpt.

Feit is dat AI pas werkt als het voor ons allemaal werkt. Als we ooit raciale onrechtvaardigheid hopen aan te pakken, dan moeten we ophouden onze vervormde gegevens als grondwaarheid te presenteren. Er is geen rationele en rechtvaardige wereld waarin aanwervingstools sluiten vrouwen systematisch uit van technische functies, of waar zelfrijdende auto's hebben meer kans voetgangers met een donkere huid te raken . De waarheid van elke realiteit die ik herken, zit niet in deze modellen, of in de datasets die ze informeren.

De machine-learninggemeenschap blijft een bepaald niveau van disfunctie accepteren zolang alleen bepaalde groepen worden getroffen. Dit vereist een bewuste verandering, en dat zal net zoveel inspanning vergen als elke andere strijd tegen systematische onderdrukking. De leugens die in onze gegevens zijn ingebed, verschillen tenslotte niet veel van andere leugens die de blanke suprematie heeft verteld. Ze zullen dus net zoveel energie en investeringen vergen om dit tegen te gaan.

Deborah Raji is een Mozilla-fellow die geïnteresseerd is in algoritmische auditing en evaluatie. Ze heeft aan verschillende bekroonde projecten gewerkt om gevallen van vooringenomenheid in computervisie onder de aandacht te brengen en de documentatiepraktijken bij machine learning te verbeteren.

zich verstoppen