211service.com
We zitten in een diversiteitscrisis: medeoprichter van Black in AI over wat algoritmen in ons leven vergiftigen
Timnit Gebru kijkt rond in de AI-wereld en ziet bijna niemand die op haar lijkt. Dat is een probleem voor ons allemaal. 14 februari 2018
met dank aan timnit brug
Kunstmatige intelligentie is een steeds meer naadloos onderdeel van ons dagelijks leven, aanwezig in alles, van zoekopdrachten op het web tot sociale media tot thuisassistenten zoals Alexa. Maar wat doen we als deze enorm belangrijke technologie onbedoeld, maar fundamenteel bevooroordeeld is? En wat doen we als dit enorm belangrijke veld bijna geen zwarte onderzoekers bevat? Timnit Gebru pakt deze vragen aan als onderdeel van Microsoft's Fairness, Accountability, Transparency, and Ethics in AI-groep, waar ze zich afgelopen zomer bij voegde. Ze was ook medeoprichter van het Black in AI-evenement op de Neural Information Processing Systems (NIPS)-conferentie in 2017 en zat in de stuurgroep van de eerste Fairness and Transparency-conferentie in februari. Ze sprak met MIT Technology Review over hoe vooringenomenheid in AI-systemen terechtkomt en hoe diversiteit dit kan tegengaan.
Hoe verstoort het gebrek aan diversiteit kunstmatige intelligentie en specifiek computervisie?
Dit verhaal maakte deel uit van ons nummer van maart 2018
- Zie de rest van het nummer
- Abonneren
Ik kan hier een heel jaar over praten. Er is een vooroordeel over wat voor soort problemen we belangrijk vinden, wat voor soort onderzoek we belangrijk vinden en waar we denken dat AI zou moeten gaan. Als we geen diversiteit hebben in onze groep onderzoekers, gaan we geen problemen aanpakken waarmee de meerderheid van de mensen in de wereld wordt geconfronteerd. Als problemen ons niet raken, denken we dat ze niet zo belangrijk zijn, en we weten misschien niet eens wat deze problemen zijn, omdat we geen interactie hebben met de mensen die ze ervaren.
Toen ik Black in AI begon, begon ik het met een paar van mijn vrienden. Ik had daarvoor een kleine mailinglijst waar ik letterlijk elke zwarte persoon die ik in dit veld zag aan de mailinglijst zou toevoegen en zou zeggen: 'Hallo, ik ben Timnit. Ik ben zwarte persoon nummer twee. Hallo, zwarte persoon nummer één. Laten we vrienden zijn.'
Zijn er manieren om bias in systemen tegen te gaan?
De reden waarom diversiteit echt belangrijk is in AI, niet alleen in datasets maar ook in onderzoekers, is dat je mensen nodig hebt die gewoon dit sociale gevoel hebben voor hoe de dingen zijn. We bevinden ons in een diversiteitscrisis voor AI. Naast technische gesprekken, gesprekken over recht, gesprekken over ethiek, moeten we gesprekken voeren over diversiteit in AI. We hebben allerlei soorten diversiteit nodig in AI. En dit moet worden behandeld als iets dat uiterst urgent is.
Vanuit technisch oogpunt zijn er veel verschillende soorten benaderingen. Een daarvan is om uw dataset te diversifiëren en veel verschillende annotaties van uw dataset te hebben, zoals ras en geslacht en leeftijd. Als je een model eenmaal hebt getraind, kun je het testen en zien hoe goed het het doet bij al deze verschillende subgroepen. Maar zelfs nadat je dit hebt gedaan, heb je ongetwijfeld een soort vooroordeel in je dataset. Je kunt geen dataset hebben die de hele wereld perfect bemonstert.
Iets waar ik echt gepassioneerd over ben en waar ik nu aan werk, is uitzoeken hoe bedrijven kunnen worden aangemoedigd om meer informatie aan gebruikers of zelfs onderzoekers te geven. Ze hadden het gebruik moeten aanbevelen, wat de valkuilen zijn, hoe bevooroordeeld de dataset is, enz. Zodat wanneer ik een startup ben en ik gewoon je standaard dataset of standaardmodel neem en door het op te nemen in wat ik ook doe, weet ik tenminste wat voor valkuilen er kunnen zijn. Op dit moment bevinden we ons in een plaats die bijna op het Wilde Westen lijkt, waar we niet echt veel standaarden hebben [over] waar we datasets uitbrengen.
En dan zijn er nog enkele dingen waarvoor u machine learning op dit moment waarschijnlijk niet zou moeten gebruiken, en we hebben geen duidelijke richtlijn voor wat die dingen zijn. We moeten zeggen dat als je machine learning gaat gebruiken voor deze specifieke taak, de nauwkeurigheid van je model ten minste X moet zijn, en in dit specifieke opzicht zou het eerlijk moeten zijn. Daar hebben we ook geen richtlijnen voor. AI begint nu net ingebakken te worden in de mainstream, overal in een product, dus we staan op een afgrond waar we echt een soort gesprek over standaardisatie en gebruik nodig hebben.
Met dank aan TIMNIT GEBRUIKT
Wat was de drijvende motivatie achter uw werk met Google Street View en ander demografisch onderzoek?
Toen we met dit project begonnen, werd er heel weinig gedaan om te proberen cultuur te analyseren met behulp van beelden. Maar we weten dat online de meeste van onze gegevens in de vorm van afbeeldingen zijn. Een van onze drijfveren was om te laten zien dat je sociale analyses kunt doen met behulp van afbeeldingen.
Dit kan erg handig zijn in gevallen waarin het verkrijgen van op enquêtes gebaseerde gegevens erg moeilijk is. Er zijn plaatsen in de wereld waar de infrastructuur er niet is en de middelen er niet zijn om mensen van deur tot deur te sturen en [tellings]gegevens te verzamelen, [maar waar] inzicht zou hebben in de verschillende soorten bevolkingsgroepen die in uw land leven erg behulpzaam zijn.
Maar nogmaals, dit is precies wat me ook ertoe bracht om eerlijkheid te bestuderen. Want als ik dit werk wil blijven doen, moet ik echt een beter begrip hebben van de mogelijk negatieve gevolgen. Wat zijn de gevolgen voor toezicht? En wat zijn de gevolgen voor een dataset-bias? In elk soort dataminingproject zul je een vooroordeel hebben. Dus mijn werk daar was echt wat me ertoe bracht wat tijd in de eerlijkheidsgemeenschap door te brengen om te begrijpen waar de valkuilen zouden kunnen zijn.
Welke problemen hoopt u met deze eerste Fairness and Transparency-conferentie aan te pakken?
Dit is echt de eerste conferentie die de kwesties eerlijkheid, aansprakelijkheid, ethiek en transparantie in AI behandelt. Er zijn workshops geweest op andere conferenties, en meestal zijn er workshops geweest op conferenties op basis van natuurlijke taalverwerking of op conferenties op basis van machine learning. Het is erg belangrijk om de op zichzelf staande conferentie te hebben, omdat er aan gewerkt moet worden door mensen uit vele disciplines die met elkaar praten.
Zelflerende mensen kunnen dit probleem niet alleen oplossen. Er zijn kwesties van transparantie; er zijn problemen over hoe de wetten moeten worden bijgewerkt. Als je gaat praten over vooroordelen in de gezondheidszorg, wil je met [zorgprofessionals] praten over waar de mogelijke vooroordelen zouden kunnen zitten, en dan kun je nadenken over hoe je een op machine learning gebaseerde oplossing kunt hebben.
Wat is jouw ervaring met het werken in AI?
Het is niet makkelijk. Ik hou van mijn werk. Ik hou van het onderzoek waaraan ik werk. Ik hou van het veld. Ik kan me niet voorstellen wat ik in dat opzicht anders zou doen. Dat gezegd hebbende, het is erg moeilijk om een zwarte vrouw te zijn op dit gebied. Toen ik Black in AI begon, begon ik het met een paar van mijn vrienden. Ik had daarvoor een kleine mailinglijst waar ik letterlijk elke zwarte persoon die ik in dit veld zag aan de mailinglijst zou toevoegen en zou zeggen: Hallo, ik ben Timnit. Ik ben zwarte persoon nummer twee. Hallo, zwarte persoon nummer één. Laten we vrienden zijn.
Wat het echt versnelde, was [in 2016] toen ik naar NIPS ging en iemand zei dat er naar schatting 8.500 mensen waren. Ik telde zes zwarte mensen. Ik was letterlijk in paniek. Dat is de enige manier waarop ik kan beschrijven hoe ik me voelde. Ik zag dat dit veld exponentieel groeide en de mainstream bereikte; het beïnvloedt elk deel van de samenleving. Tegelijkertijd zag ik ook veel retoriek over diversiteit en hoe veel bedrijven het belangrijk vinden.
En ik zag een mismatch tussen retoriek en actie. Omdat zes zwarte mensen van de 8.500 - dat is een belachelijk aantal, toch? Dat is bijna nul procent. Ik had zoiets van, we moeten nu iets doen. Ik wil een oproep tot actie doen aan mensen die diversiteit belangrijk vinden. Omdat het een noodgeval is, en we moeten er nu iets aan doen.