211service.com
Hoe haat online te bestrijden
Datawetenschapper Jennifer Chayes denkt dat we computertools kunnen gebruiken om slecht online gedrag uit te roeien.
27 oktober 2021
Christie There Klok
Tijdens haar tijd bij Microsoft en in de academische wereld heeft Jennifer Chayes gevochten om datawetenschap en computergebruik te gebruiken om kunstmatige intelligentie eerlijker en minder bevooroordeeld te maken.
Chayes heeft een behoorlijk carrièrepad achter de rug, van het voortijdig verlaten van school op 15-jarige leeftijd tot de doyen van datawetenschap aan de University of California, Berkeley. Ze trad in 1987 in dienst bij de UCLA als hoogleraar wiskunde. Tien jaar later lokte Microsoft haar om haar interdisciplinaire Research Theory Group op te richten.
Dit verhaal maakte deel uit van ons nummer van november 2021
- Zie de rest van het nummer
- Abonneren
Het was in haar Microsoft-lab in New York City dat onderzoekers vooringenomenheid ontdekten in de gezichtsherkenningssoftware van het bedrijf, wat aantoont dat het systeem witte gezichten nauwkeuriger classificeerde dan bruine en zwarte gezichten. Deze bevinding zorgde ervoor dat het bedrijf een lucratief contract met een politie-afdeling afwees en begon te werken om de vooringenomenheid van dergelijke algoritmen te verwijderen. De FATE (Fairness, Accountability, Transparency and Ethics in AI) groep is gemaakt in het laboratorium.
Anil Ananthaswamy vroeg Chayes, nu associate proost van de Division of Computing, Data Science, and Society en decaan van de School of Information in Berkeley, hoe data science computing en andere gebieden transformeert.
V: Hoe was het om de overstap te maken van de academische wereld naar de industrie?
A: Dat was nogal een schok. De VP Research bij Microsoft, Dan Ling, belde me om te proberen me te overtuigen om voor een interview te gaan. Ik heb ongeveer 40 minuten met hem gepraat. En ten slotte zei ik: wil je echt weten wat me dwarszit? Microsoft is een stel puberjongens en ik wil mijn leven niet met een stel puberjongens doorbrengen.
V: Hoe reageerde hij daarop?
A: Hij zei: Oh nee, dat zijn we niet. Kom en ontmoet ons. Ik ontmoette daar een aantal ongelooflijke vrouwen toen ik er was, en ik ontmoette fenomenaal ruimdenkende mensen die dingen wilden proberen om de wereld te veranderen.
V: Hoe heeft datawetenschap computergebruik veranderd?
NAAR: Naarmate we meer gegevens hebben gekregen, begint de informatica naar buiten te kijken. Ik zie datawetenschap als een combinatie van informatica, statistiek, ethiek en een domeinaccent of een disciplinaire nadruk, of het nu gaat om biogeneeskunde en gezondheid, klimaat en duurzaamheid, of menselijk welzijn en sociale rechtvaardigheid, enzovoort. Het transformeert computergebruik.
Vraag: Is er een verschil in hoe datawetenschappers problemen oplossen?
A: Met de komst van al deze gegevens hebben we de mogelijkheid om van de gegevens te leren zonder een theorie te hebben waarom iets gebeurt. Vooral in deze tijd van machine learning en deep learning stelt het ons in staat om conclusies te trekken en voorspellingen te doen zonder een onderliggende theorie.
Vraag: Kan dat problemen veroorzaken?
NAAR: Sommigen vinden het een probleem als je [bijvoorbeeld] biomedische gegevens hebt. De data voorspellen heel nauwkeurig wat wel en niet gaat werken, zonder een onderliggend biologisch mechanisme.
Vraag: Enige voordelen?
NAAR: Wat de gegevens ons nu in staat hebben gesteld, in veel gevallen, is het uitvoeren van wat een econoom een contrafeitelijk scenario zou noemen, waarbij je eigenlijk willekeurige variaties in de gegevens ziet die je in staat stellen conclusies te trekken zonder de experimenten uit te voeren. Dat is ongelooflijk handig.
Wil ik echt verschillende opleidingen uitproberen bij verschillende bevolkingsgroepen? Of wil ik zien [dat] er op een bepaald moment willekeurige variatie was waardoor ik een echt goede causale conclusie kan trekken, en daarom kan ik er beleid op baseren?
Vraag: Ziet u een probleem in de manier waarop gegevens worden gebruikt, vooral door grote bedrijven?
A: Er zijn talloze problemen. Het wordt niet alleen gebruikt door technologiebedrijven. Het wordt gebruikt door verzekeringsmaatschappijen. Het wordt gebruikt door overheidsplatforms, volksgezondheidsplatforms en educatieve platforms. Als je niet expliciet begrijpt welke vooroordelen erin kunnen kruipen, zowel in de datasets zelf als in de algoritmen, zul je waarschijnlijk vooroordelen verergeren.
Deze vooroordelen sluipen binnen [wanneer] er niet veel gegevens zijn. En het kan ook in verband worden gebracht met andere factoren. Ik heb persoonlijk gewerkt aan het automatisch interpreteren van bio's en cv's. We mogen geen geslacht of ras gebruiken. Zelfs als ik niet naar [deze] beschermde kenmerken kijk, zijn er veel dingen [in de gegevens] die proxy's zijn voor geslacht of ras. Als je naar bepaalde scholen bent geweest, als je in bepaalde buurten bent opgegroeid, als je bepaalde sporten hebt beoefend en bepaalde activiteiten hebt gedaan, zijn ze gecorreleerd [met geslacht of ras].
V: Herkennen algoritmen deze proxy's?
NAAR: Ze verergeren het. Je moet dit expliciet begrijpen, en je moet het expliciet voorkomen door het algoritme te schrijven.
V: Hoe kunnen we dergelijke problemen aanpakken?
NAAR: Er is dit hele gebied van FATE: eerlijkheid, verantwoordelijkheid, transparantie en ethiek in AI, dat is het ontwerp van deze algoritmen en begrijpen wat ze zijn. Maar er is zoveel meer dat we moeten doen.
Vraag: En data science helpt?
A: Dit is absoluut datawetenschap. Er is een deel van het web dat de manosfeer wordt genoemd, waar veel haat vandaan komt. Het is nogal moeilijk te traceren. Maar als u natuurlijke taalverwerking en andere hulpmiddelen gebruikt, kunt u zien waar het vandaan komt. Je kunt ook proberen interfaces te bouwen waarmee belangengroepen en anderen dit kunnen vinden en helpen het uit te roeien. Dit gaat verder dan alleen eerlijk zijn. Dit verandert de rollen over de manier waarop deze platforms zijn toegeëigend om vooringenomenheid en haat te vergroten en te zeggen: we gaan de kracht van informatica en datawetenschap gebruiken om haat te identificeren en te verminderen.