Er is een makkelijke manier om lenen eerlijker te maken voor vrouwen. Het probleem is dat het illegaal is.

Creditscores als overlay op mannelijke en vrouwelijke symbolen.

Creditscores als overlay op mannelijke en vrouwelijke symbolen. Selman Ontwerp





Eerder deze week startte het New Yorkse Department of Financial Services een onderzoek naar Goldman Sachs voor mogelijke kredietdiscriminatie op grond van geslacht. Het onderzoek kwam nadat webondernemer David Heinemeier Hansson had getweet dat de Apple Card, die Goldman beheert, hem 20 keer een kredietlimiet had gegeven die gold voor zijn vrouw, hoewel de twee gezamenlijke belastingaangiften hadden ingediend en zij de betere kredietscore had.

Als reactie plaatste Goldman een verklaring waarin stond dat het geen rekening hield met geslacht bij het bepalen van de kredietwaardigheid. De logica was waarschijnlijk bedoeld als verdediging - hoe kun je vrouwen discrimineren als je niet eens weet dat iemand een vrouw is? Maar in feite is het juist het probleem om geen rekening te houden met geslacht. Onderzoek naar algoritmische eerlijkheid heeft eerder aangetoond dat het overwegen van geslacht echt helpt verzachten gendervooroordeel. Ironisch genoeg is het echter illegaal om dit in de VS te doen.



Voorlopige resultaten van een lopend onderzoek gefinancierd door de VN-stichting en de Wereldbank vormen opnieuw een uitdaging voor de eerlijkheid van genderblinde kredietverlening. Uit het onderzoek bleek dat het creëren van volledig gescheiden kredietwaardigheidsmodellen voor mannen en vrouwen de meerderheid van de vrouwen meer krediet gaf.

Dus: moet de wet worden geactualiseerd?

Het seksisme van genderblind zijn

Als u niet wilt discrimineren op geslacht, waarom haalt u het geslacht dan niet gewoon uit de vergelijking? Dit was het uitgangspunt van de Wet gelijke kredietkansen (ECOA), uitgevaardigd in de VS in 1974, in een tijd waarin vrouwen regelmatig krediet werd geweigerd. Het maakte het voor elke schuldeiser onwettig om te discrimineren op basis van geslacht of om sekse in aanmerking te nemen bij het beoordelen van de kredietwaardigheid. (In 1976 werd het bijgewerkt om discriminatie op grond van ras, nationale afkomst en andere kenmerken die door de federale overheid worden beschermd, te verbieden.)



Maar bij machine learning kan genderblindheid het probleem zijn. Zelfs als geslacht niet is gespecificeerd, kan het gemakkelijk worden afgeleid uit andere variabelen die er sterk mee correleren. Als gevolg hiervan versterken modellen die zijn getraind op historische gegevens die zijn ontdaan van geslacht, nog steeds ongelijkheden uit het verleden. Hetzelfde geldt voor ras en andere kenmerken. Dit is waarschijnlijk wat er gebeurde in de Apple Card-zaak: omdat vrouwen historisch gezien minder krediet kregen, leerde het algoritme dat patroon in stand te houden.

In een studie uit 2018 , ontdekte een samenwerking tussen computerwetenschappers en economen dat de beste manier om deze problemen te verminderen in feite was om kenmerken zoals geslacht en ras opnieuw in het model te introduceren. Dit zorgt voor meer controle om gemanifesteerde vooroordelen te meten en om te keren, wat resulteert in meer rechtvaardigheid in het algemeen.

Gendergedifferentieerde kredietverlening

De laatste studie test een nieuwe hypothese: zouden afzonderlijke modellen voor mannen en vrouwen gendervooroordelen verder verminderen? Tijdens een evenement dat dinsdag werd georganiseerd door de VN-stichting, presenteerde Sean Higgins, een assistent-professor aan de Northwestern University en een onderzoeker van de studie, voorlopige bevindingen die suggereren dat ze dat zouden doen.



In samenwerking met een commerciële bank in de Dominicaanse Republiek voerden de onderzoekers twee afzonderlijke analyses uit van 20.000 mensen met een laag inkomen, waarvan de helft vrouwen. In de eerste analyse gebruikten de onderzoekers de aflossingsgeschiedenis en het geslacht van de individuen om een ​​enkel machine learning-model te trainen voor het voorspellen van kredietwaardigheid. In de tweede analyse trainden de onderzoekers een model met alleen de leningsgegevens van de vrouwen. Ze ontdekten dat 93% van de vrouwen meer krediet kreeg in dit model dan in het model waarin mannen en vrouwen door elkaar werden gehaald.

Dit gebeurt, zegt Higgins, omdat vrouwen en mannen verschillende kredietgeschiedenissen hebben en verschillend gedrag bij het terugbetalen van leningen, hetzij om historische, culturele of andere redenen. Vrouwen betalen bijvoorbeeld eerder hun leningen terug, zegt hij. Maar met die verschillen wordt geen rekening gehouden in het gecombineerde model, dat de kredietwaardigheid leert voorspellen op basis van gemiddelden tussen vrouwen en mannen. Bijgevolg voorspellen dergelijke modellen de waarschijnlijkheid dat vrouwen hun leningen zullen terugbetalen en hen uiteindelijk minder krediet toekennen dan ze verdienen.

Terwijl Higgins en zijn medewerkers deze hypothese specifiek testten voor vrouwen met een laag inkomen in de Dominicaanse Republiek, zouden de kwalitatieve resultaten moeten gelden ongeacht de context. Ze moeten ook van toepassing zijn op andere kenmerken dan geslacht en in andere domeinen dan financiën.



Wat te doen met de wet?

Het probleem is dat dit soort single-gender-model illegaal is. De vraag is of beleidsmakers daarom de ECOA moeten actualiseren.

Higgins is voorstander. Het recente onderzoek naar algoritmische eerlijkheid heeft tot een vrij duidelijke conclusie geleid dat we zaken als ras en geslacht in de algoritmen zouden moeten gebruiken, zegt hij. Als de banken geen toegang hebben tot die variabelen en niet eens veiligheidscontroles kunnen inbouwen om ervoor te zorgen dat hun algoritmen niet bevooroordeeld zijn, kunnen we deze vooroordelen alleen ontdekken wanneer mensen tweeten over ongelijkheden die ze in het wild tegenkomt.

Maar Andrew Selbst, een assistent-professor in de rechten aan de UCLA die gespecialiseerd is op het snijvlak van AI en recht, waarschuwt ervoor om niet te snel te handelen. Door de wet op die manier te herschrijven, krijgen slechte actoren de mogelijkheid om rasvariabelen en geslachtsvariabelen op te nemen en wild te discrimineren op een manier die heel moeilijk te controleren is, zegt hij. Hij maakt zich ook zorgen dat deze oplossing geen rekening zou houden met niet-binaire of transgenders en hen onbedoeld schade zou berokkenen.

Meld u aan voor onze Webby-genomineerde AI-nieuwsbrief The Algorithm om meer van dit soort verhalen rechtstreeks in uw inbox te ontvangen. Het is gratis.

zich verstoppen