211service.com
Kun je een AI maken die niet bekwaam is?
Doug Maloney/Unsplash
Kunstmatige intelligentie heeft een bekend probleem met vooroordelen, vooral als het gaat om ras en geslacht. Je hebt misschien enkele koppen gezien: gezichtsherkenningssystemen die zwarte vrouwen niet herkennen , of geautomatiseerde wervingstools die: vrouwelijke kandidaten doorgeven .
Maar hoewel onderzoekers hun best hebben gedaan om enkele van de meest flagrante problemen aan te pakken, is er één groep mensen die ze over het hoofd hebben gezien: mensen met een handicap. Neem zelfrijdende auto's. Hun algoritmen vertrouwen op trainingsgegevens om te leren hoe voetgangers eruit zien, zodat de voertuigen ze niet overrijden. Als de trainingsgegevens geen betrekking hebben op mensen in rolstoelen, kan de technologie die mensen in levensbedreigend gevaar brengen.
Voor Shari Trewin, een onderzoeker in het toegankelijkheidsteam van IBM, is dit onaanvaardbaar. Als onderdeel van een nieuw initiatief , ze is nu verkennen nieuwe ontwerpprocessen en technische methoden om machinevooroordelen tegen mensen met een handicap te verminderen. Ze sprak met ons over enkele van de uitdagingen, evenals enkele mogelijke oplossingen.
Het volgende is bewerkt voor lengte en duidelijkheid.
Waarom is eerlijkheid tegenover mensen met een handicap een ander probleem dan eerlijkheid met betrekking tot andere beschermde eigenschappen zoals ras en geslacht?
De status van gehandicapten is veel diverser en complexer in de manier waarop het mensen beïnvloedt. Veel systemen zullen ras of geslacht modelleren als een eenvoudige variabele met een klein aantal mogelijke waarden. Maar als het gaat om handicaps, zijn er zoveel verschillende vormen en verschillende niveaus van ernst. Sommige zijn permanent, andere tijdelijk. Ieder van ons kan op elk moment in ons leven lid worden van deze categorie of deze verlaten. Het is een dynamisch iets.
Ongeveer een op de vijf mensen in de VS heeft momenteel een of andere handicap. Het komt dus veel voor, maar is moeilijk vast te leggen in een eenvoudige variabele met een klein aantal mogelijke waarden. Er is misschien een systeem dat blinden discrimineert, maar niet dove mensen. Dus testen op eerlijkheid wordt veel moeilijker.
Informatie over handicaps is ook erg gevoelig. Mensen zijn veel terughoudender om het te onthullen dan informatie over geslacht, leeftijd of ras, en in sommige situaties is het zelfs illegaal om om deze informatie te vragen. Dus vaak is het in de gegevens veel minder waarschijnlijk dat u iets weet over handicaps die een persoon wel of niet kan hebben. Dat maakt het ook veel moeilijker om te weten of je een eerlijk systeem hebt.
Daar wilde ik je wat over vragen. Als mensen hebben we besloten dat de beste manier om discriminatie op grond van een handicap te voorkomen, is om de status van een handicap niet bekend te maken. Waarom zou dat niet gelden voor machine learning-systemen?
Shari Trewin, onderzoeker bij IBM's Accessibility Leadership-team met dank aan IBM
Ja, dat is het eerste waar mensen aan denken: als het systeem niets weet over de invaliditeitsstatus van individuen, zal het zeker eerlijk zijn. Maar het probleem is dat de handicap vaak gevolgen heeft voor andere stukjes informatie die in het model worden ingevoerd. Stel bijvoorbeeld dat ik iemand ben die een schermlezer gebruikt om toegang te krijgen tot internet en dat ik een online test doe voor een sollicitatie. Als dat testprogramma niet goed is ontworpen en niet toegankelijk is voor mijn schermlezer, duurt het langer voordat ik over de pagina navigeer voordat ik de vraag kan beantwoorden. Als er geen rekening wordt gehouden met die tijd bij het beoordelen van mij, wordt iedereen die hetzelfde hulpmiddel gebruikt met een vergelijkbare handicap systematisch benadeeld, zelfs als het systeem niet weet dat ik blind ben.
Dus als er zoveel verschillende nuances zijn voor handicaps, is het dan echt mogelijk om eerlijkheid te bereiken?
Ik denk dat de meer algemene uitdaging voor de AI-gemeenschap is hoe om te gaan met uitbijters, omdat machine-learningsystemen - ze leren normen, toch? Ze optimaliseren voor normen en behandelen uitbijters niet op een speciale manier. Maar vaak passen mensen met een handicap niet in de norm. De manier waarop machine learning mensen beoordeelt op wie het denkt dat ze op elkaar lijken - zelfs als het nog nooit iemand heeft gezien die op jou lijkt - is een fundamentele beperking in termen van eerlijke behandeling van mensen met een handicap.
Wat een stuk beter zou werken, zou een methode zijn die machine learning combineert met een extra oplossing, zoals logische regels die in een laag erboven worden geïmplementeerd. Er zijn ook situaties waarin meer aandacht voor het verzamelen van een meer diverse dataset zeker zou helpen. Sommige mensen experimenteren met technieken waarbij je de kern van de gegevens eruit haalt en probeert te trainen voor de uitbijters. Anderen experimenteren met verschillende leertechnieken die beter kunnen worden geoptimaliseerd voor uitbijters dan voor de norm.
Ik denk dat je pas begint na te denken over de diversiteit van individuen en het belang van uitbijters als je over handicaps begint na te denken. Als je niet genoeg genderdiversiteit in je dataset hebt, kun je dat oplossen. Het is niet zo eenvoudig om diversiteit in handicaps op te lossen.
Hoe kom je over het probleem heen dat mensen privé zijn over hun handicapstatus?
Ja, om een systeem op eerlijkheid te testen, heb je wat gegevens nodig. En mensen met een handicap die die gegevens verstrekken, is een sociaal goed, maar het is een persoonlijk risico. Mensen met een handicap zijn vaak gemakkelijk te identificeren, zelfs in anonieme gegevens, gewoon omdat ze zo uniek zijn. Dus hoe verminderen we dat? Dat zijn we nog aan het uitzoeken.
Wat zijn uw grootste zorgen over dit probleem?
Vaak optimaliseren AI-systemen iets dat niet het welzijn is van de mensen die door de beslissingen worden beïnvloed. Die impact moet veel meer naar voren komen in het ontwerpproces, zodat we niet alleen een systeem introduceren dat kijkt hoeveel geld we besparen of hoe efficiënt we mensen verwerken. We hebben nieuwe manieren nodig om systemen te meten die rekening houden met het aspect impact op de eindgebruikers, vooral als het een kansarme groep is.
Hoe zouden we dat doen?
Testen op eerlijkheid is een manier om die impact te meten. Het betrekken van de kansarme groep bij het ontwerpproces en luisteren naar hun zorgen is een ander verhaal. Zelfs expliciet een metriek opnemen voor de tevredenheid van belanghebbenden die je zou kunnen meten door middel van interviews of enquêtes - dat soort dingen.
Wat zijn de dingen waar je enthousiast over bent in dit onderzoeksgebied?
AI-technologieën veranderen de wereld al voor mensen met een handicap door hen nieuwe mogelijkheden te bieden, zoals applicaties die je vertellen wat er in je gezichtsveld is wanneer je je telefoon richt.
Ik denk dat als we het goed doen, er een reële kans is voor AI-systemen om eerdere systemen voor alleen mensen te verbeteren. Er is veel discriminatie en vooringenomenheid en onbegrip van mensen met een handicap in de huidige samenleving. Als we een manier kunnen vinden om AI-systemen te produceren die dat soort vooroordelen wegnemen, dan kunnen we beginnen met het veranderen van de behandeling van mensen met een handicap en het verminderen van discriminatie.