Participatie-wassen zou de volgende gevaarlijke rage in machine learning kunnen zijn

mevrouw Tech | Getty, Unsplash

De AI-gemeenschap begint eindelijk te beseffen dat machine learning onevenredige schade kan toebrengen aan reeds onderdrukte en achtergestelde groepen. We hebben activisten en organisatoren daarvoor te bedanken. Onderzoekers en wetenschappers op het gebied van machine learning zijn nu op zoek naar manieren om AI eerlijker, verantwoordelijker en transparanter te maken, maar sinds kort ook meer participatief.

Een van de meest opwindende en drukbezochte evenementen in de Internationale conferentie over machinaal leren in juli heette Participatieve benaderingen van machine learning . Deze workshop maakte gebruik van de ambitie van de gemeenschap om meer democratische, coöperatieve en rechtvaardige algoritmische systemen te bouwen door participatieve methoden in hun ontwerp op te nemen. Dergelijke methoden brengen degenen die interactie hebben met en beïnvloed worden door een algoritmisch systeem bij het ontwerpproces, bijvoorbeeld door verpleegkundigen en artsen te vragen om te helpen bij het ontwikkelen van een sepsis-detectietool .

Dit is een broodnodige interventie op het gebied van machine learning, die te hiërarchisch en homogeen kan zijn. Maar het is geen wondermiddel: in feite zou participatie-washing de volgende gevaarlijke rage van het veld kunnen worden. Dat is wat ik, samen met mijn co-auteurs Emanuel Moss, Olaitan Awomolo en Laura Forlano, betoog in onze recente paper Deelname is geen ontwerpoplossing voor machine learning .

Het negeren van patronen van systemische onderdrukking en privileges leidt tot onverklaarbare machinale leersystemen die diep ondoorzichtig en oneerlijk zijn. Deze patronen zijn de afgelopen 30 jaar het veld doorgedrongen. Ondertussen heeft de wereld de exponentiële groei van welvaartsongelijkheid en door fossiele brandstoffen aangedreven klimaatverandering gezien. Deze problemen zijn geworteld in een belangrijke dynamiek van het kapitalisme: extractie. Ook participatie is vaak gebaseerd op dezelfde extractieve logica, vooral als het gaat om machine learning.

Deelname is niet gratis

Laten we beginnen met deze observatie: participatie is al een groot deel van machine learning, maar op problematische manieren. Een manier is participatie als werk.

Of hun werk nu wel of niet wordt erkend, veel deelnemers spelen een belangrijke rol bij het produceren van gegevens die worden gebruikt om machine learning-modellen te trainen en te evalueren. Foto's die iemand heeft gemaakt en gepost, worden van het internet geschraapt en laagbetaalde werknemers op platforms zoals Amazon Mechanical Turk annoteren die foto's om er trainingsgegevens van te maken. Gewone websitegebruikers doen deze annotatie ook wanneer ze een reCAPTCHA invullen. En er zijn veel voorbeelden van wat bekend staat als spookwerk -antropoloog Mary Gray's term voor alle arbeid achter de schermen die nodig is om schijnbaar geautomatiseerde systemen te laten functioneren. Veel van deze deelname wordt niet goed vergoed en in veel gevallen zelfs nauwelijks erkend.

Participatie als overleg is ondertussen een trend die we zien op gebieden als stedenbouw, en steeds vaker ook in machine learning. Maar de effectiviteit van deze aanpak is beperkt. Het is over het algemeen van korte duur, zonder plan om zinvolle langetermijnpartnerschappen aan te gaan. Bezorgdheid over intellectuele eigendom maakt het moeilijk om deze tools echt te onderzoeken. Daardoor is deze vorm van participatie te vaak louter performatief.

Verwant verhaal

De problemen die AI tegenwoordig heeft, gaan eeuwen terug Algoritmische discriminatie en spookwerk ontstonden niet per ongeluk. Het begrijpen van hun lange, verontrustende geschiedenis is de eerste stap om ze op te lossen.

Veelbelovend is het idee van deelname als gerechtigheid . Hier werken alle leden van het ontwerpproces samen in nauw gekoppelde relaties met frequente communicatie. Participatie als gerechtigheid is een langetermijnengagement dat zich richt op het ontwerpen van producten onder leiding van mensen met verschillende achtergronden en gemeenschappen, inclusief de gehandicaptengemeenschap, die al lang een belangrijke rol speelt. hoofdrol hier. Dit concept heeft sociaal en politiek belang, maar kapitalistische marktstructuren maken het bijna onmogelijk om het goed te implementeren.

Machine learning breidt de bredere prioriteiten van de technische industrie uit, waarbij schaal en extractie centraal staan. Dat betekent dat participatieve machine learning voorlopig een contradictio in terminis is. De meeste machine learning-systemen hebben standaard de mogelijkheid om te surveilleren, te onderdrukken en te dwingen (ook in de werkplek ). Deze systemen hebben ook manieren om toestemming te produceren, bijvoorbeeld door gebruikers te verplichten zich aan te melden voor bewakingssystemen om bepaalde technologieën te gebruiken, of door het implementeren van standaard instellingen die hen ontmoedigen hun recht op privacy uit te oefenen.

Gezien het feit dat het geen verrassing is dat machine learning geen rekening houdt met de bestaande machtsdynamiek en een extractieve benadering van samenwerking hanteert. Als we niet oppassen, kan participatief machine learning het pad van AI-ethiek volgen en gewoon een nieuwe rage worden die wordt gebruikt om te legitimeren in gerechtigheid.

Een betere manier

Hoe kunnen we deze gevaren vermijden? Er is geen eenvoudig antwoord. Maar hier zijn vier suggesties:

Erken participatie als werk. Veel mensen maken al gebruik van machine learning-systemen tijdens hun dagelijkse bezigheden. Veel van deze arbeid onderhoudt en verbetert deze systemen en is daarom waardevol voor de eigenaren van de systemen. Om dat te erkennen, moeten alle gebruikers om toestemming worden gevraagd en moeten ze manieren krijgen om zich af te melden voor elk systeem. Als ze ervoor kiezen om deel te nemen, moeten ze een vergoeding krijgen. Dit kan betekenen dat wordt verduidelijkt wanneer en hoe gegevens die door het gedrag van een gebruiker worden gegenereerd, worden gebruikt voor trainingsdoeleinden (bijvoorbeeld via een banner in Google Maps of een opt-in-melding). Het zou ook betekenen dat er passende ondersteuning wordt geboden aan: inhoudsmoderators , het eerlijk compenseren van spookwerkers en het ontwikkelen van monetaire of niet-monetaire beloningssystemen om gebruikers te compenseren voor hun gegevens en arbeid.

Deelname context specifiek maken . In plaats van te proberen een one-size-fits-all-aanpak te gebruiken, moeten technologen zich bewust zijn van de specifieke contexten waarin ze opereren. Bij het ontwerpen van bijvoorbeeld een systeem om jeugd- en bendegeweld te voorspellen , moeten technologen de manieren waarop ze voortbouwen op ervaring en domeinexpertise voortdurend opnieuw evalueren en samenwerken met de mensen voor wie ze ontwerpen. Dit is vooral belangrijk omdat de context van een project in de loop van de tijd verandert. Het documenteren van zelfs kleine verschuivingen in proces en context kan een kennisbasis vormen voor langdurige, effectieve deelname. Moeten bijvoorbeeld alleen artsen worden geraadpleegd bij het ontwerp van een machine learning-systeem voor klinische zorg, of moeten verpleegkundigen en patiënten ook worden betrokken? Door duidelijk te maken waarom en hoe bepaalde gemeenschappen erbij betrokken waren, worden dergelijke beslissingen en relaties transparant, verantwoordelijk en uitvoerbaar.

Plan voor lange termijn deelname vanaf het begin. Het is waarschijnlijker dat mensen in de loop van de tijd betrokken blijven bij processen als ze in staat zijn om kennis te delen en op te doen, in plaats van dat het uit hen wordt geëxtraheerd. Dit kan moeilijk te bereiken zijn bij machine learning, met name voor gevallen van propriëtair ontwerp. Hier is het de moeite waard om de spanningen te erkennen die langdurige deelname aan machinaal leren bemoeilijken, en te erkennen dat samenwerking en rechtvaardigheid niet op wrijvingsloze manieren schalen. Deze waarden vergen constant onderhoud en moeten steeds opnieuw worden verwoord in nieuwe contexten.

Leer van fouten uit het verleden. Er kan meer schade worden aangericht door de denkwijzen na te bootsen die oorspronkelijk schadelijke technologie produceerden. Wij als onderzoekers moeten onze capaciteit voor lateraal denken over toepassingen en beroepen heen vergroten. Om dat te vergemakkelijken, zou de machine-learning- en ontwerpgemeenschap een doorzoekbare database kunnen ontwikkelen om mislukkingen van ontwerpparticipatie te markeren (zoals: Het waterkantproject van Sidewalk Labs in Toronto ). Deze mislukkingen kunnen worden gekoppeld aan sociaal-structurele concepten (zoals kwesties met betrekking tot raciale ongelijkheid). Deze database zou ontwerpprojecten in alle sectoren en domeinen moeten dekken, niet alleen die in machine learning, en afwezigheden en uitschieters expliciet moeten erkennen. Van deze edge-cases kunnen we vaak het meeste leren.

Het is opwindend om te zien dat de machine-learninggemeenschap vragen over rechtvaardigheid en rechtvaardigheid omarmt. Maar de antwoorden moeten niet alleen op deelname berusten. Het verlangen naar een zilveren kogel heeft de tech-gemeenschap te lang geplaagd. Het is tijd om de complexiteit te omarmen die gepaard gaat met het uitdagen van de extractieve kapitalistische logica van machine learning.

Mona Sloane is een socioloog aan de New York University. Ze werkt aan ontwerpongelijkheid in de context van AI-ontwerp en -beleid.

zich verstoppen