211service.com
Een AI zag een bijgesneden foto van AOC. Het voltooide haar automatisch in een bikini.
mevrouw Tech | Getty
Van taalgeneratie-algoritmen is bekend dat ze racistische en seksistische ideeën verankeren. Ze zijn getraind in de taal van internet, inclusief de donkere hoeken van Reddit en Twitter, waar mogelijk haatzaaiende uitlatingen en desinformatie voorkomen. Welke schadelijke ideeën er ook in die forums aanwezig zijn, worden genormaliseerd als onderdeel van hun leerproces.
Onderzoekers hebben nu aangetoond dat hetzelfde kan gelden voor algoritmen voor het genereren van afbeeldingen. Geef iemand een foto van een man die recht onder zijn nek is bijgesneden, en 43% van de tijd zal het hem automatisch aanvullen met een pak. Geef dezelfde een bijgesneden foto van een vrouw, zelfs een beroemde vrouw zoals de Amerikaanse vertegenwoordiger Alexandria Ocasio-Cortez, en 53% van de tijd zal het haar automatisch aanvullen met een laag uitgesneden top of bikini. Dit heeft niet alleen gevolgen voor het genereren van afbeeldingen, maar voor alle computervisietoepassingen, inclusief: op video gebaseerde algoritmen voor het beoordelen van kandidaten , gezichtsherkenning en bewaking.
Ryan Steed, een PhD-student aan de Carnegie Mellon University, en Aylin Caliskan, een assistent-professor aan de George Washington University, keken naar twee algoritmen: OpenAI's iGPT (een versie van GPT-2 die is getraind op pixels in plaats van woorden) en Google's SimCLR . Hoewel elk algoritme het leren van afbeeldingen op een andere manier benadert, delen ze een belangrijk kenmerk: ze gebruiken allebei volledig leren zonder toezicht , wat betekent dat ze geen mensen nodig hebben om de afbeeldingen te labelen.
Dit is een relatief nieuwe innovatie vanaf 2020. Eerdere computervisie-algoritmen werden voornamelijk gebruikt onder toezicht leren, waarbij ze handmatig gelabelde afbeeldingen worden gegeven: kattenfoto's met de tag kat en babyfoto's met de tag baby. Maar in 2019 ontdekten onderzoeker Kate Crawford en kunstenaar Trevor Paglen dat deze door mensen gemaakte labels in ImageNet, de meest fundamentele beeldgegevensset voor het trainen van computervisiemodellen, bevatten soms verontrustende taal , zoals slet voor vrouwen en racistische opmerkingen voor minderheden.
Het nieuwste artikel toont een nog diepere bron van toxiciteit aan. Zelfs zonder deze menselijke labels coderen de afbeeldingen zelf ongewenste patronen. Het probleem loopt parallel met wat de natuurlijke taalverwerkingsgemeenschap (NLP) al heeft ontdekt. De enorme datasets die zijn samengesteld om deze datahongerige algoritmen te voeden, leggen alles op internet vast. En internet heeft een oververtegenwoordiging van schaars geklede vrouwen en andere vaak schadelijke stereotypen.
Om hun onderzoek uit te voeren, pasten Steed en Caliskan op een slimme manier een techniek aan die Caliskan eerder gebruikte om vooringenomenheid te onderzoeken in niet-gecontroleerde NLP-modellen. Deze modellen leren taal te manipuleren en te genereren met behulp van woordinbedding, een wiskundige weergave van taal die woorden die vaak samen worden gebruikt, clustert en woorden die vaak apart worden gevonden, scheidt. In een 2017 paper gepubliceerd in Wetenschap , heeft Caliskan de afstanden gemeten tussen de verschillende woordcombinaties die psychologen gebruikten om menselijke vooroordelen te meten in de Impliciete Associatie Test (IAT) . Ze ontdekte dat die afstanden de resultaten van de IAT bijna perfect nabootsten. Stereotiepe woordcombinaties zoals man en carrière of vrouw en gezin lagen dicht bij elkaar, terwijl tegenovergestelde woordcombinaties zoals man en gezin of vrouw en carrière ver uit elkaar lagen.
iGPT is ook gebaseerd op inbeddingen: het clustert of scheidt pixels op basis van hoe vaak ze samen voorkomen in de trainingsafbeeldingen. Die pixelinbeddingen kunnen vervolgens worden gebruikt om te vergelijken hoe dichtbij of ver twee afbeeldingen zich in de wiskundige ruimte bevinden.
Verwant verhaal
De echte gevaren van AI zijn dichterbij dan we denken Vergeet superintelligente AI: algoritmen richten nu al echte schade aan. Het goede nieuws: de strijd terug is begonnen.
In hun onderzoek ontdekten Steed en Caliskan opnieuw dat die afstanden de resultaten van IAT weerspiegelen. Foto's van mannen en stropdassen en pakken lijken dicht bij elkaar, terwijl foto's van vrouwen verder uit elkaar lijken te staan. De onderzoekers kregen dezelfde resultaten met SimCLR, hoewel het een andere methode gebruikte om inbeddingen uit afbeeldingen af te leiden.
Deze resultaten hebben zorgwekkende implicaties voor het genereren van afbeeldingen. Andere algoritmen voor het genereren van afbeeldingen, zoals generatieve vijandige netwerken , heeft geleid tot een explosie van deepfake pornografie Dat richt zich bijna uitsluitend op vrouwen . Met name iGPT voegt nog een andere manier toe voor mensen om geseksualiseerde foto's van vrouwen te genereren.
Maar de potentiële stroomafwaartse effecten zijn veel groter. Op het gebied van NLP zijn onbewaakte modellen de ruggengraat geworden voor allerlei toepassingen. Onderzoekers beginnen met een bestaand niet-gesuperviseerd model zoals BERT of GPT-2 en gebruiken een op maat gemaakte dataset om het voor een specifiek doel te verfijnen. Deze semi-gesuperviseerde aanpak, een combinatie van zowel onbegeleid als begeleid leren, is de facto standaard geworden.
Evenzo begint het computervisieveld dezelfde trend te zien. Steed en Caliskan maken zich zorgen over wat deze ingebakken vooroordelen zouden kunnen betekenen wanneer de algoritmen worden gebruikt voor gevoelige toepassingen zoals bij politie of personeel, waar modellen al video-opnames van kandidaten analyseren om te beslissen of ze geschikt zijn voor de baan. Dit zijn zeer gevaarlijke toepassingen die consequente beslissingen nemen, zegt Caliskan.
Deborah Raji, een Mozilla-collega die co-auteur was van een invloedrijke studie het onthullen van de vooroordelen in gezichtsherkenning, zegt dat het onderzoek zou moeten dienen als een wake-up call voor het computervisieveld. Lange tijd ging veel kritiek op vooringenomenheid over de manier waarop we onze afbeeldingen labelen, zegt ze. Dit artikel zegt nu dat de feitelijke samenstelling van de dataset tot deze vooroordelen leidt. We moeten verantwoording afleggen over hoe we deze datasets samenstellen en deze informatie verzamelen.
Steed en Caliskan dringen aan op grotere transparantie van de bedrijven die deze modellen ontwikkelen om ze open source te maken en de academische gemeenschap hun onderzoek te laten voortzetten. Ze moedigen collega-onderzoekers ook aan om meer te testen voordat ze een visiemodel inzetten, bijvoorbeeld door de methoden te gebruiken die ze voor dit artikel hebben ontwikkeld. En tot slot hopen ze dat het veld meer verantwoorde manieren zal ontwikkelen om te compileren en te documenteren wat is opgenomen in trainingsdatasets.
Caliskan zegt dat het doel uiteindelijk is om meer bewustzijn en controle te krijgen bij het toepassen van computervisie. We moeten heel voorzichtig zijn met hoe we ze gebruiken, zegt ze, maar tegelijkertijd, nu we deze methoden hebben, kunnen we proberen deze te gebruiken voor maatschappelijk welzijn.