Een deepfake-bot wordt gebruikt om minderjarige meisjes uit te kleden

Savka Jankovic / EyeEm

Update 28-10: Sinds de publicatie van dit artikel is de deepfake-bot op Telegram op iOS geblokkeerd vanwege het overtreden van de App Store-richtlijnen, volgens de onderzoekers . Het belangrijkste Telegram-kanaal dat de bot host en een aangesloten kanaal voor het delen van zijn creaties is ook verwijderd.

In juni 2019 heeft Vice het bestaan ​​blootgelegd van een verontrustende app die AI gebruikte om vrouwen uit te kleden. Met de naam DeepNude konden gebruikers een foto van een geklede vrouw uploaden voor $ 50 en een foto van haar schijnbaar naakt terugkrijgen. In werkelijkheid gebruikte de software generatieve vijandige netwerken, het algoritme achter deepfakes, om de vrouwenkleren te verwisselen voor zeer realistische naakte lichamen. Hoe schaarser het slachtoffer gekleed is, hoe beter. Bij mannen werkte het niet.

Binnen 24 uur had het Vice-artikel zo'n terugslag veroorzaakt dat de makers van de app snel haalde het neer . Het DeepNude Twitter-account kondigde aan dat er geen andere versies zouden worden uitgebracht en dat niemand anders toegang zou krijgen tot de technologie.

Maar een nieuw onderzoek van Sensity AI (voorheen Deeptrace Labs), een cyberbeveiligingsbedrijf dat zich richt op het detecteren van misbruik van gemanipuleerde media, heeft nu zeer vergelijkbare technologie ontdekt die wordt gebruikt door een openbaar beschikbare bot op de berichten-app Telegram. Deze keer heeft het een nog eenvoudigere gebruikersinterface: iedereen kan de bot een foto sturen via de mobiele of web-app van Telegram en binnen enkele minuten een naakt terugkrijgen. De service is ook volledig gratis, hoewel gebruikers 100 roebel (ongeveer $ 1,50) kunnen betalen voor extraatjes zoals het verwijderen van het watermerk op de gestripte foto's of het overslaan van de verwerkingswachtrij.

Vanaf juli 2020 was de bot al gebruikt om ten minste 100.000 vrouwen te targeten en te strippen, van wie de meerderheid waarschijnlijk geen idee had. Meestal zijn het jonge meisjes, zegt Giorgio Patrini, de CEO en hoofdwetenschapper van Sensity, die co-auteur van het rapport was. Helaas is het soms ook heel duidelijk dat sommige van deze mensen minderjarig zijn.

De gamification van intimidatie

De deepfake-bot, gelanceerd op 11 juli 2019, is verbonden met zeven Telegram-kanalen met in totaal meer dan 100.000 leden. (Dit aantal houdt geen rekening met dubbel lidmaatschap van alle kanalen, maar de hoofdgroep heeft alleen al meer dan 45.000 unieke leden.)

Het centrale kanaal is bestemd voor het hosten van de bot zelf, terwijl de andere worden gebruikt voor functies zoals technische ondersteuning en het delen van afbeeldingen. De kanalen voor het delen van afbeeldingen bevatten interfaces die mensen kunnen gebruiken om hun naaktcreaties te posten en te beoordelen. Hoe meer een foto leuk wordt gevonden, hoe meer de maker wordt beloond met tokens om toegang te krijgen tot de premiumfuncties van de bot. De maker krijgt een stimulans alsof hij een spel speelt, zegt Patrini.

De community, die gemakkelijk vindbaar is via zoeken en sociale media, is het afgelopen jaar gestaag gegroeid in ledenaantal. Uit een peiling onder 7.200 gebruikers bleek dat ongeveer 70% van hen afkomstig is uit Rusland of andere Russisch sprekende landen. De slachtoffers lijken echter uit een breder scala van landen te komen, waaronder Argentinië, Italië, Rusland en de VS. De meerderheid van hen zijn particulieren die de gebruikers van de bot zeggen te kennen in het echte leven of die ze op Instagram hebben gevonden. De onderzoekers konden slechts een handvol vrouwen identificeren en probeerden contact met hen op te nemen om hun ervaringen te begrijpen. Geen van de vrouwen reageerde, zegt Patrini.

De onderzoekers hebben ook contact opgenomen met Telegram en met relevante wetshandhavingsinstanties, waaronder de FBI. Telegram reageerde niet op hun notitie of het vervolgverzoek van MIT Technology Review om commentaar. Patrini zegt dat ze ook geen tastbaar effect op deze gemeenschappen hebben gezien sinds ze contact hebben opgenomen met de autoriteiten.

Deepfake wraakporno

Misbruikers gebruiken al geruime tijd pornografische beelden om vrouwen lastig te vallen. in 2019, een onderzoek van de American Psychological Association ontdekte dat één op de twaalf vrouwen op een bepaald moment in hun leven het slachtoffer wordt van wraakporno. Een onderzoek van de Australische regering, kijkend naar Australië, het VK en Nieuw-Zeeland, ontdekte dat die verhouding wel een op de drie was. Deepfake wraakporno voegt een geheel nieuwe dimensie toe aan de intimidatie, omdat de slachtoffers niet beseffen dat dergelijke afbeeldingen bestaan.

Er zijn ook veel gevallen waarin deepfakes zijn gebruikt om beroemdheden en andere spraakmakende personen aan te vallen. De technologie werd voor het eerst populair in de diepe uithoeken van het internet als een manier om beroemdheden te verwisselen voor pornovideo's, en het is gebruikt als onderdeel van intimidatiecampagnes om het zwijgen op te leggen. vrouwelijke journalisten . Patrini zegt dat hij ook met influencers en YouTubers heeft gesproken, van wie deepfake pornografische afbeeldingen van hen rechtstreeks naar hun sponsors zijn gestuurd, wat hen een enorme emotionele en financiële belasting heeft gekost.

Patrini vermoedt dat deze gerichte aanvallen nog veel erger kunnen worden. Hij en zijn collega-onderzoekers hebben de technologie al zien vooruitgaan en zich verspreiden. Zo ontdekten ze nog een ander ecosysteem van meer dan 380 pagina's gewijd aan het creëren en delen van expliciete deepfakes op het Russische sociale-mediaplatform VK. (Na de publicatie van dit artikel stuurde een woordvoerder van VK MIT Technology Review een verklaring: 'VK tolereert dergelijke inhoud of links op het platform niet en blokkeert gemeenschappen die ze verspreiden. We zullen een extra controle uitvoeren en ongepaste inhoud blokkeren en communities.') De onderzoekers ontdekten ook dat het uitkleedalgoritme steeds vaker wordt toegepast op video's, zoals beelden van bikinimodellen die over een landingsbaan lopen. Op dit moment moet het algoritme frame voor frame worden toegepast - het is momenteel erg rudimentair, zegt Patrini. Maar ik weet zeker dat mensen het zullen perfectioneren en daar ook een licentieservice voor zullen opzetten.

Helaas zijn er nog maar weinig manieren om dit soort activiteiten te stoppen, maar het bewustzijn van de problemen groeit. Bedrijven als Facebook en Google, en onderzoekers die tools maken voor het maken van deepfake, zijn serieuzer gaan investeren in tegenmaatregelen zoals geautomatiseerde deepfake-detectie. Vorig jaar introduceerde het Amerikaanse Congres ook: een nieuwe rekening dat zou een mechanisme creëren voor slachtoffers om juridische stappen te ondernemen voor reputatieschade.

In de tussentijd, zegt Patrini, zal Sensity dit soort kwaadaardige deepfakes blijven volgen en rapporteren, en proberen meer te begrijpen over de motivaties van degenen die ze maken en de impact op het leven van slachtoffers. 'Inderdaad, de gegevens die we in dit rapport delen, zijn slechts het topje van de ijsberg', zegt hij.

Update: Aan het artikel is een officieel statement toegevoegd van het Russische social media platform VK.

zich verstoppen