211service.com
Dit algoritme detecteert automatisch gezichtswisselingen in video's
De mogelijkheid om het gezicht of de uitdrukking van een persoon te nemen en dit op een video van een andere persoon te plaatsen, is sinds kort mogelijk. Er zijn met name pornografische video's genaamd deepfakes verschenen op websites zoals Reddit en 4Chan, waarop de gezichten van beroemde personen te zien zijn op de lichamen van acteurs.
Dit fenomeen heeft belangrijke implicaties. Het heeft op zijn minst het potentieel om de reputatie te ondermijnen van mensen die het slachtoffer zijn van dit soort vervalsing. Het levert problemen op voor biometrische ID-systemen. En het dreigt het vertrouwen van het publiek in video's van welke aard dan ook te ondermijnen.
Dus een snelle en nauwkeurige manier om deze video's te herkennen is hard nodig.
Welke van deze paren afbeeldingen zijn vervalsingen? Antwoord hieronder.
Ga naar Andreas Rossler van de Technische Universiteit van München in Duitsland en collega's, die een diepgaand leersysteem hebben ontwikkeld dat automatisch gezichtswisselvideo's kan herkennen. De nieuwe techniek kan helpen om vervalste video's te identificeren wanneer ze op internet worden geplaatst.
Maar het werk heeft ook een steek in de staart. Dezelfde diepgaande leertechniek die face-swapvideo's kan herkennen, kan ook worden gebruikt om de kwaliteit van face-swap-video's in de eerste plaats te verbeteren - en dat zou ze moeilijker te detecteren kunnen maken.
De nieuwe techniek is gebaseerd op een diepgaand lerend algoritme dat Rossler en co hebben getraind om face swaps te herkennen. Deze algoritmen kunnen alleen leren van enorme geannoteerde datasets van goede voorbeelden, die tot nu toe eenvoudigweg niet bestonden.
Dus begon het team met het maken van een grote dataset van face-swapvideo's en hun originelen. Ze gebruiken twee soorten gezichtswisselingen die gemakkelijk kunnen worden gemaakt met behulp van software genaamd Face2Face. (Deze software is gemaakt door enkele leden van dit team.)
Het eerste type gezichtswisseling plaatst het gezicht van de ene persoon op het lichaam van een ander, zodat het hun uitdrukkingen overneemt. De tweede neemt de uitdrukkingen van het ene gezicht en wijzigt een tweede gezicht om ze te laten zien.
Het team heeft dit gedaan met meer dan 1.000 video's, waardoor een database is ontstaan van ongeveer een half miljoen afbeeldingen waarin de gezichten zijn gemanipuleerd met ultramoderne gezichtsbewerkingssoftware. Ze noemden dit de FaceForensics-database.
De omvang van deze database is een aanzienlijke verbetering ten opzichte van wat eerder beschikbaar was. We introduceren een nieuwe dataset van gemanipuleerde video's die alle bestaande openbaar beschikbare forensische datasets in orde van grootte overtreft, zegt Rossler en co.
Vervolgens gebruikt het team de database om een diepgaand lerend algoritme te trainen om het verschil te herkennen tussen gezichtswisselingen en hun onvervalste originelen. Ze noemen het resulterende algoritme XceptionNet.
Ten slotte vergelijken ze de nieuwe aanpak met andere vervalsingsdetectietechnieken.
De resultaten zijn indrukwekkend. XceptionNet presteert duidelijk beter dan andere technieken bij het opsporen van gemanipuleerde video's, zelfs wanneer de video's zijn gecomprimeerd, wat de taak aanzienlijk moeilijker maakt. We hebben een sterke basislijn van resultaten vastgesteld voor het detecteren van gezichtsmanipulatie met moderne deep-learning-architecturen, zeggen Rossler en co.
Dat zou het gemakkelijker moeten maken om vervalste video's te herkennen wanneer ze naar internet worden geüpload. Maar het team is zich terdege bewust van het kat-en-muiskarakter van vervalsingdetectie: zodra er een nieuwe detectietechniek opduikt, begint de race een manier te vinden om het voor de gek te houden.
Rossler en co hebben een natuurlijke voorsprong sinds ze XceptionNet hebben ontwikkeld. Ze gebruiken het dus om de veelbetekenende signalen te herkennen dat een video is gemanipuleerd en gebruiken deze informatie vervolgens om de vervalsing te verfijnen, waardoor het nog moeilijker te detecteren is.
Het blijkt dat dit proces de visuele kwaliteit van de vervalsing verbetert, maar niet veel effect heeft op het vermogen van XceptionNet om het te detecteren. Onze verfijner verbetert vooral de visuele kwaliteit, maar bemoeilijkt de detectie van vervalsingen slechts in geringe mate voor een diepgaande leermethode die precies is getraind op de vervalste uitvoergegevens, zeggen ze.
Dat is interessant werk omdat het een geheel nieuwe manier introduceert om het proces van beeldmanipulatie te verbeteren. We zijn van mening dat deze wisselwerking tussen manipulatie en detectie een buitengewoon opwindende manier is voor vervolgwerk, zeggen ze.
Referentie: arxiv.org/abs/1803.09179 : FaceForensics: een grootschalige videogegevensset voor detectie van vervalsing in menselijke gezichten
Antwoord: De bovenste afbeelding in elk paar is echt.