Hoe Facebook machine learning gebruikt om nepaccounts te detecteren

Een nep Facebook-account mevrouw Tech

In 2019 werd Facebook gemiddeld offline gehaald bijna 2 miljard valse rekeningen per kwartaal. Fraudeurs gebruiken deze nepaccounts om spam, phishing-links of malware te verspreiden. Het is een lucratieve onderneming die verwoestend kan zijn voor onschuldige gebruikers die ermee in de val lopen.

Facebook geeft nu details vrij over het machine learning-systeem dat het gebruikt om deze uitdaging aan te gaan. De techgigant maakt onderscheid tussen twee soorten nepaccounts. Ten eerste zijn er door gebruikers verkeerd geclassificeerde accounts, persoonlijke profielen voor bedrijven of huisdieren die bedoeld zijn als pagina's. Deze zijn relatief eenvoudig om mee om te gaan: ze worden gewoon geconverteerd naar Pages. Het overtreden van accounts daarentegen is ernstiger. Dit zijn persoonlijke profielen die zich bezighouden met oplichting en spammen of anderszins de servicevoorwaarden van het platform schenden. Overtredende accounts moeten zo snel mogelijk worden verwijderd zonder een te breed net te werpen en ook echte accounts te blijven haken.

Om dit te doen, gebruikt Facebook handgecodeerde regels en machine learning om een ​​nepaccount te blokkeren voordat het wordt aangemaakt of voordat het actief wordt. Met andere woorden, voordat het echte gebruikers kan schaden. De laatste fase is nadat een nepaccount live is gegaan. Dit is wanneer detectie een stuk lastiger wordt en waar het nieuwe machine-learningsysteem, bekend als Deep Entity Classification (DEC), van pas komt.

Diep gaan

DEC leert nep- en echte gebruikers te onderscheiden door hun verbindingspatronen over het netwerk. Het noemt deze diepe functies en ze omvatten zaken als de gemiddelde leeftijd of geslachtsverdeling van de vrienden van de gebruiker. Facebook gebruikt meer dan 20.000 diepgaande functies om elk account te karakteriseren en biedt een momentopname van hoe elk profiel zich gedraagt ​​om het voor aanvallers moeilijk te maken om het systeem te bespelen door van tactiek te veranderen.

Het systeem begint met het gebruik van een groot aantal machinegegenereerde labels met lage precisie. Deze worden gegenereerd door een mix van regels en andere machine learning-modellen die inschatten of gebruikers echt of nep zijn. Zodra die gegevens zijn gebruikt om een ​​neuraal netwerk te trainen, wordt het model vervolgens verfijnd met een kleine batch zeer nauwkeurige, met de hand gelabelde gegevens, gegenereerd door mensen over de hele wereld die de lokale culturele normen begrijpen.

Het definitieve classificatiesysteem kan een van de vier soorten nepprofielen identificeren: onwettige accounts die niet representatief zijn voor de persoon, gecompromitteerde accounts van echte gebruikers die zijn overgenomen door aanvallers, spammers die herhaaldelijk inkomstengenererende berichten sturen en oplichters die gebruikers manipuleren om persoonlijke informatie vrijgeven. Sinds de implementatie van DEC, zegt Facebook, heeft het het aantal nepaccounts op het platform op ongeveer 5% van de maandelijks actieve gebruikers gehouden.

De details van de opruimingsinspanningen van Facebook komen te midden van zorgen over manipulatie bij de komende Amerikaanse presidentsverkiezingen, vooral rond deepfakes. In december, de New York Times gemeld een gecoördineerde desinformatiecampagne waarbij deepfakes worden gebruikt om massaal nepaccounts op te zetten met overtuigende profielfoto's.

De verkiezing veiligstellen

Het Facebook-team zei dat de timing van de release slechts toeval was. Dit gaat over het opsporen van overtredingen in het algemeen; het is niet specifiek gericht op verkiezingsonderwerpen, zegt Daniel Bernhardt, de engineeringmanager van het Community Integrity-team van Facebook. Maar de DEC zou een aanvulling zijn op de andere inspanningen van het platform om verkiezingsmanipulatie aan te pakken. Omdat het systeem vertrouwt op diepe functies om elk profiel te categoriseren, zal het bestand zijn tegen bijvoorbeeld misleiding door deepfake-profielafbeeldingen.

Aviv Ovadya, die de non-profitorganisatie Thoughtful Technology Project oprichtte en platformontwerp en -beheer bestudeert, zegt dat de inspanningen van Facebook om transparanter te zijn met zijn opruimprocedures lovenswaardig zijn. Het kan heel nuttig en krachtig zijn om zorgvuldig te praten over architecturale beslissingen - en de manier waarop beveiligingssystemen werken - die door andere bedrijven kunnen worden nagebootst, zegt hij. Omdat bedrijven als Facebook beduidend meer middelen hebben om te investeren dan kleinere bedrijven, is het handig om deze kennis te delen.

Maar de opruimingsinspanningen hebben ook een lange weg te gaan. Met 2,5 miljard maandelijks actieve gebruikers is 5% nog steeds 125 miljoen nepaccounts. Machine learning gaat ook maar zo ver: het maakt niet uit op hoeveel gegevens een model is getraind, het zal nooit elk slecht account met perfecte precisie opvangen. Het platform zal zich waarschijnlijk moeten wenden tot andere combinaties van mensen en machines om te verbeteren.

Bijwerken: Een eerdere versie van dit artikel verwees naar verouderde cijfers over de impact van het DEC-systeem van Facebook. Ze zijn bijgewerkt om de meest recente informatie weer te geven.

zich verstoppen