Welkom bij TikTok's eindeloze cyclus van censuur en fouten

mevrouw Tech | Envato

Ziggi Tyler maakt deel uit van TikTok's Creator Marketplace, een privéplatform waar merken verbinding kunnen maken met de beste makers van de app. En vorige week merkte hij iets behoorlijk verontrustends op hoe de bios van de maker daar automatisch werden gemodereerd.

Toen hij bepaalde zinnen in zijn biografie probeerde in te voeren, werden sommige ervan - Zwarte levens zijn belangrijk, zwarte mensen steunen, zwarte stemmen steunen en zwart succes steunen - gemarkeerd als ongepaste inhoud. Maar witte versies van dezelfde zinnen waren acceptabel.

Als ik naar de Creator Marketplace ga en 'supporting white suprematie' zet en op 'accepteren' klik, is het goed, zei hij in een TikTok-video , staande voor wat hij zei, was een video-opname van hem die precies dat op zijn eigen telefoon deed. Om op de markt te worden vermeld, moest hij verwijderen wat hij had geschreven.

Verwant verhaal

TikTok veranderde de vorm van de gezichten van sommige mensen zonder te vragen

Gebruikers merkten op wat een schoonheidsfilter leek te zijn waar ze niet om hadden gevraagd - en die ze niet konden uitschakelen.

In een vervolgvideo ,,Tyler liet de zinnetjes ik ben een neo-nazi en ik ben een antisemitische geaccepteerd worden, terwijl ik een zwarte man ben werd afgevlagd. Het verhaal ontplofte, mede gedreven door een publiek dat al gefrustreerd was door de manier waarop zwarte makers op TikTok worden behandeld. In een reactie op Insider , verontschuldigde een woordvoerder van het bedrijf zich voor de aanzienlijke fout en zei dat wat Tyler zag het resultaat was van een automatisch filter dat was ingesteld om woorden te blokkeren die verband houden met haatzaaien. Het systeem, zei het, was ten onrechte ingesteld om zinnen te markeren zonder respect voor de woordvolgorde. Het bedrijf vertelde recode dat deze specifieke fout voortkwam uit de toevoeging van de woorden Zwart en publiek, omdat de detectie van haatspraak de dobbelsteen in het publiek oppikte en de koppeling als ongepast markeerde.

Naar de beurs gaan, viraal gaan

Het is verre van het enige incident dat op het platform plaatsvindt. Een paar weken geleden, TikTok foutief toegepast wat een verplicht schoonheidsfilter leek te zijn dat voor sommige Android-gebruikers een slankere kaaklijn creëerde.

Ondertussen merkte een TikTok-maker in april op dat de nieuwe functie voor automatische ondertiteling van het platform de uitdrukking Aziatische vrouwen blokkeerde. En begin 2021 ontdekten intersekse-makers dat de #intersex-hashtag niet meer vindbaar was in de app.

Dit zijn allemaal voorbeelden van een patroon dat zich herhaalt op TikTok: eerst merkt een maker een bizar en mogelijk schadelijk probleem op met de moderatie of het algoritme van het platform, een probleem dat vaak onevenredig grote gevolgen heeft voor gemarginaliseerde groepen. Vervolgens maken ze een video over wat er aan de hand is, en die video krijgt veel views. Uiteindelijk raakt een journalist misschien geïnteresseerd in wat er aan de hand is, vraagt ​​hij het bedrijf om uitleg en is het probleem opgelost. TikTok geeft vervolgens een verklaring af waarin staat dat het probleem het gevolg was van een fout, en benadrukt het werk dat ze doen om de makers en de getroffen oorzaken te ondersteunen.

Het is niet per se een verrassing dat deze video's nieuws maken. Mensen maken hun video's omdat ze werken. Het verkrijgen van weergaven is jarenlang een van de effectievere strategieën geweest om een ​​groot platform te pushen om iets te repareren. Tiktok, Twitter en Facebook hebben het voor gebruikers gemakkelijker gemaakt om misbruik en regelovertredingen door andere gebruikers te melden. Maar wanneer deze bedrijven hun eigen beleid lijken te schenden, vinden mensen vaak dat de beste weg vooruit is om er gewoon over te posten op het platform zelf, in de hoop viraal te gaan en aandacht te krijgen die tot een of andere oplossing leidt. De twee video's van Tyler op de bios van Marketplace hebben bijvoorbeeld elk meer dan 1 miljoen views.

'Content wordt gemarkeerd omdat ze iemand zijn uit een gemarginaliseerde groep die praat over hun ervaringen met racisme. Haatspraak en praten over haatspraak kan erg lijken op een algoritme.

Casey Fiesler, Universiteit van Colorado, Boulder

Ik word waarschijnlijk ongeveer een keer per week ergens in getagd, zegt Casey Fiesler, een assistent-professor aan de Universiteit van Colorado, Boulder, die technologie-ethiek en online gemeenschappen bestudeert. Ze is actief op TikTok, met meer dan 50.000 volgers, maar hoewel niet alles wat ze ziet als een legitieme zorg aanvoelt, zegt ze dat de regelmatige parade van problemen van de app echt is. TikTok heeft de afgelopen maanden verschillende van dergelijke fouten gehad, die allemaal onevenredig grote gevolgen hebben gehad voor gemarginaliseerde groepen op het platform.

MIT Technology Review heeft TikTok gevraagd naar elk van deze recente voorbeelden, en de reacties zijn vergelijkbaar: na onderzoek constateert TikTok dat het probleem ten onrechte is ontstaan, benadrukt dat de geblokkeerde inhoud in kwestie niet in strijd is met hun beleid, en links om het bedrijf te ondersteunen zulke groepen geeft.

De vraag is of die cyclus - een technische of beleidsfout, een virale reactie en verontschuldiging - kan worden veranderd.

Problemen oplossen voordat ze zich voordoen

Er zijn twee soorten nadelen van deze waarschijnlijk algoritmische inhoudsmoderatie die mensen waarnemen, zegt Fiesler. Een daarvan is valse negatieven. Mensen zeggen: 'waarom is er zoveel haatzaaien op dit platform en waarom wordt het niet verwijderd?'

De andere is een vals positief. Hun inhoud wordt gemarkeerd omdat ze iemand zijn uit een gemarginaliseerde groep die praat over hun ervaringen met racisme, zegt ze. Haatspraak en praten over haatspraak kan erg lijken op een algoritme.

Beide categorieën, merkte ze op, schaden dezelfde mensen: degenen die onevenredig het doelwit zijn van misbruik, worden uiteindelijk algoritmisch gecensureerd omdat ze erover praten.

TikTok's mysterieuze aanbevelingsalgoritmen maken deel uit van het succes -maar de onduidelijke en voortdurend veranderende grenzen hebben al een huiveringwekkend effect op sommige gebruikers. Fiesler merkt op dat veel TikTok-makers woorden op het platform zelfcensureren om te voorkomen dat er een recensie wordt geactiveerd. En hoewel ze niet precies weet hoeveel deze tactiek tot stand brengt, is Fielser er ook zelf mee begonnen, voor het geval dat. Accountverboden, algoritmische mysteries en bizarre moderatiebeslissingen zijn een constant onderdeel van het gesprek in de app.

Verwant verhaal

Hoe Facebook verslaafd raakte aan het verspreiden van verkeerde informatie

De AI-algoritmen van het bedrijf gaven het een onverzadigbare gewoonte voor leugens en haatzaaien. Nu kan de man die ze heeft gebouwd het probleem niet oplossen.

Erger nog, veel van deze fouten, zo betoogde Fiesler, zouden gemakkelijk te voorspellen zijn als bedrijven gewoon meer zouden nadenken over hoe verschillende gebruikers daadwerkelijk met hun app zouden omgaan. De bug met haatspraak die Tyler tegenkwam, zou moeilijk te missen zijn als het bedrijf het bijvoorbeeld zou testen op de taal die zwarte makers gebruiken om zichzelf te beschrijven.

Moderatie goed krijgen is complex, zegt Feisler, maar dat is geen excuus voor deze constante herhaling.

Ik heb vaak meer sympathie voor de uitdagingen van deze dingen dan de meeste mensen, zegt ze. Maar zelfs ik heb zoiets van, 'echt waar?' Op een gegeven moment zijn er patronen en moet je weten waar je op moet letten.

Ik vroeg Fiesler of iets deze cyclus zou kunnen vertragen, ook al is het op dit moment onmogelijk om het helemaal op te lossen. Een deel van het antwoord is een van de oudste verhalen op het gebied van technologie: huur en luister naar mensen met verschillende achtergronden.

Maar, zegt ze, meer transparantie moet ook een deel van de oplossing zijn. Fiesler kan niet precies zeggen waarom TikTok's haatspraakdetector vorige week zo fout ging, omdat de app niet veel informatie heeft vrijgegeven over hoe het werkt - niet aan onderzoekers zoals zij, en niet aan de gebruikers van wie de inhoud wordt verwijderd of onderdrukt door geautomatiseerde processen die, zo leert de geschiedenis, gemakkelijk fout kunnen gaan. Toen ik als journalist TikTok (en soms andere platforms) heb gevraagd om meer gedetailleerde uitleg over waarom iets wat ze een bug noemen, is gebeurd en wat ze doen om te voorkomen dat het in de toekomst terugkeert, de het antwoord is kort, onbevredigend, of het bedrijf weigert helemaal commentaar te geven op het dossier.

Als makers voortdurend dingen ongepast gemarkeerd krijgen, moeten er heel gemakkelijke beroepsprocedures zijn, zegt ze.

Ondertussen: de cyclus gaat door.

zich verstoppen