211service.com
Het is gemakkelijk om giftige taal voorbij de toxische-commentaardetector van het alfabet te laten glijden
Op donderdag bracht Alphabet een op machine learning gebaseerde service uit, genaamd Perspective, bedoeld om giftige opmerkingen op websites te identificeren. Het is van Jigsaw, een eenheid die werkt aan technologieën om het internet veiliger en beschaafder te maken. Maar toen ik met Perspective speelde, waren de resultaten grillig.
Perspectief beoordeelt opmerkingen op een schaal van 1 tot 100 voor toxiciteit, gedefinieerd als een onbeleefde, respectloze of onredelijke opmerking waardoor u waarschijnlijk een discussie verlaat. Fuck you, Trump-aanhangers worden als zeer giftig beoordeeld, terwijl ik eerlijk gezegd beide niet ben, bijvoorbeeld. Maar Perspective heeft moeite om het sentiment achter een opmerking te detecteren - een probleem waarvan ik voorspelde dat het Jigsaw zou storen toen ik de ambities in december onderzocht (zie Als alleen AI ons van onszelf kon redden ).
Trump sucks scoorde een kolossale 96 procent, maar neonazistische codewoord 14/88 scoorde slechts 5 procent. Weinig moslims waren een terroristische dreiging die voor 79 procent giftig was, terwijl rassenoorlog nu 24 procent scoorde. Hitler was een antisemiet en scoorde 70 procent, maar Hitler was geen antisemiet en scoorde slechts 53%, en The Holocaust never happen scoorde slechts 21%. En terwijl gas de joos scoorde 29 procent, herformuleren het naar gas de joos alstublieft. Dank u. verlaagde de score tot slechts 7 procent. (Joden zijn echter mensen, scoort 72 procent. Joden zijn geen mensen? 64 procent.)
Volgens Jigsaw is Perspective getraind om toxiciteit te detecteren met behulp van honderdduizenden opmerkingen die zijn gerangschikt door menselijke recensenten. Het resultaat lijkt een systeem te zijn dat gevoelig is voor bepaalde woorden en zinsdelen, maar niet voor betekenissen.
Het woord verkrachting, bijvoorbeeld, scoort op zichzelf al 77 procent - wat misschien verklaart waarom verkrachting een vreselijke misdaad is, scoort 81 procent. (Een soortgelijk patroon wordt gezien met godslastering: ik vind het geweldig dat dit 94 procent scoort.)
Evenzo veroorzaken ontkenningen en andere taalnuances paradoxale resultaten. Een niet te maken toevoegen Er zijn maar weinig moslims niet een terroristische dreiging verlaagt de toxiciteit van 79 procent naar 60 procent omdat geen terroristische dreiging onschadelijker lijkt voor Perspective, ook al wordt de bedoelde betekenis meer giftig.
Zoals ik in mijn vorige stuk over Jigsaw opmerkte, staat de huidige staat van machine learning niet toe dat software de bedoeling en context van opmerkingen begrijpt. Door patroonvergelijking op oppervlakteniveau uit te voeren, kan Conversation AI mogelijk filteren stilistisch— maar niet semantisch .
Dat maakt de technologie niet onbruikbaar. Een systeem als Perspective zou het werk van moderators kunnen versnellen door extreme gevallen te signaleren. Het is logisch dat de New York Times werkt samen met Jigsaw om zijn moderators te helpen bij het controleren van reacties op artikelen. De New York Times heeft echter geen misbruikprobleem; het probeert commentaren van hoge kwaliteit te identificeren, waarbij stilistische afstemming waarschijnlijk effectiever is. Als het gaat om opzettelijk misbruik, kan de software van Jigsaw in onduidelijke gevallen het menselijk oordeel niet vervangen.
We kunnen zeggen dat trollen dom zijn (toxiciteitsscore 96 procent), maar de taal van toxiciteit en intimidatie is vaak rijk aan manieren die machine-learningsystemen niet aankunnen. De opmerking Je zou in een lamp moeten worden veranderd, een toespeling op beweringen dat huid van slachtoffers van concentratiekampen werd gebruikt voor lampenkappen, is de afgelopen maanden naar een aantal journalisten en andere publieke figuren gegooid. Het scoort slechts 4 procent op Perspectief. Maar je kunt het beste niet antwoorden door te zeggen dat je een nazi bent, want dat is 87 procent.