Kon AI ons maar van onszelf redden

Mensen hebben het internet kapot gemaakt. Cyberpesten, intimidatie, social shaming en pure onaangenaamheden plagen sites als Twitter en Reddit, vooral als je toevallig de verkeerde aandacht trekt. overweeg de weg Ghostbusters ster Leslie Jones en public relations executive Justine Sacco doelwit werden van massamisbruik.

De bedrijven die online diensten aanbieden, zitten doorgaans klem tussen beschuldigingen van onverschilligheid voor intimidatie en onderdrukking van de vrijheid van meningsuiting. Maar nu denkt Google kunstmatige intelligentie te kunnen gebruiken om deze tragedie van de digitale commons te verminderen. (Disclosure: ik werkte voor Google in de jaren 2000.) Een technologie-incubator in het bedrijf, Jigsaw genaamd, voorheen bekend als Google Ideas, zegt van plan te zijn digitale intimidatie op te sporen en te verwijderen met een geautomatiseerd programma genaamd Conversation AI. Als voorzitter van Jigsaw, Jared Cohen, vertelde Bedrade , Ik wil de beste technologie die we tot onze beschikking hebben gebruiken om te beginnen met trollen en andere snode tactieken die vijandige stemmen een onevenredig gewicht geven, [en] om er alles aan te doen om het speelveld gelijk te maken.

Dit verhaal maakte deel uit van ons nummer van januari 2017

• Zie de rest van het nummer
• Abonneren

Het is lef voor Google om dit op zich te nemen, en het is anders dan sommige eerdere werken van Jigsaw. Dat omvatte Project Shield, dat nieuwssites en sites die de vrijheid van meningsuiting promoten, beschermt tegen denial-of-service-aanvallen. Een andere Jigsaw-inspanning, Password Alert, is een Chrome-extensie die beschermt tegen phishing-aanvallen. Dat waren vooral technische uitdagingen. Maar het bestrijden van trollen en online mobs is ook een sociologisch probleem.

Ding beoordeeld

• AI-chat

  van Google's Jigsaw

Conversation AI is een uitloper van een van de meest succesvolle moonshot-projecten van Google, Google Brain. Het heeft een revolutie teweeggebracht op het gebied van machinaal leren via grootschalige neurale netwerken, en heeft Google-voordelen gegeven, zoals software die vaardiger is dan mensen in het herkennen van afbeeldingen. Maar Conversation AI zal online misbruik niet kunnen verslaan. Hoewel het verklaarde doel van Jigsaw is om: vecht tegen de opkomst van online mobs , is het programma zelf een veel bescheidener - en dus aannemelijker - project. Conversatie-AI zal in de eerste plaats de gemeenschapsmoderatie stroomlijnen die tegenwoordig door mensen wordt uitgevoerd. Dus zelfs als het het slechtste gedrag online niet kan neutraliseren, kan het op sommige sites meer en beter discours bevorderen.

allusie detectie

Jigsaw begint Conversation AI bij de New York Times , waar het over een paar maanden zal worden uitgerold om het bedrijf te helpen zijn online opmerkingen te beheren. Menselijke moderators beoordelen momenteel bijna elke opmerking die op de site is gepubliceerd. Op dit moment leest Conversation AI 18 miljoen van hen en leert ze elke afzonderlijke categorie opmerkingen te detecteren die worden afgewezen - niet substantieel, off-topic, spam, onsamenhangend, opruiend, obsceen, aanval op commentator, aanval op auteur, aanval op uitgever.

De Keer ’s doel is niet noodzakelijk om misbruik in zijn opmerkingen te verminderen, een probleem dat het al onder controle acht. In plaats daarvan hoopt het de werklast van de menselijke moderators te verminderen. We verwachten nooit een systeem dat volledig geautomatiseerd is, Erica Greene, engineering manager van de New York Times gemeenschapsteam, vertelde me. Keer community-editor Bassey Etim schat dat ergens tussen de 50 en 80 procent van de reacties uiteindelijk automatisch kan worden gemodereerd, waardoor werknemers meer tijd hebben om hun inspanningen te wijden aan het maken van boeiendere inhoud van de commentaarsecties van de krant.

De New York Times site levert heel andere problemen op dan de realtime free-for-all van Twitter en Reddit. En gezien de beperkingen van machine learning, zoals het tegenwoordig bestaat, kan Conversation AI onmogelijk misbruik in de wijd open ruimtes van het internet bestrijden. Ondanks alle oogverblindende prestaties van machinaal leren, heeft het de menselijke taal nog steeds niet gekraakt, waar patronen zoals die in Go of afbeeldingen duivels ongrijpbaar blijken te zijn.

Illustraties door Erik Carter

Het taalkundige probleem bij het opsporen van misbruik is de context. De commentaaranalyse van Conversation AI modelleert niet de hele stroom van een discussie; het vergelijkt individuele opmerkingen met geleerde modellen van wat goede of slechte opmerkingen zijn. Bijvoorbeeld opmerkingen over de New York Times site kan als acceptabel worden beschouwd als ze de neiging hebben om veelvoorkomende woorden, woordgroepen en andere kenmerken te bevatten. Maar Greene zegt dat het systeem van Google opmerkingen op artikelen over Donald Trump vaak als beledigend markeerde omdat ze hem citeerden met woorden die een opmerking zouden weigeren als ze van een lezer kwamen. Voor dit soort artikelen is de Keer zal de automatische moderatie eenvoudig uitschakelen.

Het is dus onmogelijk om te zien dat Conversation AI het goed doet op een wijd open site als Twitter. Hoe zou het de Holocaust-toespelingen als beledigend detecteren? tweets gestuurd naar de joodse journalist Marc Daalder : Dit ben jij als Trump wint, met een foto van een lampenkap, en jij hoort hier thuis, met een foto van een broodroosteroven? Het detecteren van misbruik is afhankelijk van historische kennis en culturele context die een algoritme voor machinaal leren alleen zou kunnen detecteren als het was getraind op zeer vergelijkbare voorbeelden. Zelfs dan, hoe zou het onderscheid kunnen maken tussen misbruik en hetzelfde beeld met Dit is wat ik koop als Trump wint? Het vereiste niveau van semantische en praktische kennis gaat verder dan wat machine learning momenteel zelfs beoogt.

Bijgevolg zal een toegewijde Twitter-trol ongetwijfeld een nieuwe manier vinden om misbruik te uiten die een systeem als Conversation AI ontwijkt. Door sommige opmerkingen te blokkeren, zou machine learning een behoorlijke klus kunnen zijn om commentatoren ertoe te brengen elkaar niet meer terloops homo's en homo's te noemen, als dat het doel is. Maar machine learning kan iemand die vastbesloten is te insinueren dat iemand queer is, niet tegenhouden.

Met andere woorden, Conversation AI zorgt ervoor dat moderatietaken efficiënter kunnen worden uitgevoerd in gemeenschappen die zich al behoorlijk goed gedragen. Het is niet in staat om het ergste misbruik dat we horen, uit te roeien, dat vaak opduikt op sites met minimale moderatienormen. Misbruik door politie op Twitter en Reddit is onmogelijk zonder de aard van die platforms fundamenteel te veranderen.

Gated communities

Misbruik door de politie op Twitter en Reddit is onmogelijk zonder de aard van die platforms fundamenteel te veranderen.

Het succes van Facebook herinnert ons eraan dat de meeste mensen, en zeker de meeste bedrijven, de voorkeur geven aan een relatief beschutte en gecontroleerde omgeving boven een omgeving waar vreemden kunnen binnendringen in andermans zaken en ruzies kunnen beginnen. Dus als Conversation AI of vergelijkbare tools het gemakkelijker en efficiënter maken om dergelijke controle uit te oefenen, herinnert het eraan dat het oplossen van het misbruikprobleem, hetzij door menselijke of geautomatiseerde middelen, vereist dat maximale inclusiviteit als het hoogste ideaal online wordt verlaten. Zelfs schijnbaar open gemeenschappen zoals StackExchange en MetaFilter vereisen constante interventie van moderators en gemeenschapspolitie. Echt anarchistische gemeenschappen, zoals Twitter, 4chan en sommige kanalen op Reddit, blijken online uitzonderingen te zijn, niet de regel. Noch zijn anarchistische gemeenschappen geldmakers. Twitter heeft moeite gehad om een ​​koper aan te trekken, deels vanwege zijn reputatie voor beledigende inhoud, terwijl Reddit een hoog personeelsverloop heeft gehad en moeite heeft om geld te verdienen. Het Wilde Westen-karakter van die sites zal alleen maar duidelijker worden als tools zoals Conversation AI gemodereerde sites nog beter laten functioneren.

Het is vermeldenswaard een groot potentieel nadeel. Omdat Conversation AI wordt getraind om inhoud goed te keuren die voldoet aan bepaalde lexicale, grammaticale en stilistische richtlijnen, filtert het niet alleen beledigende inhoud uit. Het kan ook de neiging hebben om toe te slaan verschillend inhoud. Dat roept vragen op over wat censuurgerichte regeringen ermee zouden kunnen doen. net als de Keer beheert zijn gemeenschappen, zo kunnen ook de regeringen van Turkije en China die van hen cureren. Terwijl Jigsaw-inspanningen zoals Project Shield bedoeld zijn om politiek gevoelige websites te beschermen, maakt Conversation AI het gemakkelijker om ongewenste spraak weg te filteren, maar de vraag is, ongewenst door wie? Er zit geen etiket op de doos met de tekst: Alleen gebruiken om misbruik te voorkomen.

David Auerbach schrijft een boek over mens- en computertalen en hun convergentie, dat zal worden uitgegeven door Pantheon. Hij werkte 11 jaar als software engineer bij Google en Microsoft, voornamelijk in de serverinfrastructuur.

zich verstoppen