211service.com
Wie heeft democratie nodig als je data hebt?
Dit is hoe China regels maakt met behulp van data, AI en internetsurveillance. 20 augustus 2018
Foto van twee bewakingscamera's naast een portret van Mao Zedong.
In 1955 publiceerde sciencefictionschrijver Isaac Asimov een kort verhaal over een experiment in elektronische democratie, waarin een enkele burger, geselecteerd om een hele bevolking te vertegenwoordigen, antwoordde op vragen die werden gegenereerd door een computer genaamd Multivac. De machine nam deze gegevens en berekende de resultaten van een verkiezing die daarom nooit hoefde te gebeuren. Het verhaal van Asimov speelde zich af in Bloomington, Indiana, maar vandaag wordt in China een benadering van Multivac gebouwd.
Voor elk autoritair regime is er een fundamenteel probleem voor het centrum om uit te zoeken wat er gaande is op lagere niveaus en in de samenleving, zegt Deborah Seligsohn, een politicoloog en China-expert aan de Villanova University in Philadelphia. Hoe bestuur je effectief een land waar een op de vijf mensen op aarde woont, met een steeds complexere economie en samenleving, als je geen publiek debat, burgeractivisme en electorale feedback toestaat? Hoe verzamel je voldoende informatie om daadwerkelijk beslissingen te nemen? En hoe kan een overheid die haar burgers niet uitnodigt om deel te nemen toch vertrouwen wekken en het gedrag van het publiek ombuigen zonder de politie op elke drempel te zetten?
Dit verhaal maakte deel uit van ons septembernummer 2018
- Zie de rest van het nummer
- Abonneren
Hu Jintao, de leider van China van 2002 tot 2012, had geprobeerd deze problemen op te lossen door een bescheiden democratische dooi toe te staan, waardoor grieven de heersende klasse konden bereiken. Zijn opvolger, Xi Jinping, heeft die trend gekeerd. In plaats daarvan vertrouwt zijn strategie om te begrijpen en te reageren op wat er gaande is in een land van 1,4 miljard mensen op een combinatie van surveillance, AI en big data om het leven en het gedrag van mensen tot in de kleinste details te volgen.
Het helpt dat een paar turbulente jaren in de democratieën van de wereld ervoor hebben gezorgd dat de Chinese politieke elite zich steeds meer gerechtvaardigd voelt om kiezers buiten te sluiten. Ontwikkelingen zoals de verkiezing van Donald Trump, de Brexit, de opkomst van extreemrechtse partijen in heel Europa en het schrikbewind van Rodrigo Duterte in de Filippijnen onderstrepen wat veel critici zien als de problemen die inherent zijn aan democratie, met name populisme, instabiliteit en precair persoonlijk leiderschap.
Sinds Xi in 2012 algemeen secretaris werd van de Chinese Communistische Partij, heeft Xi een reeks ambitieuze plannen voor het land opgesteld, waarvan vele geworteld in technologie, waaronder een doel om tegen 2030 de wereldleider op het gebied van kunstmatige intelligentie te worden. Xi heeft opgeroepen tot cybersoevereiniteit om de censuur te versterken en volledige controle over het binnenlandse internet te verkrijgen. In mei vertelde hij op een bijeenkomst van de Chinese Academie van Wetenschappen dat technologie de sleutel was tot het bereiken van het grote doel van de opbouw van een socialistische en gemoderniseerde natie. In januari, toen hij de natie toesprak op televisie, stonden in de boekenkasten aan weerszijden van hem zowel klassieke titels als Das Kapital en een paar nieuwe toevoegingen, waaronder twee boeken over kunstmatige intelligentie: Pedro Domingos' Het meester-algoritme en Brett King's Augmented: leven in de slimme rijstrook .
Geen enkele regering heeft een ambitieuzer en verder reikend plan om de kracht van data te benutten om de manier waarop ze bestuurt te veranderen dan de Chinese regering, zegt Martin Chorzempa van het Peterson Institute for International Economics in Washington, DC. Zelfs sommige buitenlandse waarnemers, die van een afstand toekijken, kunnen in de verleiding komen om zich af te vragen of een dergelijk datagestuurd bestuur een levensvatbaar alternatief biedt voor het steeds disfunctioneel ogende electorale model. Maar te veel vertrouwen op de wijsheid van technologie en data brengt zijn eigen risico's met zich mee.
Gegevens in plaats van dialoog
Chinese leiders willen al lang het publieke sentiment aanboren zonder de deur open te zetten voor verhit debat en kritiek op de autoriteiten. Gedurende het grootste deel van de keizerlijke en moderne Chinese geschiedenis is er een traditie geweest van ontevreden mensen van het platteland die naar Peking reisden en kleine demonstraties organiseerden als openbare verzoekers. De gedachte was dat als de lokale autoriteiten hun grieven niet zouden begrijpen of er niet om gaven, de keizer misschien een beter oordeel zou vellen.
Onder Hu Jintao zagen sommige leden van de Communistische Partij een beperkte openheid als een mogelijke manier om bepaalde soorten problemen aan het licht te brengen en op te lossen. Blogs, anticorruptiejournalisten, mensenrechtenadvocaten en online critici die lokale corruptie in de schijnwerpers zetten, dreven het publieke debat tegen het einde van Hu's regering. Volgens een voormalige Amerikaanse functionaris met kennis van zaken kreeg Xi aan het begin van zijn ambtstermijn een dagelijkse briefing over de publieke zorgen en ongeregeldheden die van sociale media waren geschraapt. De afgelopen jaren zijn indieners naar de hoofdstad gekomen om de aandacht te vestigen op schandalen zoals illegale landinbeslagnames door lokale autoriteiten en besmet melkpoeder.
Maar de politie houdt steeds meer verzoekers tegen om Peking ooit te bereiken. Nu hebben treinen nationale identiteitsbewijzen nodig om kaartjes te kopen, wat het voor de autoriteiten gemakkelijk maakt om potentiële 'onruststokers' te identificeren, zoals degenen die in het verleden tegen de regering hebben geprotesteerd, zegt Maya Wang, senior China-onderzoeker voor Human Rights Watch. Verschillende indieners vertelden ons dat ze zijn aangehouden op perrons. De bloggers, activisten en advocaten worden ook systematisch het zwijgen opgelegd of gevangengezet, alsof gegevens de overheid dezelfde informatie kunnen geven zonder de lastige problemen van vrijheid.
Een demo van een startup uit Shanghai van zijn systeem voor gezichtsherkenning.
Het idee om netwerktechnologie te gebruiken als bestuursinstrument in China gaat terug tot minstens het midden van de jaren tachtig. Zoals Harvard-historicus Julian Gewirtz uitlegt: Toen de Chinese regering zag dat informatietechnologie een onderdeel van het dagelijks leven werd, realiseerde ze zich dat het een krachtig nieuw hulpmiddel zou zijn voor zowel het verzamelen van informatie als het beheersen van cultuur, om Chinezen 'moderner' en meer 'bestuurbaar' - die eeuwige obsessies van het leiderschap zijn geweest. Daaropvolgende vorderingen, waaronder vooruitgang in AI en snellere processors, hebben die visie dichterbij gebracht.
Voor zover we weten, is er geen enkele masterblauwdruk die technologie en bestuur in China verbindt. Maar er zijn verschillende initiatieven die een gemeenschappelijke strategie delen om gegevens over mensen en bedrijven te verzamelen om de besluitvorming te informeren en systemen te creëren van prikkels en straffen om gedrag te beïnvloeden. Deze initiatieven omvatten het Social Credit System 2014 van de Staatsraad, de cyberbeveiligingswet van 2016, verschillende experimenten op lokaal niveau en particuliere ondernemingen in sociaal krediet, plannen voor slimme steden en technologiegedreven politiewerk in de westelijke regio van Xinjiang. Vaak gaat het om samenwerkingsverbanden tussen de overheid en Chinese technologiebedrijven.
De meest verreikende is het Social Credit System, hoewel een betere vertaling in het Engels het trust- of reputatiesysteem zou kunnen zijn. Het regeringsplan, dat zowel mensen als bedrijven omvat, noemt als doelstellingen de opbouw van oprechtheid in overheidsaangelegenheden, commerciële oprechtheid en rechterlijke geloofwaardigheid. (Iedereen in China heeft een tante die is opgelicht. Er is een legitieme behoefte om een breuk in het vertrouwen van het publiek aan te pakken, zegt Paul Triolo, hoofd van de geotechnologiepraktijk bij het adviesbureau Eurasia Group.) Tot op heden is het echter een werk in uitvoering verschillende pilots laten zien hoe het zou kunnen werken in 2020, wanneer het volledig zou moeten worden geïmplementeerd.
Men denkt dat het algoritme verdacht gedrag aan het licht brengt, zoals het bezoeken van een moskee of het bezit van te veel boeken.
Zwarte lijsten zijn het eerste hulpmiddel van het systeem. De afgelopen vijf jaar heeft het Chinese rechtssysteem de namen gepubliceerd van mensen die geen boetes hebben betaald of vonnissen hebben nageleefd. Op grond van de nieuwe regelgeving voor sociaal krediet wordt deze lijst gedeeld met verschillende bedrijven en overheidsinstanties. Mensen op de lijst zijn geblokkeerd voor het lenen van geld, het boeken van vluchten en het verblijven in luxe hotels. De nationale transportbedrijven van China hebben extra zwarte lijsten gemaakt om passagiers te straffen voor gedrag zoals het blokkeren van treindeuren of het uitkiezen van ruzies tijdens een reis; overtreders zijn uitgesloten van toekomstige ticketaankopen voor zes of twaalf maanden. Eerder dit jaar introduceerde Peking een reeks zwarte lijsten om te verbieden dat oneerlijke ondernemingen in de toekomst overheidscontracten of landtoelagen krijgen.
Een paar lokale overheden hebben geëxperimenteerd met sociale kredietscores, hoewel het niet duidelijk is of ze deel zullen uitmaken van het nationale plan. De noordelijke stad Rongcheng, bijvoorbeeld, kent een score toe aan elk van zijn 740.000 inwoners, meldde Foreign Policy. Iedereen begint met 1.000 punten. Als u doneert aan een goed doel of een overheidsprijs wint, krijgt u punten; als je een verkeerswet overtreedt, zoals door dronken te rijden of te hard te rijden over een zebrapad, verlies je punten. Mensen met goede scores kunnen kortingen krijgen op verwarming in de winter of betere voorwaarden krijgen op hypotheken; degenen met slechte scores kunnen de toegang tot bankleningen of promoties in banen bij de overheid verliezen. Het stadhuis toont posters van lokale rolmodellen, die deugd hebben getoond en hoge scores hebben behaald.
Het idee van sociaal krediet is om te controleren en te beheren hoe mensen en instellingen zich gedragen, zegt Samantha Hoffman van het Mercator Instituut voor China Studies in Berlijn. Zodra een overtreding is geregistreerd in een deel van het systeem, kan dit reacties veroorzaken in andere delen van het systeem. Het is een concept dat is ontworpen om zowel economische ontwikkeling als sociaal beheer te ondersteunen, en het is inherent politiek. Sommige parallellen met delen van China's blauwdruk bestaan al in de VS: een slechte kredietscore kan ervoor zorgen dat je geen woonkrediet kunt afsluiten, terwijl een veroordeling voor een misdrijf je stemrecht opschort of annuleert, bijvoorbeeld. Maar ze zijn niet allemaal op dezelfde manier met elkaar verbonden - er is geen overkoepelend plan, benadrukt Hoffman.
Een van de grootste zorgen is dat, omdat China geen onafhankelijke rechterlijke macht heeft, burgers geen beroep kunnen doen op valse of onnauwkeurige beschuldigingen. Sommigen hebben hun namen zonder kennisgeving toegevoegd aan zwarte lijsten voor reizen na een rechterlijke beslissing. Verzoekers en onderzoeksjournalisten worden gemonitord volgens een ander systeem, en mensen die in de afkickkliniek zijn binnengekomen, worden gemonitord door weer een ander monitoringsysteem. Theoretisch zouden de databases van drugsgebruikers de namen na vijf of zeven jaar wissen, maar ik heb veel gevallen gezien waarin dat niet gebeurde, zegt Wang van Human Rights Watch. Het is enorm moeilijk om jezelf ooit van een van deze lijsten te halen.
Af en toe online woede-uitbarstingen wijzen op publieke wrok. Het nieuws dat een student was afgewezen door een universiteit vanwege de opname van haar vader op een zwarte lijst met kredieten, veroorzaakte onlangs een wildvuur van online woede. Het besluit van het college was niet officieel bekrachtigd of bevolen door de regering. Integendeel, in hun enthousiasme om het nieuwe beleid te ondersteunen, hadden schoolbestuurders ze gewoon meegenomen naar wat zij als de logische conclusie zagen.
De ondoorzichtigheid van het systeem maakt het moeilijk om te evalueren hoe effectief experimenten zoals die van Rongcheng zijn. De partij heeft sinds 2012 bijna alle kritische stemmen de mond gesnoerd en de risico's om het systeem aan te vechten - zelfs op relatief kleine manieren - zijn groter geworden. Welke informatie beschikbaar is, is zeer gebrekkig; systematische vervalsing van gegevens over alles, van de groei van het BBP tot het gebruik van waterkracht, doordringt de statistieken van de Chinese overheid. Borge Bakken, onderzoeker van de Australian National University, schat dat officiële misdaadcijfers, die de overheid duidelijk wil bagatelliseren, slechts 2,5 procent van al het crimineel gedrag vertegenwoordigen.
In theorie zou datagestuurd bestuur kunnen helpen bij het oplossen van deze problemen, door verstoringen te omzeilen zodat de centrale overheid rechtstreeks informatie kan verzamelen. Dat was bijvoorbeeld het idee achter de introductie van luchtkwaliteitsmonitors die gegevens terugsturen naar de centrale autoriteiten in plaats van te vertrouwen op lokale functionarissen die mogelijk in de zak zitten van vervuilende industrieën. Maar veel aspecten van goed bestuur zijn te ingewikkeld om dat soort directe controle mogelijk te maken en in plaats daarvan te vertrouwen op gegevens die door diezelfde lokale functionarissen zijn ingevoerd.
De Chinese overheid geeft echter zelden prestatiegegevens vrij die buitenstaanders zouden kunnen gebruiken om deze systemen te evalueren. Neem de camera's die worden gebruikt om jaywalkers in sommige steden te identificeren en te schande te maken door hun gezichten op openbare billboards te projecteren, en om de gebedsgewoonten van moslims in het westen van China te volgen. Hun nauwkeurigheid blijft twijfelachtig: in het bijzonder, hoe goed kan gezichtsherkenningssoftware die is getraind op Han-Chinese gezichten leden van Euraziatische minderheidsgroepen herkennen? Bovendien, zelfs als de gegevensverzameling nauwkeurig is, hoe zal de overheid dergelijke informatie gebruiken om toekomstig gedrag te sturen of te dwarsbomen? Politie-algoritmen die voorspellen wie waarschijnlijk crimineel wordt, staan niet open voor publieke controle, evenmin als statistieken die zouden aantonen of misdaad of terrorisme is toegenomen of afgenomen. (In de westelijke regio van Xinjiang laat de beschikbare informatie bijvoorbeeld alleen zien dat het aantal mensen dat in politiehechtenis is genomen dramatisch is gestegen, met 731 procent van 2016 tot 2017.)
In de stad Xiangyang projecteren camera's die zijn gekoppeld aan gezichtsherkenningstechnologie foto's van jaywalkers, met namen en ID-nummers, op een billboard.
Het is niet de technologie die het beleid heeft gemaakt, maar technologie breidt het soort gegevens dat de Chinese overheid over individuen kan verzamelen enorm uit, zegt Richard McGregor, een senior fellow bij het Lowy Institute en de auteur van De partij: de geheime wereld van de communistische heersers van China . Het internet in China fungeert als een realtime, particuliere digitale inlichtingendienst.
Algoritmisch politiewerk
Schrijven in de Washington Post eerder dit jaar noemde Xiao Qiang, een professor in communicatie aan de University of California, Berkeley, het datagestuurde bestuur van China een digitale totalitaire staat. De dystopische aspecten zijn het duidelijkst te zien in het westen van China.
Xinjiang (New Territory) is de traditionele thuisbasis van een Chinese moslimminderheid die bekend staat als Oeigoeren. Omdat grote aantallen Han-Chinese migranten zich in de regio hebben gevestigd – sommigen zeggen dat ze gekoloniseerd zijn – zijn de werk- en religieuze kansen die de lokale Oeigoerse bevolking krijgt, afgenomen. Een van de resultaten was een toename van het geweld waarbij zowel Han als Oeigoeren het doelwit waren, waaronder een rel in 2009 in de hoofdstad Urumqi, waarbij naar verluidt 200 mensen omkwamen. Het antwoord van de regering op de toenemende spanningen was niet het houden van openbare fora om standpunten of beleidsadviezen te vragen. In plaats daarvan gebruikt de staat gegevensverzameling en algoritmen om te bepalen wie in de toekomst waarschijnlijk geweld of opstandigheid zal plegen.
De regering van Xinjiang heeft een particulier bedrijf in dienst genomen om de voorspellende algoritmen te ontwerpen die verschillende gegevensstromen beoordelen. Er is geen openbaar register of verantwoording voor hoe deze berekeningen zijn gebouwd of gewogen. De mensen die onder dit systeem leven, weten over het algemeen niet eens wat de regels zijn, zegt Rian Thum, een antropoloog aan de Loyola University die Xinjiang bestudeert en die de aankondigingen van overheidsopdrachten heeft gezien die zijn uitgegeven bij het bouwen van het systeem.
In de westelijke stad Kashgar zijn veel van de gezinswoningen en winkels in de hoofdstraten nu dichtgetimmerd en zijn de openbare pleinen leeg. Toen ik er in 2013 was, was het duidelijk dat Kashgar al een gesegregeerde stad was - de Han- en Oeigoerse bevolking woonden en werkten in verschillende delen van de stad. Maar 's avonds was het ook een levendige en vaak lawaaierige plek, waar de geluiden van de oproep tot gebed zich vermengden met dansmuziek van lokale clubs en de gesprekken van oude mannen die laat in plastic stoelen op patio's zaten. Tegenwoordig is de stad akelig stil; het openbare leven in de buurt is vrijwel verdwenen. Emily Feng, een journalist voor de Financiële tijden , bezocht Kashgar in juni en plaatste foto's op Twitter van de vrijgekomen straten.
De reden is dat volgens sommige schattingen meer dan één op de tien Oeigoerse en Kazachse volwassenen in Xinjiang naar heropvoedingskampen met prikkeldraad zijn gestuurd - en degenen die nog op vrije voeten zijn, zijn bang.
In de afgelopen twee jaar zijn er duizenden controleposten ingericht waar voorbijgangers zowel hun gezicht als hun nationale identiteitskaart moeten tonen om een snelweg op te gaan, een moskee binnen te gaan of een winkelcentrum te bezoeken. Oeigoeren zijn verplicht om door de overheid ontworpen tracking-apps op hun smartphones te installeren, die hun online contacten en de webpagina's die ze hebben bezocht in de gaten houden. Politieagenten bezoeken regelmatig lokale huizen om meer gegevens te verzamelen over bijvoorbeeld hoeveel mensen er in het huishouden wonen, hoe hun relaties met hun buren zijn, hoe vaak mensen dagelijks bidden, of ze naar het buitenland zijn gereisd en welke boeken ze hebben.
Al deze gegevensstromen worden ingevoerd in het openbare beveiligingssysteem van Xinjiang, samen met andere records die informatie vastleggen over alles, van bankgeschiedenis tot gezinsplanning. Het computerprogramma verzamelt alle gegevens uit deze verschillende bronnen en signaleert degenen die een ‘bedreiging’ kunnen worden voor de autoriteiten, zegt Wang. Hoewel het precieze algoritme onbekend is, wordt aangenomen dat het gedragingen kan benadrukken, zoals het bezoeken van een bepaalde moskee, het bezitten van veel boeken, het kopen van een grote hoeveelheid benzine of het ontvangen van telefoontjes of e-mails van contacten in het buitenland. Mensen die het markeert, worden bezocht door de politie, die hen in hechtenis kan nemen en in de gevangenis of in heropvoedingskampen kan stoppen zonder enige formele aanklacht.
Bezoekers van het Tiananmen-plein in Peking scannen hun identiteitsbewijs bij een controlepost.
Adrian Zenz, een politicoloog aan de Europese School voor Cultuur en Theologie in Korntal, Duitsland, berekent dat het aantal gevangenen voor minderheden in Xinjiang wel 11,5 procent van de volwassen bevolking kan bedragen. Deze kampen zijn ontworpen om patriottisme bij te brengen en mensen religieuze overtuigingen af te leren. (Nieuwe aanbestedingsberichten voor crematiebeveiligers lijken erop te wijzen dat de regering ook probeert de traditionele islamitische begrafenispraktijken in de regio uit te roeien.)
Terwijl Xinjiang een draconisch uiterste vertegenwoordigt, beginnen burgers elders in China terug te dringen tegen bepaalde vormen van toezicht. Een internetbedrijf dat tv-beelden in een gesloten circuit online streamde, stopte die uitzendingen na een publieke verontwaardiging. De stad Shanghai heeft onlangs voorschriften uitgevaardigd om mensen in staat te stellen onjuiste informatie te betwisten die wordt gebruikt om sociale kredietgegevens samen te stellen. Er zijn toenemende eisen voor privacy van Chinese internetgebruikers, zegt Samm Sacks, een senior fellow in het Technology Policy Program bij CSIS in New York. Het is niet helemaal de gratis-voor-alles dat het is gemaakt te zijn.
Christina Larson is een bekroonde buitenlandse correspondent en wetenschapsjournalist, die voornamelijk over China en Azië schrijft.