Als algoritmen het verknoeien, krijgt de dichtstbijzijnde mens de schuld

Een afbeelding van de nasleep van een zelfrijdend auto-ongeluk, met een uber-voertuig op zijn kant De politie van Tempe

Eerder deze maand, Bloomberg een artikel gepubliceerd over een zich ontvouwende rechtszaak over investeringen die verloren zijn gegaan door een algoritme. Een Hong Kong-magnaat verloor meer dan $ 20 miljoen nadat hij een deel van zijn fortuin had toevertrouwd aan een geautomatiseerd platform. Zonder een wettelijk kader om de technologie aan te klagen, legde hij de schuld bij de dichtstbijzijnde mens: de man die het aan hem verkocht.

Het is het eerste bekende geval over geautomatiseerde investeringsverliezen, maar niet het eerste waarbij de aansprakelijkheid van algoritmen betrokken is. In maart 2018 kwam een ​​zelfrijdende Uber geslagen en gedood een voetganger in Tempe, Arizona, die een andere zaak voor de rechtbank stuurt. Een jaar later was Uber vrijgesproken van alle strafrechtelijke aansprakelijkheid, maar de veiligheidsbestuurder kan in plaats daarvan worden beschuldigd van doodslag door een voertuig.

Beide gevallen behandelen een van de centrale vragen waarmee we worden geconfronteerd wanneer geautomatiseerde systemen in elk aspect van de samenleving doorsijpelen: wie of wat verdient de schuld als een algoritme schade aanricht? Wie of wat daadwerkelijk de schuld krijgt, is een andere, maar even belangrijke vraag.

Madeleine Clare Elish, onderzoeker bij Data & Society en cultureel antropoloog van opleiding, heeft de laatste jaren de laatste vraag bestudeerd om te zien hoe deze kan helpen de eerste te beantwoorden. Hiervoor heeft ze teruggekeken op historische casussen. Hoewel moderne AI-systemen nog niet zo lang bestaan, zijn de vragen rond hun aansprakelijkheid niet nieuw.

De zelfrijdende Uber-crash loopt parallel met de crash van Air France-vlucht 447 in 2009, en een blik op hoe we toen met aansprakelijkheid omgingen, biedt aanwijzingen voor wat we nu zouden kunnen doen. Bij dat tragische ongeval stortte het vliegtuig op weg van Brazilië naar Frankrijk neer in de Atlantische Oceaan, waarbij alle 228 mensen aan boord omkwamen. Het geautomatiseerde systeem van het vliegtuig is ontworpen om volledig onfeilbaar te zijn en in staat om bijna alle scenario's aan te kunnen, behalve de zeldzame randgevallen waarin een menselijke piloot het over moest nemen. In die zin leken de piloten veel op de veiligheidschauffeurs van vandaag voor zelfrijdende auto's - bedoeld om de vlucht het overgrote deel van de tijd passief te volgen, maar in extreme scenario's in actie te komen.

Verwant verhaal

Verwant verhaal Slechts een paar wetgevers weten echt waar ze het over hebben, maar het is een begin.

Wat er de nacht van de crash gebeurde, is op dit moment een bekend verhaal. Ongeveer anderhalf uur na de vlucht stopten de luchtsnelheidssensoren van het vliegtuig met werken vanwege ijsvorming. Nadat het stuurautomaatsysteem de controle weer aan de piloten had overgedragen, zorgde verwarring en miscommunicatie ervoor dat het vliegtuig tot stilstand kwam. Terwijl een van de piloten probeerde de stal om te keren door de neus van het vliegtuig naar beneden te wijzen, hief de andere, waarschijnlijk in paniek, de neus op om verder te klimmen. Het systeem was echter zo ontworpen dat één piloot altijd de controle had en gaf geen signalen of haptische feedback om aan te geven welke piloot daadwerkelijk de controle had en wat de ander aan het doen was. Uiteindelijk klom het vliegtuig naar een hoek die zo steil was dat het systeem het als ongeldig beschouwde en helemaal geen feedback meer gaf. De piloten, die volledig blind vlogen, bleven onhandigen totdat het vliegtuig in zee stortte.

In een recente krant , Elish onderzocht de nasleep van de tragedie en identificeerde een belangrijk patroon in de manier waarop het publiek begon te begrijpen wat er gebeurde. Hoewel een federaal onderzoek naar het incident tot de conclusie kwam dat een combinatie van een slecht systeemontwerp en onvoldoende training van de piloot de catastrofale mislukking had veroorzaakt, greep het publiek snel een verhaal dat de enige schuld bij de laatste legde. Vooral mediabeelden bestendigden de overtuiging dat het geavanceerde stuurautomaatsysteem geen fout in de zaak droeg, ondanks significant onderzoek naar menselijke factoren dat aantoont dat mensen altijd nogal onbekwaam zijn geweest om op het laatste moment in noodsituaties te springen met een nuchter hoofd en een heldere geest .

Mensen gedragen zich als een 'aansprakelijkheidsspons'.

In andere casestudy's vond Elish hetzelfde patroon: zelfs in een sterk geautomatiseerd systeem waar mensen beperkte controle hebben over zijn gedrag, dragen zij nog steeds de meeste schuld voor de mislukkingen. Elish noemt dit fenomeen een morele kreukelzone. Terwijl de kreukelzone in een auto bedoeld is om de menselijke bestuurder te beschermen, schrijft ze in haar paper, beschermt de morele kreukelzone de integriteit van het technologische systeem, ten koste van de dichtstbijzijnde menselijke operator. Mensen gedragen zich als een aansprakelijkheidsspons, zegt ze, en nemen alle juridische en morele verantwoordelijkheid op zich bij algoritmische ongevallen, hoe weinig of onbedoeld ze ook zijn.

Dit patroon biedt belangrijk inzicht in de verontrustende manier waarop we spreken over de aansprakelijkheid van moderne AI-systemen. In de onmiddellijke nasleep van het Uber-ongeluk wezen de krantenkoppen met de vinger naar Uber, maar minder dan een paar dagen later werd het verhaal verschoven om zich te concentreren op de afleiding van de bestuurder.

We moeten ons afvragen wie het risico draagt ​​van de technologische experimenten van [techbedrijven], zegt Elish. Veiligheidsbestuurders en andere menselijke operators hebben vaak weinig macht of invloed op het ontwerp van de technologieplatforms waarmee ze communiceren. Maar in het huidige regelgevingsvacuüm zullen ze de hoogste kosten blijven betalen.

Regelgevers zouden ook meer genuanceerde gesprekken moeten voeren over wat voor soort kader zou helpen om de aansprakelijkheid eerlijk te verdelen. Ze moeten goed nadenken over het reguleren van sociotechnische systemen en niet alleen algoritmische zwarte dozen, zegt Elish. Met andere woorden, ze moeten overwegen of het ontwerp van het systeem werkt binnen de context waarin het opereert en of het onderweg menselijke operators inschakelt voor mislukking of succes. Zelfrijdende auto's moeten bijvoorbeeld zo worden gereguleerd dat het redelijk is of de rol die veiligheidschauffeurs moeten spelen, redelijk is.

Bij het concept van de morele kreukelzone gaat het niet alleen om hoe aansprakelijkheid kan worden verdeeld in elk robot- of autonoom systeem, schrijft ze, maar ook hoe de waarde en het potentieel van mensen zich kunnen ontwikkelen in de context van mens-machine-teams. .

Dit verhaal verscheen oorspronkelijk in onze Webby-genomineerde AI-nieuwsbrief The Algorithm. Meld je hier aan om meer van dit soort verhalen rechtstreeks in je inbox te ontvangen. Het is gratis.

zich verstoppen