We moeten wantrouwen in AI-systemen creëren om ze veiliger te maken

met dank aan ACM

Ayanna Howard heeft altijd geprobeerd om robots en AI te gebruiken om mensen te helpen. In haar bijna 30-jarige carrière heeft ze talloze robots gebouwd: voor het verkennen van Mars, voor het opruimen van gevaarlijk afval en voor het helpen van kinderen met speciale behoeften. In het proces heeft ze een indrukwekkende reeks technieken ontwikkeld op het gebied van robotmanipulatie, autonome navigatie en computervisie. En ze is toonaangevend in het bestuderen van een veelgemaakte fout die mensen maken: we vertrouwen te veel op geautomatiseerde systemen.

Op 12 mei reikte de Association for Computing Machinery Howard dit jaar de Athena Lecturer Award uit, die vrouwen erkent die fundamentele bijdragen hebben geleverd in de informatica. De organisatie eerde niet alleen Howards indrukwekkende lijst van wetenschappelijke prestaties, maar ook haar passie en toewijding om iets terug te geven aan haar gemeenschap. Zolang ze een gevierd technoloog is, heeft ze ook veel programma's gemaakt en geleid die zijn ontworpen om de participatie en het behoud van jonge vrouwen en ondervertegenwoordigde minderheden in het veld te vergroten.

In maart, na 16 jaar als professor aan het Georgia Institute of Technology, begon ze aan een nieuwe functie als decaan van het college of engineering aan de Ohio State University. Ze is de eerste vrouw die de functie bekleedt. Op de dag dat ze de ACM-prijs ontving, sprak ik met Howard over haar carrière en haar laatste onderzoek.

Het volgende is bewerkt voor lengte en duidelijkheid.

Ik heb gemerkt dat je de term gehumaniseerde intelligentie gebruikt om je onderzoek te beschrijven, in plaats van kunstmatige intelligentie. Waarom is dat?

Ja, ik begon dat in 2004 in een paper te gebruiken. Ik dacht na over waarom we werken aan intelligentie voor robotica en AI-systemen. Het is niet zo dat we deze intelligente functies willen creëren buiten onze interacties met mensen. We worden gemotiveerd door de menselijke ervaring, de menselijke gegevens, de menselijke input. Kunstmatige intelligentie houdt in dat het een ander type intelligentie is, terwijl gehumaniseerde intelligentie zegt dat het intelligent is maar gemotiveerd door de menselijke constructie. En dat betekent dat wanneer we deze systemen creëren, we er ook voor zorgen dat het ook enkele van onze maatschappelijke waarden heeft.

Hoe ben je in dit werk beland?

Het was vooral ingegeven door mijn promotieonderzoek. Op dat moment was ik bezig met het trainen van een robotmanipulator om gevaren in een ziekenhuis te verwijderen. Dit was in de tijd dat je nog geen fijne veilige plekken had om naalden te plaatsen. Naalden werden in dezelfde prullenbak gestopt als al het andere, en er waren gevallen waarin ziekenhuismedewerkers ziek werden. Dus ik dacht aan: hoe ontwerp je robots om in die omgeving te helpen?

Dus heel vroeg ging het over het bouwen van robots die nuttig zijn voor mensen. En het was een erkenning dat we niet wisten hoe we robots moesten bouwen om sommige van deze taken heel goed uit te voeren. Maar mensen doen ze de hele tijd, dus laten we nabootsen hoe mensen het doen. Zo is het begonnen.

Toen werkte ik met NASA en probeerde na te denken over toekomstige navigatie met Marsrover. En nogmaals, het was als: wetenschappers kunnen dit heel, heel goed. Dus ik zou wetenschappers deze rovers op afstand laten bedienen en kijken naar wat ze op de camera's van deze rovers zagen, en op basis daarvan proberen te correleren hoe ze rijden. Dat was altijd het thema: waarom ga ik niet gewoon naar de menselijke experts, codeer ik wat ze doen in een algoritme en laat ik de robot het begrijpen?

Waren andere mensen destijds op deze mensgerichte manier aan het denken en praten over AI en robotica? Of was je een rare uitbijter?

Oh, ik was een hele rare uitbijter. Ik keek anders naar de dingen dan de rest. En toen was er geen handleiding voor het doen van dit soort onderzoek. Sterker nog, als ik nu terugkijk op hoe ik het onderzoek heb gedaan, zou ik het totaal anders doen. Er is al deze ervaring en kennis die sindsdien in het veld is verschenen.

Op welk punt ben je overgestapt van het denken over het bouwen van robots die mensen helpen, naar meer denken over de relatie tussen robots en mensen?

Het werd grotendeels gemotiveerd door deze studie we deden op noodevacuatie en robotvertrouwen. Wat we wilden zien, was dat wanneer mensen zich in een risicovolle, tijdkritieke situatie bevinden, ze de begeleiding van een robot zullen vertrouwen? Dus brachten we mensen naar een verlaten kantoorgebouw buiten de campus, en ze werden binnengelaten door een reisgidsrobot. We verzonnen een verhaal over de robot en hoe ze een enquête moesten invullen, dat soort dingen. Terwijl ze daar waren, hebben we het gebouw met rook gevuld en het brandalarm in werking gesteld.

Dus we wilden zien, terwijl ze naar buiten navigeerden, zouden ze naar de voordeur gaan, zouden ze naar het bord met uitgang gaan, of zouden ze de leiding volgen van de robot die hen in een andere richting leidde?

We dachten dat mensen naar de voordeur zouden gaan omdat ze zo binnenkwamen, en eerder onderzoek heeft uitgewezen dat wanneer mensen zich in een noodsituatie bevinden, ze de neiging hebben om te gaan waar ze vertrouwd zijn. Of we dachten dat ze de afritborden zouden volgen, want dat is aangeleerd gedrag. Maar de deelnemers wel niet doe dit. Ze volgen eigenlijk de begeleiding van de robot.

Daarna hebben we enkele fouten geïntroduceerd. We lieten de robot kapot gaan, we lieten hem in cirkels draaien, we lieten hem je in een richting brengen waarvoor je meubels moest verplaatsen. We dachten dat de mens op een gegeven moment zou zeggen: Laat me naar de voordeur gaan, of laat me naar het bordje uitgang gaan daar. Het duurde letterlijk tot het einde voordat mensen de leiding van de robot niet meer volgden.

Dat was de eerste keer dat onze hypothesen totaal verkeerd waren. Het was alsof ik niet kan geloven dat mensen het systeem op deze manier vertrouwen. Dit is interessant en fascinerend, en het is een probleem.

Heb je sinds dat experiment dit fenomeen in de echte wereld nagebootst?

Elke keer als ik een Tesla-ongeluk zie. Vooral de eerdere. Ik had zoiets van, ja, daar is het. Mensen vertrouwen te veel op deze systemen. En ik herinner me na de allereerste, wat deden ze? Ze hadden zoiets van, nu moet je het stuur ongeveer vijf seconden vasthouden. Als u uw hand niet aan het stuur heeft, wordt het systeem uitgeschakeld.

Maar weet je, ze kwamen nooit om met mij of mijn groep te praten, want dat gaat niet werken. En waarom dat niet werkt, is omdat het heel gemakkelijk is om het systeem te spelen. Als je naar je mobiele telefoon kijkt en je hoort de piep, dan steek je gewoon je hand op, toch? Het is onderbewust. Je let nog steeds niet op. En dat is omdat je denkt dat het systeem in orde is en dat je nog steeds kunt doen wat je ook aan het doen was: een boek lezen, tv kijken of naar je telefoon kijken. Het werkt dus niet omdat ze het niveau van risico of onzekerheid, of ongeloof of wantrouwen niet hebben vergroot. Ze hebben dat niet genoeg verhoogd om iemand opnieuw te betrekken.

Verwant verhaal

Als algoritmen het verknoeien, krijgt de dichtstbijzijnde mens de schuld Een blik op historische case studies leert ons hoe wij omgaan met de aansprakelijkheid van geautomatiseerde systemen.

Het is interessant dat je het hebt over hoe je in dit soort scenario's actief wantrouwen in het systeem moet ontwerpen om het veiliger te maken.

Ja, dat is wat je moet doen. We proberen nu eigenlijk een experiment rond het idee van denial of service. We hebben nog geen resultaten en we worstelen met enkele ethische bezwaren. Want als we het er eenmaal over hebben en de resultaten publiceren, moeten we uitleggen waarom je AI soms ook niet de mogelijkheid wilt geven om een ​​dienst te weigeren. Hoe verwijder je service als iemand het echt nodig heeft?

Maar hier is een voorbeeld met het Tesla-wantrouwen. Denial of service zou zijn: ik maak een profiel van uw vertrouwen, wat ik kan doen op basis van hoe vaak u het stuur hebt gedeactiveerd of heeft losgemaakt. Gezien die profielen van terugtrekking, kan ik vervolgens modelleren op welk punt u zich volledig in deze vertrouwenstoestand bevindt. Dit hebben we gedaan, niet met Tesla data, maar met onze eigen data. En op een gegeven moment, de volgende keer dat je in de auto stapt, krijg je een denial of service. U heeft gedurende X tijd geen toegang tot het systeem.

Het is bijna alsof je een tiener straft door zijn telefoon af te pakken. Je weet dat tieners niet zullen doen wat je niet wilt dat ze doen als je het koppelt aan hun manier van communiceren.

Wat zijn enkele andere mechanismen die u hebt onderzocht om het wantrouwen in systemen te vergroten?

De andere methode die we hebben onderzocht, wordt ruwweg verklaarbare AI genoemd, waarbij het systeem uitleg geeft over enkele van zijn risico's of onzekerheden. Omdat al deze systemen onzekerheid hebben - geen van hen is 100%. En een systeem weet wanneer het onzeker is. Het zou dus informatie kunnen verschaffen op een manier die een mens kan begrijpen, zodat mensen hun gedrag zullen veranderen.

Stel bijvoorbeeld dat ik een zelfrijdende auto ben en dat ik al mijn kaartinformatie heb, en dat ik weet dat bepaalde kruispunten meer ongevalsgevoelig zijn dan andere. Als we dicht bij een van hen komen, zou ik zeggen: we naderen een kruispunt waar vorig jaar 10 mensen stierven. Je legt het op een manier uit waar iemand naar toe gaat. Oh wacht, misschien moet ik me er meer van bewust zijn.

We hebben al gesproken over enkele van uw zorgen over onze neiging om deze systemen te veel te vertrouwen. Wat zijn anderen? Zijn er aan de andere kant ook voordelen?

De minpunten zijn echt gekoppeld aan vooringenomenheid. Daarom praat ik altijd over vooringenomenheid en vertrouwen door elkaar. Want als ik deze systemen te veel vertrouw en deze systemen beslissingen nemen die verschillende uitkomsten hebben voor verschillende groepen individuen - laten we zeggen, een medisch diagnosesysteem heeft verschillen tussen vrouwen en mannen - we creëren nu systemen die de ongelijkheid vergroten die we momenteel hebben . Dat is een probleem. En als je het koppelt aan dingen die te maken hebben met gezondheid of vervoer, die beide kunnen leiden tot situaties van leven of dood, kan een slechte beslissing zelfs leiden tot iets waar je niet van kunt herstellen. Dus we moeten het echt oplossen.

De positieve punten zijn dat geautomatiseerde systemen beter zijn dan mensen in het algemeen. Ik denk dat ze kunnen zijn ook al beter, maar persoonlijk zou ik in sommige situaties liever met een AI-systeem omgaan dan met bepaalde mensen in andere situaties. Ik weet dat het wat problemen heeft, maar geef me de AI. Geef me de robot. Ze hebben meer gegevens; ze zijn nauwkeuriger. Zeker als je een beginner hebt. Het is een beter resultaat. Het kan zijn dat de uitkomst niet gelijk is.

Naast je robotica- en AI-onderzoek, ben je gedurende je hele carrière een groot voorstander geweest van het vergroten van de diversiteit in het veld. Je bent 20 jaar geleden begonnen met een programma om risicomeisjes te begeleiden, lang voordat veel mensen over dit onderwerp nadachten. Waarom is dat belangrijk voor jou, en waarom is het ook belangrijk voor het veld?

Het is belangrijk voor mij omdat ik momenten in mijn leven kan identificeren waarin iemand me in feite toegang heeft gegeven tot techniek en informatica. Ik wist niet eens dat het een ding was. En dat is echt waarom ik later nooit een probleem had met de wetenschap dat ik het kon. En dus voelde ik altijd dat het gewoon mijn verantwoordelijkheid was om hetzelfde te doen voor degenen die het voor mij hebben gedaan. Toen ik ook ouder werd, merkte ik dat er veel mensen in de kamer waren die niet op mij leken. Dus ik realiseerde me: wacht, er is hier zeker een probleem, omdat mensen gewoon niet de rolmodellen hebben, ze hebben geen toegang, ze weten niet eens dat dit iets is.

En waarom het belangrijk is voor het veld, is omdat iedereen een verschil in ervaring heeft. Net zoals ik had nagedacht over mens-robot-interactie voordat het zelfs maar een ding was. Het was niet omdat ik briljant was. Dat kwam omdat ik op een andere manier naar het probleem keek. En als ik met iemand praat die een ander standpunt heeft, is het zoiets van: Oh, laten we proberen het beste van beide werelden te combineren en erachter te komen.

Airbags doden meer vrouwen en kinderen. Waarom is dat? Nou, ik ga zeggen dat het komt omdat er niemand in de kamer was om te zeggen: Hé, waarom testen we dit niet op vrouwen voorin? Er zijn een heleboel problemen die het leven hebben gekost of gevaarlijk zijn geweest voor bepaalde groepen mensen. En ik zou beweren dat als je teruggaat, het is omdat je niet genoeg mensen had die konden zeggen Hé, heb je hier over nagedacht? omdat ze praten vanuit hun eigen ervaring en vanuit hun omgeving en hun gemeenschap.

Hoe hoop je dat AI en robotica-onderzoek zich in de loop van de tijd zullen ontwikkelen? Wat is jouw visie op het veld?

Als je nadenkt over coderen en programmeren, kan vrijwel iedereen het. Er zijn nu zoveel organisaties zoals Code.org. De middelen en tools zijn er. Ik zou graag op een dag een gesprek met een student willen hebben waarbij ik vraag: Weet jij iets van AI en machine learning? en ze zeggen, Dr. H, dat doe ik al sinds de derde klas! Ik wil zo geschrokken zijn, want dat zou geweldig zijn. Natuurlijk moet ik dan nadenken over wat mijn volgende baan is, maar dat is een heel ander verhaal.

Maar ik denk dat als je de tools hebt met codering en AI en machine learning, je je eigen banen kunt creëren, je eigen toekomst kunt creëren, je eigen oplossing kunt creëren. Dat zou mijn droom zijn.

zich verstoppen