Een AI leidt counselors op om met tieners in crisis om te gaan

mevrouw Tech | Unsplash, Pexels

Counselors die vrijwilligerswerk doen bij het Trevor Project moeten voorbereid zijn op hun eerste gesprek met een LGBTQ-tiener die misschien aan zelfmoord denkt. Dus eerst oefenen ze. Een van de manieren waarop ze dat doen, is door te praten met fictieve personages zoals Riley, een 16-jarige uit North Carolina die zich een beetje neerslachtig en depressief voelt. Met een teamlid dat de rol van Riley speelt, kunnen cursisten inzoomen op wat er aan de hand is: ze kunnen ontdekken dat de tiener bang is om uit de kast te komen bij familie, het onlangs aan vrienden heeft verteld en dat het niet goed is gegaan, en eerder suïcidale gedachten heeft gehad, zo niet bij het moment.

Nu wordt Riley echter niet gespeeld door een Trevor Project-medewerker, maar wordt hij aangedreven door AI.

Net als de originele persona, moet deze versie van Riley - getraind op duizenden eerdere transcripties van rollenspellen tussen counselors en het personeel van de organisatie - nog steeds een beetje worden overgehaald om zich open te stellen en een situatie te schetsen die kan testen wat stagiairs hebben geleerd over de beste manieren om LGBTQ-tieners te helpen.

Counselors mogen Riley niet onder druk zetten om naar buiten te komen. Het doel is daarentegen om Rileys gevoelens te valideren en, indien nodig, te helpen bij het ontwikkelen van een plan om veilig te blijven.

Crisismeldpunten en chatdiensten maken ze tot een fundamentele belofte: neem contact op en we brengen je in contact met een echte mens die je kan helpen. Maar de behoefte kan de capaciteit van zelfs de meest succesvolle services overtreffen. Het Trevor Project gelooft dat jaarlijks 1,8 miljoen LGBTQ-jongeren in Amerika serieus overwegen zelfmoord te plegen. De bestaande 600 counselors voor zijn op chat gebaseerde diensten kunnen die behoefte niet aan. Daarom wendde de groep zich – net als een toenemend aantal organisaties voor geestelijke gezondheidszorg – tot AI-gestuurde tools om aan de vraag te voldoen. Het is een ontwikkeling die heel logisch is, terwijl ze tegelijkertijd vragen oproept over hoe goed de huidige AI-technologie kan presteren in situaties waarin het leven van kwetsbare mensen op het spel staat.

Risico's nemen - en ze beoordelen

Het Trevor Project gelooft dat het deze balans begrijpt - en benadrukt wat Riley niet doet.

We waren niet van plan en zijn niet van plan om een ​​AI-systeem te ontwerpen dat de plaats van een raadgever zal innemen, of dat rechtstreeks zal communiceren met een persoon die mogelijk in een crisis verkeert, zegt Dan Fichter, het hoofd van AI en Engineering. Deze menselijke connectie is belangrijk in alle geestelijke gezondheidsdiensten, maar het kan vooral belangrijk zijn voor de mensen die het Trevor Project bedient. Volgens het eigen onderzoek van de organisatie in 2019 waren LGBTQ-jongeren met ten minste één accepterende volwassene in hun leven 40% minder waarschijnlijk om een ​​zelfmoordpoging in het voorgaande jaar te melden.

Het AI-aangedreven trainingsrollenspel, de crisiscontactsimulator genoemd en ondersteund door geld en technische hulp van Google, is het tweede project dat de organisatie op deze manier heeft ontwikkeld: het maakt ook gebruik van een algoritme voor machine learning om te helpen bepalen wie het grootste risico loopt van gevaar. (Het heeft verschillende andere benaderingen uitgeprobeerd, waaronder veel die geen AI gebruikten, maar het algoritme gaf eenvoudigweg de meest nauwkeurige voorspellingen voor wie de meest dringende behoefte had.)

AI-aangedreven risicobeoordeling is niet nieuw voor zelfmoordpreventiediensten: het Department of Veterans Affairs gebruikt ook machine learning om risicoveteranen te identificeren in zijn klinische praktijken, aangezien de New York Times meldde eind vorig jaar.

Over het nut, de nauwkeurigheid en het risico van het op deze manier inzetten van AI lopen de meningen uiteen. In specifieke omgevingen kan AI nauwkeuriger zijn dan mensen bij het beoordelen van het zelfmoordrisico van mensen, stelt Thomas Joiner, een professor psychologie aan de Florida State University die suïcidaal gedrag bestudeert. In de echte wereld, met meer variabelen, lijkt AI ongeveer even goed te presteren als mensen. Wat het echter wel kan doen, is meer mensen in een sneller tempo beoordelen.

Het kan dus het beste worden gebruikt om menselijke counselors te helpen, niet om ze te vervangen. Het Trevor-project vertrouwt nog steeds op mensen om volledige risicobeoordelingen uit te voeren voor jonge mensen die gebruik maken van zijn diensten. En nadat de counselors hun rollenspel met Riley hebben beëindigd, worden die transcripties beoordeeld door een mens.

Hoe het systeem werkt

De crisiscontactsimulator is ontwikkeld omdat het doen van rollenspellen veel tijd van het personeel in beslag neemt en beperkt is tot de normale werkuren, hoewel een meerderheid van de begeleiders van plan is vrijwilligerswerk te doen tijdens nacht- en weekenddiensten. Maar zelfs als het doel was om sneller meer counselors op te leiden en de vrijwilligersroosters beter aan te passen, was efficiëntie niet de enige ambitie. De ontwikkelaars wilden nog steeds dat het rollenspel natuurlijk zou aanvoelen en dat de chatbot zich snel zou aanpassen aan de fouten van vrijwilligers. Algoritmen voor natuurlijke taalverwerking , die onlangs heel goed was geworden in het nabootsen van menselijke gesprekken, leek goed te passen bij de uitdaging. Na verschillende opties te hebben getest, besloot het Trevor-project: Het GPT-2-algoritme van OpenAI .

Verwant verhaal

OpenAI's nieuwe taalgenerator GPT-3 is schrikbarend goed - en volledig hersenloos

De AI is het grootste taalmodel dat ooit is gemaakt en kan op verzoek verbazingwekkende mensachtige tekst genereren, maar zal ons niet dichter bij echte intelligentie brengen.

De chatbot gebruikt GPT-2 voor zijn basisgespreksvaardigheden. Dat model is getraind op 45 miljoen pagina's van het web, waardoor het de basisstructuur en grammatica van de Engelse taal leert. Het Trevor Project trainde het vervolgens verder op alle transcripties van eerdere Riley-rollenspelgesprekken, waardoor de bot het materiaal kreeg dat nodig was om de persona na te bootsen.

Gedurende het hele ontwikkelingsproces was het team verrast door hoe goed de chatbot presteerde. Er is geen database met details van Riley's bio, maar de chatbot bleef consistent omdat elk transcript dezelfde verhaallijn weerspiegelt.

Maar er zijn ook nadelen aan het gebruik van AI, vooral in gevoelige contexten met kwetsbare gemeenschappen. Van GPT-2 en andere soortgelijke algoritmen in natuurlijke taal is bekend dat ze diep racistische, seksistische en homofobe ideeën verankeren. Meer dan één chatbot is op deze manier rampzalig op een dwaalspoor gebracht, de meest recente is een Zuid-Koreaanse chatbot genaamd Lee Luda die de persona had van een 20-jarige universiteitsstudent. Na snel aan populariteit te winnen en interactie te hebben met steeds meer gebruikers, begon het smet te gebruiken om de queer en gehandicapte gemeenschappen te beschrijven.

Het Trevor Project is zich hiervan bewust en heeft manieren bedacht om de kans op problemen te beperken. Terwijl Lee Luda bedoeld was om met gebruikers over alles te praten, is Riley erg eng gefocust. Vrijwilligers wijken niet te ver af van de gesprekken waarop ze zijn getraind, wat de kans op onvoorspelbaar gedrag minimaliseert.

Dit maakt het ook gemakkelijker om de chatbot uitgebreid te testen, wat het Trevor Project zegt te doen. Deze use-cases die zeer gespecialiseerd en goed gedefinieerd zijn en inclusief ontworpen, vormen geen erg hoog risico, zegt Nenad Tomasev, een onderzoeker bij DeepMind.

Mens tot mens

Dit is niet de eerste keer dat de geestelijke gezondheidszorg heeft geprobeerd gebruik te maken van het potentieel van AI om inclusieve, ethische hulp te bieden zonder de mensen te schaden die het is ontworpen om te helpen. Onderzoekers veelbelovende manieren hebben ontwikkeld van het detecteren van depressie door een combinatie van visuele en auditieve signalen. Therapiebots, hoewel niet gelijk aan een menselijke professional, worden gepitcht als alternatief voor degenen die geen toegang hebben tot een therapeut of zijn ongemakkelijk een persoon in vertrouwen nemen.

Elk van deze ontwikkelingen, en andere soortgelijke ontwikkelingen, vereisen dat je moet nadenken over hoeveel AI-tools van bureaus zouden moeten hebben als het gaat om de behandeling van kwetsbare mensen. En de consensus lijkt te zijn dat de technologie op dit moment niet echt geschikt is om menselijke hulp te vervangen.

Toch zegt Joiner, de psychologieprofessor, dat dit in de loop van de tijd kan veranderen. Hoewel het momenteel een slecht idee is om menselijke counselors te vervangen door AI-kopieën, betekent dat niet dat het een permanente beperking is, zegt hij. Mensen, heb kunstmatige vriendschappen en relaties al met AI-services . Zolang mensen niet worden misleid door te denken dat ze een discussie hebben met een mens wanneer ze met een AI praten, zegt hij, zou het een mogelijkheid kunnen zijn.

In de tussentijd zal Riley nooit te maken krijgen met de jongeren die daadwerkelijk sms'en naar het Trevor Project: het zal alleen maar dienen als trainingstool voor vrijwilligers. De verbinding van mens tot mens tussen onze counselors en de mensen die contact met ons opnemen, is essentieel voor alles wat we doen, zegt Kendra Gaunt, de data- en AI-productleider van de groep. Ik denk dat dat ons echt uniek maakt, en iets dat volgens mij niemand van ons wil vervangen of veranderen.

Correctie: We hebben een zin aangepast waarin stond dat het Trevor Project twee algoritmen heeft uitgeprobeerd voor zijn chatbot. Het heeft er meerdere uitgeprobeerd.

zich verstoppen