Bezorgd over de AI-ethiek van uw bedrijf? Deze startups zijn er om te helpen.

Getty

Het werk van Rumman Chowdhury omvatte veel vertalingen. Als verantwoordelijke AI-lead bij het adviesbureau Accenture werkte ze met klanten die moeite hadden om hun AI-modellen te begrijpen. Hoe wisten ze of de modellen deden wat ze moesten doen? De verwarring ontstond vaak gedeeltelijk omdat de datawetenschappers, advocaten en leidinggevenden van het bedrijf verschillende talen leken te spreken. Haar team zou als tussenpersoon fungeren, zodat alle partijen op één lijn konden komen. Het was op zijn zachtst gezegd inefficiënt: het controleren van een enkel model kon maanden duren.

Dus eind 2020 verliet Chowdhury haar functie om haar eigen onderneming te starten. Genaamd Pariteit AI , biedt het klanten een reeks hulpmiddelen die het proces tot een paar weken willen terugbrengen. Het helpt hen eerst te bepalen hoe ze hun model willen controleren - is het voor vooringenomenheid of voor wettelijke naleving? - en geeft vervolgens aanbevelingen om het probleem aan te pakken.

Parity behoort tot een groeiend aantal startups die organisaties manieren beloven om hun AI-modellen te ontwikkelen, monitoren en repareren. Ze bieden een scala aan producten en diensten, van hulpmiddelen voor het verminderen van vooroordelen tot platforms voor uitlegbaarheid. Aanvankelijk kwamen de meeste van hun klanten uit zwaar gereguleerde sectoren zoals financiën en gezondheidszorg. Maar meer onderzoek en media-aandacht voor kwesties van vooringenomenheid , privacy en transparantie hebben de focus van het gesprek verlegd. Nieuwe klanten maken zich vaak simpelweg zorgen over hun verantwoordelijkheid, terwijl anderen zich in afwachting van regelgeving toekomstbestendig willen maken.

Zoveel bedrijven worden hier voor het eerst echt mee geconfronteerd, zegt Chowdhury. Ze vragen bijna allemaal om hulp.

Van risico naar impact

Bij het werken met nieuwe klanten vermijdt Chowdhury het gebruik van de term verantwoordelijkheid. Het woord is te zacht en slecht gedefinieerd; het laat te veel ruimte voor miscommunicatie. In plaats daarvan begint ze met een bekender bedrijfsjargon: het idee van risico. Veel bedrijven hebben risico- en nalevingsarmen en gevestigde processen voor risicobeperking.

AI-risicobeperking is niet anders. Een bedrijf moet beginnen met het overwegen van de verschillende dingen waar het zich zorgen over maakt. Deze kunnen juridische risico's omvatten, de mogelijkheid om de wet te overtreden; organisatorisch risico, de mogelijkheid om werknemers te verliezen; of reputatierisico, de mogelijkheid van een PR-ramp. Van daaruit kan het achteruit werken om te beslissen hoe zijn AI-systemen moeten worden gecontroleerd. Een financieringsmaatschappij die opereert volgens de eerlijke leenwetten in de VS, zou haar leenmodellen willen controleren op vooringenomenheid om juridische risico's te beperken. Een telezorgbedrijf, wiens systemen trainen op gevoelige medische gegevens, kan privacyaudits uitvoeren om het reputatierisico te verkleinen.

Parity bevat een bibliotheek met voorgestelde vragen om bedrijven te helpen het risico van hun AI-modellen te evalueren.

PARITEIT

Pariteit helpt om dit proces te organiseren. Het platform vraagt ​​een bedrijf eerst om een ​​interne impactbeoordeling op te stellen, in wezen een reeks open onderzoeksvragen over hoe zijn bedrijf en AI-systemen werken. Het kan ervoor kiezen om aangepaste vragen te schrijven of ze te selecteren uit de bibliotheek van Parity, die meer dan 1.000 prompts bevat die zijn aangepast aan ethische richtlijnen voor AI en relevante wetgeving van over de hele wereld. Zodra de beoordeling is opgesteld, worden werknemers in het hele bedrijf aangemoedigd om deze in te vullen op basis van hun functie en kennis. Het platform voert vervolgens hun vrije-tekstreacties uit via een verwerkingsmodel in natuurlijke taal en vertaalt ze met het oog op de belangrijkste risicogebieden van het bedrijf. Met andere woorden, pariteit dient als de nieuwe tussenpersoon om datawetenschappers en juristen op één lijn te krijgen.

Vervolgens beveelt het platform een ​​overeenkomstige reeks risicobeperkende maatregelen aan. Dit kan het creëren van een dashboard zijn om de nauwkeurigheid van een model continu te bewaken, of het implementeren van nieuwe documentatieprocedures om bij te houden hoe een model is getraind en verfijnd in elke fase van zijn ontwikkeling. Het biedt ook een verzameling open-source frameworks en tools die kunnen helpen, zoals die van IBM AI Eerlijkheid 360 voor bias monitoring of Modelkaarten van Google voor documentatie.

Chowdhury hoopt dat als bedrijven de tijd die nodig is om hun modellen te controleren, kunnen verkorten, ze meer gedisciplineerd zullen worden om dit regelmatig en vaak te doen. Na verloop van tijd hoopt ze dat dit hen ook kan openen om verder te denken dan risicobeperking. Mijn stiekeme doel is eigenlijk om meer bedrijven aan het denken te zetten over impact en niet alleen over risico's, zegt ze. Risico is de taal die mensen tegenwoordig begrijpen, en het is een zeer waardevolle taal, maar risico is vaak reactief en responsief. Impact is proactiever, en dat is eigenlijk de betere manier om te bepalen wat we zouden moeten doen.

Een verantwoordelijkheidsecosysteem

Terwijl Parity zich richt op risicobeheer, is een andere startup, Fiddler , richt zich op verklaarbaarheid. CEO Krishna Gade begon na te denken over de noodzaak van meer transparantie in de manier waarop AI-modellen beslissingen nemen terwijl hij als technisch manager van het nieuwsfeed-team van Facebook diende. Na de presidentsverkiezingen van 2016 deed het bedrijf een grote interne poging om beter te begrijpen hoe zijn algoritmen inhoud rangschikten. Het team van Gade ontwikkelde een interne tool die later de basis werd van de Waarom zie ik dit? voorzien zijn van .

Verwant verhaal

Vijf manieren om van AI in 2021 een grotere kracht te maken Er is meer aandacht voor de invloed van AI dan ooit tevoren. Laten we het tellen.

Gade lanceerde Fiddler kort daarna, in oktober 2018. Het helpt data science-teams de evoluerende prestaties van hun modellen te volgen en maakt op basis van de resultaten rapporten op hoog niveau voor bedrijfsleiders. Als de nauwkeurigheid van een model in de loop van de tijd verslechtert, of als het bevooroordeeld gedrag vertoont, helpt Fiddler te achterhalen waarom dat zou kunnen gebeuren. Gade ziet het monitoren van modellen en het verbeteren van de uitlegbaarheid als de eerste stappen naar het bewuster ontwikkelen en inzetten van AI.

Arthur , opgericht in 2019, en Gewichten en vooroordelen , opgericht in 2017, zijn nog twee bedrijven die monitoringplatforms aanbieden. Net als Fiddler legt Arthur de nadruk op verklaarbaarheid en het verminderen van vooroordelen, terwijl Weights & Biases machine learning-experimenten volgt om onderzoek te verbeteren reproduceerbaarheid . Alle drie de bedrijven hebben een geleidelijke verschuiving waargenomen in de belangrijkste zorgen van bedrijven, van wettelijke naleving of modelprestaties naar ethiek en verantwoordelijkheid.

Het cynische deel van mij was in het begin bang dat we klanten zouden zien binnenkomen en denken dat ze gewoon een vakje konden aanvinken door hun merk te associëren met iemand anders die verantwoordelijke AI doet, zegt Liz O'Sullivan, Arthur's VP van verantwoordelijke AI, die dient ook als technologiedirecteur van het Surveillance Technology Oversight Project, een activistische organisatie. Maar veel van Arthurs klanten hebben geprobeerd verder te denken dan alleen technische oplossingen voor hun bestuursstructuren en benaderingen van inclusief ontwerp. Het was zo opwindend om te zien dat ze echt geïnvesteerd hebben om het juiste te doen, zegt ze.

O'Sullivan en Chowdhury zijn ook allebei verheugd om te zien dat meer startups zoals die van hen online komen. Er is niet slechts één tool of één ding dat je moet doen om verantwoorde AI te doen, zegt O'Sullivan. Chowdury is het ermee eens: het wordt een ecosysteem.

zich verstoppen