211service.com
IBM's debatteren over AI is nu een stuk dichter bij een nuttig hulpmiddel komen te staan
IBM Debater-systeem in Cambridge IBM Onderzoek
Computers hebben ons naar de maan en terug geleid, maar kunnen ons niet helpen met de grootste beslissingen die we vandaag moeten nemen. Moet Donald Trump worden afgezet en uit zijn ambt worden gezet? Moet Groot-Brittannië de EU verlaten? Moet Australië stoppen met het exporteren van fossiele brandstoffen? Vragen als deze hebben geen gemakkelijke ja of nee antwoorden, hoe verleidelijk het ook is om anders te denken.
We nemen beslissingen door voor- en nadelen af te wegen. Kunstmatige intelligentie heeft het potentieel om ons daarbij te helpen door steeds grotere hoeveelheden gegevens te doorzoeken. Maar om echt nuttig te zijn, moet het meer als een mens redeneren. We maken gebruik van persuasieve taal en allerlei achtergrondkennis die heel moeilijk te modelleren is in AI, zegt Jacky Visser van het Centre for Argument Technology van de University of Dundee, UK. Dit is een van de heilige gralen sinds mensen begonnen na te denken over AI.
Een kerntechniek die wordt gebruikt om machines te helpen redeneren, ook wel argument mining genoemd, omvat het bouwen van software om geschreven documenten te analyseren en sleutelzinnen te extraheren die bewijs leveren voor of tegen een bepaalde claim. Deze kunnen vervolgens worden samengevoegd tot een argument. Dergelijke tools kunnen ons niet alleen helpen betere beslissingen te nemen, maar kunnen ook worden gebruikt om nepnieuws op te vangen - onbetrouwbare beweringen te ondermijnen en feitelijke beweringen te staven - of om online zoekresultaten te filteren, waardoor relevante verklaringen worden geretourneerd in plaats van hele documenten.
Het werk van andere groepen op het gebied van argumentmining was gericht op specifieke soorten teksten, zoals juridische documenten of essays van studenten, die in het begin vaak veel gestructureerde argumenten bevatten. Dat is handig als u bijvoorbeeld een samenvatting wilt van al het bewijs in veel verschillende documenten in een rechtszaak. Maar het uiteindelijke doel is om een systeem te bouwen dat zoveel mogelijk informatiebronnen kan doorzoeken en een argument kan opbouwen met gebruikmaking van elk beetje bewijs dat het kan vinden.
IBM heeft zojuist een grote stap in die richting gezet. Het Project Debater-team van het bedrijf heeft verschillende jaren besteed aan het ontwikkelen van een AI die argumenten kan opbouwen. Vorig jaar demonstreerde IBM zijn work-in-progress-technologie in een live debat tegen een wereldkampioen menselijke debater, het equivalent van Watson's Gevaar! confrontatie. Dergelijke stunts zijn leuk en het leverde een proof of concept op. Nu verandert IBM zijn speelgoed in een echt nuttig hulpmiddel.
De versie van Project Debater die in de live debatten werd gebruikt, bevatte de kiemen van het nieuwste systeem, zoals de mogelijkheid om honderden miljoenen nieuwe artikelen te doorzoeken. Maar in de maanden daarna heeft het team de neurale netwerken die het gebruikt uitgebreid aangepast, waardoor de kwaliteit van het bewijs dat het systeem kan opgraven, is verbeterd. Een belangrijke toevoeging is: BERT , een neuraal netwerk dat Google heeft gebouwd voor natuurlijke taalverwerking, dat vragen kan beantwoorden. Het werk wordt volgende maand gepresenteerd op de Association for the Advancement of Artificial Intelligence-conferentie in New York.
Om hun AI te trainen, hebben hoofdonderzoeker Noam Slonim en zijn collega's bij IBM Research in Haifa, Israël, gebruik gemaakt van 400 miljoen documenten uit de LexisNexis-database met kranten- en tijdschriftartikelen. Dit leverde hen zo'n 10 miljard zinnen op, een corpus in natuurlijke taal dat ongeveer 50 keer groter is dan Wikipedia. Ze koppelden deze enorme hoeveelheid bewijsmateriaal aan beweringen over honderden verschillende onderwerpen, zoals bloeddonatie moet verplicht worden of we moeten afzien van Valentijnsdag.
Vervolgens vroegen ze crowdworkers op het Figure Eight-platform om zinnen te labelen op basis van het feit of ze al dan niet bewijs hadden geleverd voor of tegen bepaalde claims. De gelabelde gegevens werden ingevoerd in een begeleid leeralgoritme.
De resulterend neuraal netwerk kan vragen over een breed scala aan onderwerpen behandelen, waarbij zinnen worden geretourneerd die relevanter zijn dan die welke door eerdere systemen zijn geïdentificeerd. Het rangschikt de zinnen die het vindt op basis van hoe goed ze zijn als bewijs. Bijvoorbeeld, gezien de claim dat bloeddonatie verplicht zou moeten zijn, vond de software de zin. Een studie gepubliceerd in het American Journal of Epidemiology wees uit dat bloeddonoren 88 procent minder risico hebben op een hartaanval en beroerte.
Een grote uitdaging is het vertellen van zinnen die bewijs leveren van zinnen die dat niet doen, ook al bevatten ze dezelfde termen. Project Debater vond deze zin bijvoorbeeld ook voor de bewering over bloeddonatie, maar kon zeggen dat deze deze niet ondersteunde of ondermijnde: uit statistieken van de Nakasero-bloedbank blijkt dat studenten de belangrijkste bloeddonors zijn, die ongeveer 80 procent van de het wereldwijd verzamelde bloed.
Wat het precies is met deze zinnen die het neurale netwerk oppikt om zijn classificatie te maken, is niet duidelijk, zegt Slonim. Toch behaalde Project Debater bij het testen een nauwkeurigheid van 95% voor de top 50 zinnen over 100 verschillende onderwerpen, zegt hij, eraan toevoegend: Deze cijfers zijn ongehoord. Andere systemen hebben slechts enkele tientallen onderwerpen behandeld. Het is ook een grote verbetering ten opzichte van het live-debatsysteem dat Slonim vorig jaar liet zien.
Andere onderzoekers die ik sprak, waaronder Visser en Oana Cocarascu, die argumentatiesoftware en natuurlijke taalverwerking bestuderen aan het Imperial College London, waren ook onder de indruk van het nieuwe systeem. Voor Cocarascu is het potentieel voor toepassingen in de echte wereld het meest opwindend. Een systeem dat is getraind op juridische documenten kan niet omgaan met de vele verschillende soorten bewijsmateriaal die online worden gevonden. Het team van Slonim heeft aangetoond dat Project Debater dit brede scala aan bronnen aankan. Dat maakt het zo geweldig, zegt Cocarascu.
Het team geeft nu zijn trainingsgegevens vrij zodat anderen ermee kunnen werken. Visser wil tools voor argumentmining bouwen, zoals Project Debater, die de kwaliteit van argumenten kunnen evalueren en letten op zaken als cognitieve vooringenomenheid. Hij en zijn collega's hebben bijvoorbeeld AI gebruikt om de kwaliteit van argumenten te beoordelen in de Amerikaanse presidentiële debatten van 2016.
IBM doet zelf iets soortgelijks. Via een add-on, Speech by Crowd genaamd, kan Project Debater argumenten voor en tegen een voorstel crowdsourcen en vervolgens automatisch de kwaliteit van ingediende argumenten beoordelen met behulp van een neuraal netwerk getraind op een dataset van ongeveer 30.000 argumenten die eerder door mensen werden gescoord op kwaliteit.
IBM is van plan Project Debater als platform aan te bieden aan bedrijven en overheden. We zien de toekomst van Project Debater als een AI-cloudservice, zegt Christopher Sciacca, een woordvoerder van het bedrijf. In een voorbeeldtoepassing verzamelde IBM 3.500 meningen van burgers in Lugano, Zwitserland, over de vraag of de stad zou moeten investeren in autonome voertuigen en gebruikte de AI om argumenten voor en tegen het voorstel te extraheren en te beoordelen. De lokale overheid zou de resultaten kunnen gebruiken om een beleidsbeslissing te nemen.
Maar voor Slonim draait het allemaal om het verbeteren van onze interactie met AI op persoonlijk niveau. Argumenten spelen een belangrijke rol in de manier waarop mensen communiceren: we inventariseren redenen voor onze keuzes, we vragen om advies, we overtuigen en vleien. Praten met virtuele assistenten die op dat niveau kunnen praten, zou veel natuurlijker aanvoelen. Wat we doen raakt aan iets fundamenteels in ons leven, zegt hij. We proberen technologieën voor het begrijpen van talen aan elkaar te koppelen om mensen te helpen betere beslissingen te nemen.