Een debat tussen AI-experts toont een strijd over de toekomst van de technologie

Gary Marcus en Danny Lange Marcus: R. Farrell/ITU; Lange: Cody Glenn/Web Summit

Sinds de jaren vijftig heeft kunstmatige intelligentie herhaaldelijk te veel beloofd en te weinig geleverd. Hoewel de afgelopen jaren dankzij deep learning ongelooflijke sprongen zijn gemaakt, is AI vandaag de dag nog steeds smal: het is kwetsbaar bij aanvallen, kan niet generaliseren om zich aan te passen aan veranderende omgevingen en is bezaaid met vooringenomenheid. Al deze uitdagingen maken de technologie moeilijk te vertrouwen en beperken het potentieel om de samenleving ten goede te komen.

Op 26 maart, tijdens het jaarlijkse EmTech Digital-evenement van MIT Technology Review, gingen twee prominente figuren in AI naar het virtuele podium om te debatteren over hoe het veld deze problemen zou kunnen oplossen.

Gary Marcus, emeritus hoogleraar aan NYU en de oprichter en CEO van Robust.AI, is een bekende criticus van deep learning. In zijn boek AI opnieuw opstarten , vorig jaar gepubliceerd, betoogde hij dat de tekortkomingen van AI inherent zijn aan de techniek. Onderzoekers moeten daarom verder kijken dan deep learning, stelt hij, en het combineren met klassieke of symbolische AI-systemen die kennis coderen en in staat zijn te redeneren.

Danny Lange, de vice-president van AI en machine learning bij Unity, zit vierkant in het deep-learning-kamp. Hij bouwde zijn carrière op de belofte en het potentieel van de techniek. Hij was hoofd machine learning bij Uber, algemeen directeur van Amazon Machine Learning en productleider bij Microsoft, gericht op grootschalige machine learning. Bij Unity helpt hij nu laboratoria als DeepMind en OpenAI bij het bouwen van virtuele trainingsomgevingen die hun algoritmen een gevoel van de wereld bijbrengen.

Tijdens het evenement gaf elke spreker een korte presentatie en nam daarna plaats voor een paneldiscussie. De meningsverschillen die ze uitten weerspiegelen veel van de botsingen in het veld, en benadrukken hoe krachtig de technologie is gevormd door een aanhoudende strijd van ideeën en hoe weinig zekerheid er is over waar het naartoe gaat.

Hieronder is hun paneldiscussie samengevat en licht bewerkt voor de duidelijkheid.

Gary, je maakt gebruik van je expertise in neurowetenschappen en psychologie om erachter te komen wat er momenteel ontbreekt in AI. Wat is er met klassieke AI aan de hand waarvan je denkt dat het het juiste systeem is om te combineren met deep learning?

Gary Marcus: Het eerste wat ik zal zeggen is dat we misschien hybriden nodig hebben die ingewikkelder zijn dan alleen deep learning plus klassieke AI. We hebben nodig bij minst Dat. Maar er kunnen een heleboel dingen zijn waar we nog niet eens van hebben gedroomd. We moeten ruimdenkend zijn.

Waarom klassieke AI aan de mix toevoegen? Welnu, we redeneren op allerlei manieren op basis van onze kennis in de wereld. Diep leren vertegenwoordigt dat gewoon niet. Deze systemen kunnen op geen enkele manier weergeven wat een bal is of wat een fles is en wat deze dingen met elkaar doen. De resultaten zien er dus goed uit, maar ze zijn meestal niet erg generaliseerbaar.

Klassieke AI - dat is zijn stuurhuis. Het kan bijvoorbeeld een zin ontleden tot zijn semantische representatie, of kennis hebben van wat er in de wereld gebeurt en daar conclusies over trekken. Het heeft zijn eigen problemen: het heeft meestal niet genoeg dekking, omdat het te veel met de hand is geschreven, enzovoort. Maar in principe is het in ieder geval de enige manier die we kennen om systemen te maken die dingen kunnen doen als logische gevolgtrekking en inductieve gevolgtrekking over abstracte kennis. Het betekent nog steeds niet dat het absoluut juist is, maar het is verreweg het beste dat we hebben.

En dan is er veel psychologisch bewijs dat mensen een bepaald niveau van symbolische representatie kunnen doen. In mijn vorige leven als persoon met cognitieve ontwikkeling deed ik experimenten met baby's van zeven maanden oud en toonde aan dat die baby's symbolische kennis konden generaliseren. Dus als een zeven maanden oude baby het kan, waarom houden we dan onze handen achter onze rug om AI te bouwen zonder mechanismen die baby's hebben?

Heb je projecten gezien waarin ze met succes deep learning en symbolische AI ​​op veelbelovende manieren hebben gecombineerd?

GM: In een artikel dat ik schreef genaamd Het volgende decennium in AI , heb ik ongeveer 20 verschillende recente projecten opgesomd die proberen hybride modellen samen te stellen met wat diepgaande kennis en wat symbolische kennis. Een voorbeeld dat iedereen kent, is Google Zoeken. Wanneer u een zoekopdracht typt, is er een klassieke AI die probeert woorden ondubbelzinnig te maken. Het probeert erachter te komen wanneer je het over Parijs hebt, heb je het over Paris Hilton, Parijs, Texas of Parijs, Frankrijk, met behulp van Google Knowledge Graph. En dan gebruikt het deep learning om andere dingen te doen, bijvoorbeeld om synoniemen te vinden met behulp van de BERT model . Natuurlijk is Google Zoeken niet de AI die we uiteindelijk hopen te bereiken, maar het is een behoorlijk solide bewijs dat dit geen onmogelijke droom is.

Danny, ben je het ermee eens dat we naar deze hybride modellen moeten kijken?

Danny Lange: Nee, ik ben het er niet mee eens. Het probleem dat ik heb met symbolische AI ​​is de poging om het menselijk brein in een zeer diepe zin na te bootsen. Het doet me een beetje denken aan, weet je, in de 18e eeuw, als je sneller vervoer wilde, zou je werken aan het bouwen van een mechanisch paard in plaats van aan het uitvinden van de verbrandingsmotor. Dus ik ben erg sceptisch over het proberen om AI op te lossen door te proberen het menselijk brein na te bootsen.

Diep leren is niet per se een wondermiddel, maar als je het voldoende gegevens voedt en je de juiste neurale netwerkarchitectuur hebt, is het in staat om abstracties te leren die wij als mensen niet kunnen interpreteren, maar dat maakt het systeem zeer efficiënt in het oplossen van een breed scala van taken.

Het klinkt alsof jullie het fundamenteel oneens zijn over wat het doel van AI is.

GM: Ik denk dat er een ironie is. Toen ik in december een debat had met Yoshua Bengio, zei Bengio dat de enige verplichting van diep leren was dat het neurologisch gebaseerd was. Dus ik heb beide tegengestelde uitersten gehoord van diep leren. Dat is een beetje vreemd, en ik denk niet dat we die argumenten serieus moeten nemen.

In plaats daarvan zouden we moeten zeggen: kunnen symbolen ons helpen? En het antwoord is, overweldigend, ja. Bijna alle software ter wereld is gebouwd op symbolen. En dan moet je zeggen, empirisch, doet het diepgaande leermateriaal wat we willen dat het doet? En het probleem tot nu toe is dat het modelvrij is geweest. Vicarious [een AI-aangedreven industriële robotica startup] had een geweldige demonstratie van een Atari-game-leersysteem dat DeepMind erg populair maakte, waar het Breakout op een bovenmenselijk niveau leerde spelen. Maar toen bewoog Vicarious de paddle een paar pixels en het hele ding viel uit elkaar, omdat het leerniveau veel te oppervlakkig was. Het had geen concept van een peddel, een bal, een set stenen. Een symbolisch algoritme voor Breakout zou die dingen heel gemakkelijk kunnen compenseren.

De reden om naar mensen te kijken is omdat er bepaalde dingen zijn die mensen veel beter kunnen dan systemen voor diep leren. Dat betekent niet dat mensen uiteindelijk het juiste model zullen zijn. We willen systemen met eigenschappen van computers en eigenschappen die van mensen zijn geleend. We willen niet dat onze AI-systemen een slecht geheugen hebben, alleen maar omdat mensen dat hebben. Maar aangezien mensen het enige model van een systeem zijn dat een diep begrip van iets kan ontwikkelen - letterlijk het enige model dat we hebben - moeten we dat model serieus nemen.

DL: Ja, dus het voorbeeld dat de programmeertalen van de wereld symbolisch zijn gebaseerd - dat is waar omdat ze zijn ontworpen voor mensen om hun ideeën en gedachten te implementeren.

Deep learning is geen replica van het menselijk brein. Misschien kun je zeggen dat het geïnspireerd is door de neurale wereld, maar het is een stukje software. We zijn nog niet echt diep gegaan met deep learning. We hebben tot nu toe een beperkte hoeveelheid trainingsgegevens gehad. We hebben beperkte structuren gehad met beperkte rekenkracht. Maar het belangrijkste punt is dat deep learning het concept leert, het leert de functies. Het is niet iets dat door mensen is ontworpen. Ik denk dat het grote verschil tussen Gary's benadering en mijn benadering is of de menselijke ingenieurs intelligentie aan het systeem geven of dat het systeem zelf intelligentie leert.

Danny, je zei dat we het potentieel van deep learning nog niet volledig hebben gezien vanwege beperkingen in gegevens en rekenkracht. Moeten we geen nieuwe technieken ontwikkelen, aangezien deep learning zo inefficiënt is? We hebben de rekenkracht drastisch moeten verhogen om nieuwe vaardigheden voor diep leren te ontgrendelen.

DL: Een van de problemen met deep learning is dat het tot nu toe echt gebaseerd is geweest op een soort klassieke benadering: je genereert een grote set trainingsgegevens en die voer je vervolgens in. Een ding dat deep learning echt zou kunnen verbeteren, is het hebben van een actieve leerproces waarbij het netwerk wordt getraind om de trainingsgegevens te optimaliseren. Je hoeft niet zomaar een geestdodende hoeveelheid data in te voeren om het leerproces te verbeteren. U kunt uw trainingsgegevens voortdurend afstemmen op een specifiek gebied.

Gary, je wijst op de kwetsbaarheden van deep learning om: vooroordeel en naar vijandige aanvallen . Danny, je zei dat synthetische data hiervoor een oplossing is omdat er geen vooringenomenheid is en je miljoenen simulaties kunt uitvoeren die vermoedelijk vijandige kwetsbaarheden wegwerken. Wat zijn elk van uw antwoorden daarop?

GM: Data alleen is nog geen oplossing. Synthetische gegevens zullen niet helpen bij zaken als vooroordelen in leningen of vooroordelen in sollicitatiegesprekken. Het echte probleem is dat deze systemen de neiging hebben om vooroordelen die er om historische redenen waren, in stand te houden. Het is niet duidelijk dat synthetische data de oplossing is, in tegenstelling tot het bouwen van systemen die geavanceerd genoeg zijn om de culturele vooroordelen te begrijpen die we proberen te vervangen.

Tegengestelde aanvallen zijn iets anders. Gegevens kunnen bij sommige ervan helpen, maar tot nu toe hebben we de vele verschillende soorten vijandige aanvallen niet echt geëlimineerd. Ik liet je de honkbal zien met schuim erop en wordt beschreven als espresso. Als iemand van tevoren denkt honkballen te maken met espresso in simulatie en die zorgvuldig te labelen, prima. Er zullen altijd gevallen zijn waar niemand aan heeft gedacht. Een systeem dat puur datagestuurd is, blijft kwetsbaar.

DL: Gegevens uit de echte wereld zijn erg bevooroordeeld, wat u ook doet. Je verzamelt gegevens in een bepaalde omgeving, bijvoorbeeld voor zelfrijdende voertuigen, en je hebt een vertegenwoordiging van misschien 90% volwassenen en 10% kinderen op straat. Dat is de normale verdeling. Maar een machine-learningsysteem moet op gelijke hoeveelheden volwassenen en kinderen trainen om veilig te voorkomen dat ze een van hen raken. Dus met synthetische gegevens ben je in principe in staat om je evenwicht te bewaren en de vooringenomenheid te vermijden als je voorzichtig bent. Dat betekent niet dat je geen nieuwe vooroordelen kunt creëren. Daar moet je voor oppassen. Je lost zeker privacyproblemen op, want er zijn geen echte mensen of echte kinderen in je trainingsgegevens.

Wat betreft tegenstrijdige voorbeelden, het probleem met veel daarvan is dat ze in feite worden ontwikkeld tegen zwakke computervisiemodellen - modellen die zijn getraind op 10 of 20 miljoen afbeeldingen, bijvoorbeeld van ImageNet. Dat is verre van voldoende gegevens om een ​​model daadwerkelijk te generaliseren. We hebben grote hoeveelheden datasets nodig met ongelooflijke hoeveelheden domeinrandomisatie om deze computervisiemodellen te generaliseren, zodat ze niet voor de gek worden gehouden.

Waar ben je het meest enthousiast over voor de toekomst van AI?

GM: Er is het afgelopen jaar een echte beweging in de richting van hybride modellen geweest. Mensen ontdekken nieuwe dingen die ze nog niet eerder hebben gedaan, en dat is opwindend.

DL: Ik denk dat het echt multi-modelsystemen zijn - systemen die zijn samengesteld uit veel verschillende modellen voor perceptie en gedrag samen om echt complexe taken op te lossen.

zich verstoppen