211service.com
Waarom mensen sneller leren dan AI - voorlopig
In 2013 publiceerde DeepMind Technologies, toen nog een weinig bekend bedrijf, een baanbrekende paper die laat zien hoe een neuraal netwerk zou kunnen leer videogames uit de jaren 80 spelen zoals mensen dat doen — door naar het scherm te kijken. Deze netwerken gingen vervolgens door met het verslaan van de beste menselijke spelers.
Een paar maanden later kocht Google het bedrijf voor $ 400 miljoen. DeepMind is sindsdien doorgegaan met het toepassen van deep learning in een reeks situaties, waarvan de meest bekende is dat het beter presteert dan mensen in het oude spel Go.
Maar hoewel dit werk indrukwekkend is, benadrukt het een van de belangrijke beperkingen van deep learning. In vergelijking met mensen hebben machines die deze technologie gebruiken enorm veel tijd nodig om te leren. Hoe zit het met menselijk leren dat ons in staat stelt zo goed te presteren met relatief weinig ervaring?
Vandaag krijgen we een soort antwoord dankzij het werk van Rachit Dubey en collega's van de University of California, Berkeley. Ze hebben de manier bestudeerd waarop mensen omgaan met videogames om erachter te komen op welke voorkennis we vertrouwen om ze te begrijpen.
Het blijkt dat mensen een schat aan achtergrondkennis gebruiken wanneer we een nieuw spel spelen. En dit maakt de spellen aanzienlijk gemakkelijker om te spelen. Maar geconfronteerd met games die geen gebruik maken van deze kennis, ploetert de mens, terwijl machines op precies dezelfde manier voortploeteren.
Bekijk het computerspel hierboven links (het originele spel). Deze game is gebaseerd op een klassieker genaamd Montezuma's Revenge, oorspronkelijk uitgebracht voor de Atari 8-bit-computer in 1984.
Er is geen handleiding en geen instructies; je wordt niet eens verteld welke sprite je bestuurt. En je krijgt alleen feedback als je het spel met succes voltooit.
Zou u daartoe in staat zijn? Hoe lang zou het duren? Jij kan probeer het op deze website (samen met de andere spellen die in de krant worden genoemd) .
Naar alle waarschijnlijkheid duurt het spel ongeveer een minuut, en in het proces zul je waarschijnlijk ongeveer 3.000 toetsenbordacties uitvoeren. Dat is wat Dubey en co ontdekten toen ze het spel gaven aan 40 werknemers van Amazon's crowdsourcing-site Mechanical Turk, die $ 1 kregen om het af te maken.
Dit is niet al te verrassend, aangezien je gemakkelijk zou kunnen raden dat het doel van het spel is om de robot-sprite naar de prinses te bewegen door op de steenachtige objecten te stappen en ladders te gebruiken om de hogere platforms te bereiken terwijl je de boze roze en de vuurobjecten ontwijkt, de zeggen onderzoekers.
Het spel daarentegen is moeilijk voor machines: veel standaard deep-learning-algoritmen konden het helemaal niet oplossen, omdat er geen manier is voor een algoritme om de voortgang in het spel te evalueren wanneer feedback alleen afkomstig is van de afwerking.
De beste machine-uitvoerder was een op nieuwsgierigheid gebaseerd algoritme voor het leren van versterkingen dat zo'n vier miljoen toetsenbordacties kostte om het spel te voltooien. Dat komt overeen met ongeveer 37 uur continu spelen.
Dus wat maakt mensen zo veel beter? Het blijkt dat we dit spel niet met een schone lei benaderen. Een mens zal zien dat hij of zij de robot onder controle heeft en dat de robot vuur moet vermijden, ladders moet beklimmen, over gaten moet springen en een fronsende vijand moet vermijden om de prinses te bereiken. Dit alles dankzij voorkennis dat bepaalde objecten goed zijn en andere (met fronsen of vlammen) slecht, dat platforms objecten ondersteunen terwijl ladders kunnen worden beklommen, dat dingen die er hetzelfde uitzien zich op dezelfde manier gedragen, dat zwaartekracht objecten naar beneden trekt , en zelfs wat objecten zijn: dingen die los staan van andere dingen en verschillende eigenschappen hebben.
Een machine daarentegen weet hier niets van.
Dus Dubey en co hebben het spel opnieuw ontworpen om deze eerdere informatie irrelevant te maken en hebben vervolgens gemeten hoe lang het duurde voordat menselijke Turkers klaar waren. Het team ging er toen van uit dat elke verhoging van deze tijd een indicatie is voor het belang van die informatie.
We hebben verschillende versies van de videogame gemaakt door verschillende entiteiten zoals ladders, vijanden, sleutels, platforms enz. opnieuw te renderen met behulp van alternatieve texturen, leggen ze uit. Ze kozen deze texturen om verschillende vormen van voorkennis te maskeren, en ze veranderden de fysieke eigenschappen van het spel, zoals het effect van de zwaartekracht en de manier waarop de agent omgaat met zijn omgeving. In elke versie was de onderliggende dynamiek van het spel hetzelfde.
De resultaten zorgen voor boeiende lectuur. We merken dat het verwijderen van enige voorkennis een drastische verslechtering veroorzaakt van de snelheid waarmee menselijke spelers het spel oplossen, zeggen Dubey en co. De tijd die mensen nodig hebben om het spel op te lossen, neemt toe van een minuut tot meer dan 20 minuten omdat verschillende soorten voorafgaande informatie worden verwijderd.
Daarentegen maakt het verwijderen van deze informatie meestal geen verschil voor de snelheid waarmee het machine-algoritme leert.
Het team is zelfs in staat om verschillende soorten informatie in belangrijkheid te rangschikken door de toename in tijd die het verwijderen ervan veroorzaakt. Het verwijderen van objectsemantiek, zoals een fronsend gezicht of vuursymbool, vereist dat menselijke spelers meer tijd besteden voordat ze klaar zijn. Maar het maskeren van het concept object maakt het zo veel moeilijker dat veel Turkers gewoon weigerden te spelen. We moesten het loon verhogen tot $ 2,25 om deelnemers aan te moedigen niet te stoppen, zeggen Dubey en co.
Deze ranglijst heeft een interessante link naar de manier waarop mensen leren. Psychologen hebben ontdekt dat baby's van twee maanden oud een primitief idee hebben van objecten waarvan ze verwachten dat ze bewegen als verbonden gehelen. Maar op deze leeftijd herkennen baby's geen objectcategorieën.
Op de leeftijd van drie tot vijf maanden leren baby's objectcategorieën herkennen; met 18 tot 24 maanden leren ze individuele objecten te herkennen. Rond deze tijd leren ze ook de eigenschappen van objecten (objectafwegingen, zoals psychologen ze noemen), en zo leren ze het verschil tussen een beloopbare stap over vlakke grond en een onbeloopbare stap van een klif.
Het blijkt dat de experimenten van Dubey en co dit soort geleerde informatie in precies dezelfde volgorde rangschikken als baby's het leren. Het is best interessant om op te merken dat de volgorde waarin baby's hun kennis vergroten overeenkomt met het belang van verschillende objectprioriteiten, zeggen ze.
Ons werk zet de eerste stappen in de richting van het kwantificeren van het belang van verschillende prioriteiten die mensen gebruiken bij het oplossen van videogames en om te begrijpen hoe voorkennis mensen goed maakt in dergelijke complexe taken, voegen ze eraan toe.
Dat suggereert een interessante weg vooruit voor computerwetenschappers die werken aan machine-intelligentie - om hun ladingen te programmeren met dezelfde basiskennis die mensen op jonge leeftijd oppikken. Op deze manier zouden machines in staat moeten zijn om mensen in te halen in hun leersnelheid, en misschien zelfs beter te presteren.
We zijn benieuwd naar de resultaten.
Referentie: arxiv.org/abs/1802.10217 : Onderzoek naar menselijke voorgangers voor het spelen van videogames