Geoffrey Hinton heeft een voorgevoel over wat de toekomst biedt voor AI

Kiel Mutschelknaus

In november had de computerwetenschapper en cognitief psycholoog Geoffrey Hinton een vermoeden. Na een halve eeuw aan pogingen - sommige enorm succesvol - was hij tot een ander veelbelovend inzicht gekomen in hoe de hersenen werken en hoe de circuits ervan in een computer kunnen worden gerepliceerd.

Het is mijn huidige beste gok over hoe dingen in elkaar passen, zegt Hinton vanuit zijn thuiskantoor in Toronto, waar hij tijdens de pandemie is afgezonderd. Als zijn inzet loont, kan dit de aanzet geven tot de volgende generatie kunstmatige neurale netwerken: wiskundige computersystemen, losjes geïnspireerd door de neuronen en synapsen van de hersenen, die de kern vormen van de hedendaagse kunstmatige intelligentie. Zijn eerlijke drijfveer, zoals hij het uitdrukt, is nieuwsgierigheid. Maar de praktische motivatie - en idealiter het gevolg - is betrouwbaarder en betrouwbaarder AI.

Hinton, een Google-engineer en medeoprichter van het Vector Institute for Artificial Intelligence, schreef zijn voorgevoel met horten en stoten op, en eind februari aangekondigd via Twitter dat hij een had gepost 44 pagina's tellend papier op de arXiv preprint-server. Hij begon met een disclaimer: dit artikel beschrijft geen werkend systeem, schreef hij. Het presenteert eerder een denkbeeldig systeem. Hij noemde het, GLOM. De term is afgeleid van agglomeraat en de uitdrukking glom samen.

Hinton beschouwt GLOM als een manier om de menselijke waarneming in een machine te modelleren - het biedt een nieuwe manier om visuele informatie in een neuraal netwerk te verwerken en weer te geven. Op technisch niveau houdt het lef ervan een samensmelting van vergelijkbare vectoren in. Vectoren zijn fundamenteel voor neurale netwerken - een vector is een reeks getallen die informatie codeert. Het eenvoudigste voorbeeld is de xyz coördinaten van een punt - drie getallen die aangeven waar het punt zich in de driedimensionale ruimte bevindt. Een zesdimensionale vector bevat nog drie stukjes informatie, misschien de rood-groen-blauwe waarden voor de kleur van het punt. In een neuraal net vertegenwoordigen vectoren in honderden of duizenden dimensies hele afbeeldingen of woorden. En handelend in nog hogere dimensies, gelooft Hinton dat wat er in onze hersenen gebeurt, grote vectoren van neurale activiteit omvat.

Bij wijze van analogie vergelijkt Hinton zijn samensmelten van vergelijkbare vectoren met de dynamiek van een echokamer - de versterking van vergelijkbare overtuigingen. Een echokamer is een complete ramp voor politiek en samenleving, maar voor neurale netwerken is het geweldig, zegt Hinton. Het idee van echokamers die in kaart zijn gebracht op neurale netwerken, noemt hij eilanden van identieke vectoren, of meer informeel, eilanden van overeenstemming - wanneer vectoren het eens zijn over de aard van hun informatie, wijzen ze in dezelfde richting.

Als neurale netwerken meer op mensen zouden lijken, kunnen ze in ieder geval op dezelfde manier fout gaan als mensen, en dus zullen we enig inzicht krijgen in wat hen zou kunnen verwarren.

Geoffrey Hinton

In de geest bereikt GLOM ook het ongrijpbare doel van het modelleren van intuïtie - Hinton beschouwt intuïtie als cruciaal voor perceptie. Hij definieert intuïtie als ons vermogen om moeiteloos analogieën te maken. Van kinds af aan in de loop van ons leven begrijpen we de wereld door analoog te redeneren, overeenkomsten van het ene object of idee of concept naar het andere in kaart te brengen - of, zoals Hinton het uitdrukt, de ene grote vector naar de andere. Overeenkomsten van grote vectoren verklaren hoe neurale netwerken intuïtief analoog redeneren, zegt hij. Meer in het algemeen legt intuïtie de onuitsprekelijke manier vast waarop een menselijk brein inzicht genereert. Hinton werkt zelf heel intuïtief - wetenschappelijk wordt hij geleid door intuïtie en het instrument van het maken van analogieën. En zijn theorie over hoe de hersenen werken, gaat helemaal over intuïtie. Ik ben heel consequent, zegt hij.

Hinton hoopt dat GLOM een van de vele doorbraken kan zijn die volgens hem nodig zijn voordat AI in staat is om echt wendbare problemen op te lossen - het soort mensachtig denken dat een systeem in staat zou stellen dingen te begrijpen die nog nooit eerder zijn tegengekomen; putten uit overeenkomsten uit ervaringen uit het verleden, spelen met ideeën, generaliseren, extrapoleren, begrijpen. Als neurale netwerken meer op mensen zouden lijken, zegt hij, kunnen ze in ieder geval op dezelfde manier fout gaan als mensen, en dus zullen we enig inzicht krijgen in wat hen zou kunnen verwarren.

Voorlopig is GLOM zelf echter slechts een intuïtie - het is vaporware, zegt Hinton. En hij erkent dat als een acroniem mooi overeenkomt, Geoff's Last Original Model. Het is in ieder geval zijn nieuwste.

Buiten de doos

Hintons toewijding aan kunstmatige neurale netwerken (een uitvinding uit het midden van de 20e eeuw) dateert uit het begin van de jaren zeventig. In 1986 had hij aanzienlijke vooruitgang geboekt: terwijl netten aanvankelijk slechts uit een paar neuronenlagen bestonden, input en output, kwamen Hinton en zijn medewerkers met een techniek voor een dieper, meerlagig netwerk. Maar het duurde 26 jaar voordat de rekenkracht en datacapaciteit de diepe architectuur inhaalden en benutten.

In 2012 verwierf Hinton roem en rijkdom door een doorbraak in diep leren. Met twee studenten implementeerde hij een meerlagig neuraal netwerk dat was getraind om objecten in enorme beelddatasets te herkennen. Het neurale net leerde iteratief te verbeteren in het classificeren en identificeren van verschillende objecten, bijvoorbeeld een mijt, een paddenstoel, een scooter, een kat uit Madagaskar. En het presteerde met onverwacht spectaculaire nauwkeurigheid.

Verwant verhaal

Rijdt AI op een one-trick pony? Zowat elke AI-vooruitgang waarvan je hebt gehoord, hangt af van een doorbraak die drie decennia oud is. Om het tempo van de vooruitgang bij te houden, moeten de ernstige beperkingen van AI worden aangepakt.

Deep learning zette de nieuwste AI-revolutie in gang en transformeerde de computervisie en het veld als geheel. Hinton gelooft diep leren zou bijna alles moeten zijn wat nodig is menselijke intelligentie volledig na te bootsen.

Maar ondanks de snelle vooruitgang zijn er nog grote uitdagingen. Stel een neuraal netwerk bloot aan een onbekende dataset of een vreemde omgeving, en het blijkt broos en inflexibel te zijn. Zelfrijdende auto's en generatoren voor het schrijven van essays maken indruk, maar het kan mis gaan. Visuele AI-systemen kunnen gemakkelijk worden verward: een koffiemok die vanaf de zijkant wordt herkend, zou van bovenaf een onbekende zijn als het systeem niet op dat uitzicht was getraind; en met de manipulatie van een paar pixels kan een panda worden aangezien voor een struisvogel of zelfs een schoolbus.

GLOM pakt twee van de moeilijkste problemen voor visuele waarnemingssystemen aan: het begrijpen van een hele scène in termen van objecten en hun natuurlijke onderdelen; en objecten herkennen wanneer ze vanuit een nieuw gezichtspunt worden bekeken. (GLOM's focus ligt op visie, maar Hinton verwacht dat het idee ook op taal kan worden toegepast.)

Een object als Hintons gezicht bestaat bijvoorbeeld uit zijn levendige, als hond vermoeide ogen (te veel mensen die vragen stellen; te weinig slaap), zijn mond en oren, en een prominente neus, allemaal bekroond door een niet al te -slordige warboel van meestal grijs. En gezien zijn neus is hij gemakkelijk te herkennen, zelfs op het eerste gezicht in profielweergave.

Beide factoren - de gedeeltelijke-geheel-relatie en het gezichtspunt - zijn, vanuit het perspectief van Hinton, cruciaal voor hoe mensen zien. Als GLOM ooit werkt, zegt hij, zal het perceptie doen op een manier die veel menselijker is dan de huidige neurale netwerken.

Het groeperen van delen in gehelen kan echter een moeilijk probleem zijn voor computers, omdat delen soms dubbelzinnig zijn. Een cirkel kan een oog zijn, of een donut, of een wiel. Zoals Hinton het uitlegt, probeerde de eerste generatie AI-visiesystemen objecten te herkennen door voornamelijk te vertrouwen op de geometrie van de deel-geheel-relatie - de ruimtelijke oriëntatie tussen de delen en tussen de delen en het geheel. De tweede generatie vertrouwde in plaats daarvan voornamelijk op deep learning, waarbij het neurale net werd getraind op grote hoeveelheden gegevens. Met GLOM combineert Hinton de beste aspecten van beide benaderingen.

Er is een zekere intellectuele nederigheid die ik leuk vind, zegt Gary Marcus, oprichter en CEO van Robust.AI en een bekende criticus van het grote vertrouwen op deep learning. Marcus bewondert Hintons bereidheid om iets uit te dagen dat hem beroemd heeft gemaakt, om toe te geven dat het niet helemaal werkt. Het is moedig, zegt hij. En het is een geweldige correctie om te zeggen: 'Ik probeer buiten de kaders te denken.'

De GLOM-architectuur

In GLOM maken , probeerde Hinton enkele van de mentale snelkoppelingen te modelleren - intuïtieve strategieën of heuristieken - die mensen gebruiken om de wereld te begrijpen. GLOM, en inderdaad veel van Geoffs werk, gaat over het kijken naar heuristieken die mensen lijken te hebben, het bouwen van neurale netwerken die zelf die heuristieken zouden kunnen hebben, en vervolgens laten zien dat de netten daardoor beter kunnen zien, zegt Nick Frosst, een computer wetenschapper bij een taalstartup in Toronto die met Hinton werkte bij Google Brain.

Bij visuele waarneming is een strategie om delen van een object te ontleden, zoals verschillende gelaatstrekken, en daardoor het geheel te begrijpen. Als je een bepaalde neus ziet, herken je die misschien als onderdeel van Hintons gezicht; het is een gedeeltelijke hiërarchie. Om een ​​beter zichtsysteem te bouwen, zegt Hinton, heb ik een sterke intuïtie dat we deel-geheel hiërarchieën moeten gebruiken. Menselijke hersenen begrijpen deze gedeeltelijke-geheel-compositie door het creëren van een zogenaamde ontledingsboom - een vertakkingsdiagram dat de hiërarchische relatie tussen het geheel, zijn delen en subdelen aantoont. Het gezicht zelf bevindt zich aan de top van de boom en de samenstellende ogen, neus, oren en mond vormen de takken eronder.

Een van de belangrijkste doelen van Hinton met GLOM is om de ontledingsboom in een neuraal net te repliceren - dit zou het onderscheiden van neurale netten die eerder waren. Om technische redenen is het moeilijk om te doen. Het is moeilijk omdat elk afzonderlijk beeld door een persoon zou worden geparseerd in een unieke ontledingsboom, dus we zouden willen dat een neuraal netwerk hetzelfde doet, zegt Frosst. Het is moeilijk om met een statische architectuur – een neuraal netwerk – iets te krijgen om een ​​nieuwe structuur aan te nemen – een ontledingsboom – voor elk nieuw beeld dat het ziet. Hinton heeft verschillende pogingen ondernomen. GLOM is een grote herziening van zijn eerdere poging in 2017, gecombineerd met andere gerelateerde ontwikkelingen in het veld.

Ik maak deel uit van een neus!

GLOM-vector

MS TECH | EVIATAR BACH VIA WIKIMEDIA

Een algemene manier van denken over de GLOM-architectuur is als volgt: de afbeelding van belang (bijvoorbeeld een foto van Hintons gezicht) is verdeeld in een raster. Elk gebied van het raster is een locatie op de afbeelding - de ene locatie kan de iris van een oog bevatten, terwijl een andere het puntje van zijn neus kan bevatten. Voor elke locatie in het net zijn er ongeveer vijf lagen, of niveaus. En niveau voor niveau doet het systeem een ​​voorspelling, met een vector die de inhoud of informatie weergeeft. Op een niveau in de buurt van de bodem zou de vector die de punt-van-de-neus-locatie vertegenwoordigt kunnen voorspellen: ik maak deel uit van een neus! En op het volgende niveau, bij het bouwen van een meer coherente weergave van wat hij ziet, kan de vector voorspellen: ik maak deel uit van een gezicht in een zijaanzicht!

Maar dan is de vraag, komen aangrenzende vectoren op hetzelfde niveau overeen? Als ze het met elkaar eens zijn, wijzen vectoren in dezelfde richting, in de richting van dezelfde conclusie: ja, we behoren allebei tot dezelfde neus. Of verder in de ontledingsboom. Ja, we behoren allebei tot hetzelfde gezicht.

Streven naar consensus over de aard van een object - over wat het object uiteindelijk precies is - GLOM's vectoren iteratief, locatie voor locatie en laag-op-laag, gemiddeld met aangrenzende vectoren ernaast, evenals voorspelde vectoren van niveaus boven en onder .

Het net is echter niet willekeurig gemiddeld met alles in de buurt, zegt Hinton. Het middelt selectief, met aangrenzende voorspellingen die overeenkomsten vertonen. Dit is een beetje bekend in Amerika, dit wordt een echokamer genoemd, zegt hij. Wat je doet, is dat je alleen meningen accepteert van mensen die het al met je eens zijn; en wat er dan gebeurt, is dat je een echokamer krijgt waar een hele hoop mensen precies dezelfde mening hebben. GLOM gebruikt dat eigenlijk op een constructieve manier. Het analoge fenomeen in het systeem van Hinton zijn die eilanden van overeenstemming.

Geoff is een hoogst ongebruikelijke denker...'

Sue Becker

Stel je een groep mensen voor in een kamer, die kleine variaties van hetzelfde idee schreeuwen, zegt Frosst, of stel je die mensen voor als vectoren die in kleine variaties in dezelfde richting wijzen. Na een tijdje zouden ze samenkomen op het ene idee, en ze zouden het allemaal sterker voelen, omdat ze het bevestigd hadden gekregen door de andere mensen om hen heen. Zo versterken en versterken de vectoren van GLOM hun collectieve voorspellingen over een afbeelding.

GLOM gebruikt deze eilanden van overeenstemmende vectoren om de truc te volbrengen om een ​​ontledingsboom in een neuraal net weer te geven. Terwijl sommige recente neurale netten overeenstemming tussen vectoren gebruiken voor: activering , GLOM gebruikt overeenkomst voor vertegenwoordiging — het opbouwen van representaties van dingen binnen het net. Wanneer bijvoorbeeld verschillende vectoren het erover eens zijn dat ze allemaal een deel van de neus vertegenwoordigen, vertegenwoordigt hun kleine cluster van overeenstemming samen de neus in de ontledingsboom van het net voor het gezicht. Een ander klein cluster van overeenstemmende vectoren zou de mond in de ontledingsboom kunnen voorstellen; en de grote cluster aan de top van de boom zou de opkomende conclusie vertegenwoordigen dat het beeld als geheel Hintons gezicht is. De manier waarop de ontledingsboom hier wordt weergegeven, legt Hinton uit, is dat je op objectniveau een groot eiland hebt; de delen van het object zijn kleinere eilanden; de subdelen zijn nog kleinere eilanden, enzovoort.

Figuur 2 van Hinton's GLOM-paper. De eilanden van identieke vectoren (pijlen van dezelfde kleur) op de verschillende niveaus vertegenwoordigen een ontledingsboom.

GEOFFREY HINTON

Volgens Hintons oude vriend en medewerker Yoshua Bengio, een computerwetenschapper aan de Universiteit van Montreal, zou het een prestatie zijn als GLOM erin slaagt om de technische uitdaging op te lossen om een ​​parse-boom in een neuraal net weer te geven. waardoor neurale netwerken goed werken. Geoff heeft in zijn carrière vele malen verbazingwekkend krachtige intuïties voortgebracht, waarvan vele juist zijn gebleken, zegt Bengio. Daarom besteed ik aandacht aan hen, vooral wanneer hij net zo sterk voor hen is als voor GLOM.

De kracht van Hintons overtuiging is niet alleen geworteld in de analogie van de echokamer, maar ook in wiskundige en biologische analogieën die enkele van de ontwerpbeslissingen in de nieuwe engineering van GLOM hebben geïnspireerd en gerechtvaardigd.

Geoff is een hoogst ongebruikelijke denker omdat hij in staat is om complexe wiskundige concepten te gebruiken en deze te integreren met biologische beperkingen om theorieën te ontwikkelen, zegt Sue Becker, een voormalig student van Hinton en nu een computationeel cognitief neurowetenschapper aan de McMaster University. Onderzoekers die nauwer zijn gefocust op de wiskundige theorie of de neurobiologie, zullen veel minder snel de oneindig boeiende puzzel oplossen van hoe zowel machines als mensen kunnen leren en denken.

Filosofie omzetten in techniek

Tot nu toe is het nieuwe idee van Hinton goed ontvangen, vooral in enkele van 's werelds grootste echokamers. Op Twitter kreeg ik veel likes, zegt hij. En een Youtube tutorial claimde de term MeGLOMania.

Hinton is de eerste om toe te geven dat GLOM momenteel niet veel meer is dan filosofisch mijmeren (hij heeft een jaar filosofie gestudeerd voordat hij overstapte naar experimentele psychologie). Als een idee goed klinkt in de filosofie, is het goed, zegt hij. Hoe zou je ooit een filosofisch idee kunnen hebben dat gewoon onzin klinkt, maar eigenlijk waar blijkt te zijn? Dat zou niet doorgaan als een filosofisch idee. De wetenschap daarentegen zit vol met dingen die klinken als complete onzin, maar die opmerkelijk goed blijken te werken, bijvoorbeeld neurale netwerken, zegt hij.

GLOM is ontworpen om filosofisch aannemelijk te klinken. Maar zal het werken?

Chris Williams, een professor in machine learning aan de School of Informatics aan de Universiteit van Edinburgh, verwacht dat GLOM wel eens grote innovaties zou kunnen voortbrengen. Wat AI echter onderscheidt van filosofie, zegt hij, is dat we computers kunnen gebruiken om dergelijke theorieën te testen. Het is mogelijk dat door dergelijke experimenten een fout in het idee aan het licht komt - misschien ook gerepareerd -, zegt hij. Op dit moment denk ik dat we niet genoeg bewijs hebben om de echte betekenis van het idee te beoordelen, hoewel ik geloof dat het veel belooft.

De invoer van het GLOM-testmodel zijn tien ellipsen die een schaap of een gezicht vormen.

LAURA CULP

Sommige collega's van Hinton bij Google Research in Toronto bevinden zich in de zeer vroege stadia van experimenteel onderzoek naar GLOM. Laura Culp, een software-ingenieur die nieuwe neurale net-architecturen implementeert, gebruikt een computersimulatie om te testen of GLOM Hintons eilanden van overeenstemming kan produceren om delen en gehelen van een object te begrijpen, zelfs als de invoerdelen dubbelzinnig zijn. In de experimenten zijn de onderdelen 10 ellipsen, ovalen van verschillende groottes, die kunnen worden gerangschikt om ofwel een gezicht of een schaap te vormen.

Met willekeurige invoer van de ene of de andere ellips moet het model voorspellingen kunnen doen, zegt Culp, en omgaan met de onzekerheid of de ellips al dan niet deel uitmaakt van een gezicht of een schaap, en of het de poot van een schaap is , of het hoofd van een schaap. Geconfronteerd met eventuele verstoringen, moet het model zichzelf ook kunnen corrigeren. Een volgende stap is het vaststellen van een baseline, die aangeeft of een standaard deep-learning neuraal netwerk door zo'n taak in de war zou raken. Tot nu toe staat GLOM onder streng toezicht - Culp creëert en labelt de gegevens, en zet het model onder druk om correcte voorspellingen te vinden en in de loop van de tijd te slagen. (De versie zonder toezicht heet GLUM - het is een grap, zegt Hinton.)

In deze voorlopige staat is het te vroeg om grote conclusies te trekken. Culp wacht op meer cijfers. Hinton is toch al onder de indruk. Een eenvoudige versie van GLOM kan naar 10 ellipsen kijken en een gezicht en een schaap zien op basis van de ruimtelijke relaties tussen de ellipsen, zegt hij. Dit is lastig, omdat een individuele ellips niets zegt over tot welk type object het behoort of welk deel van dat object het is.

En over het algemeen is Hinton blij met de feedback. Ik wilde het gewoon voor de gemeenschap plaatsen, zodat iedereen die het leuk vindt het kan uitproberen, zegt hij. Of probeer een subcombinatie van deze ideeën. En dat zal filosofie in wetenschap veranderen.

zich verstoppen