AI-pionier Geoff Hinton: Deep learning gaat alles kunnen

Noah Berger/AP

• Over de hiaten in het AI-veld: 'Er zullen nogal wat conceptuele doorbraken moeten komen... we hebben ook een enorme schaalvergroting nodig.'
• Over de zwakke punten van neurale netwerken: 'Neurale netwerken kunnen verrassend goed om met een vrij kleine hoeveelheid data, met een enorm aantal parameters, maar mensen zijn nog beter.'
• Over hoe onze hersenen werken: 'Wat zich in de hersenen bevindt, zijn deze grote vectoren van neurale activiteit.'

De moderne AI-revolutie begon tijdens een obscure onderzoekswedstrijd. Het was 2012, het derde jaar van de jaarlijkse ImageNet-competitie, die teams uitdaagde om computervisiesystemen te bouwen die 1000 objecten zouden herkennen, van dieren tot landschappen tot mensen.

In de eerste twee jaar waren de beste teams er niet in geslaagd om zelfs 75% nauwkeurigheid te bereiken. Maar in de derde blies een groep van drie onderzoekers - een professor en zijn studenten - plotseling langs dit plafond. Ze wonnen de wedstrijd met maar liefst 10,8 procentpunten. Die professor was Geoffrey Hinton, en de techniek die ze gebruikten heette deep learning.

Hinton werkte al sinds de jaren tachtig met deep learning, maar de effectiviteit ervan was beperkt door een gebrek aan gegevens en rekenkracht. Zijn standvastige geloof in de techniek heeft uiteindelijk enorme vruchten afgeworpen. In het vierde jaar van de ImageNet-competitie gebruikte bijna elk team deep learning en behaalde het wonderbaarlijke nauwkeurigheidswinsten. Al snel werd deep learning toegepast op taken die verder gaan dan beeldherkenning, en ook binnen een breed scala van industrieën.

Vorig jaar ontving Hinton voor zijn fundamentele bijdragen aan het veld de Turing Award, samen met andere AI-pioniers Yann LeCun en Yoshua Bengio. Op 20 oktober sprak ik met hem op de jaarlijkse EmTech MIT-conferentie van MIT Technology Review over de stand van zaken en waar hij denkt dat het de volgende keer moet zijn.

Het volgende is voor de duidelijkheid bewerkt en ingekort.

Je denkt dat deep learning voldoende zal zijn om alle menselijke intelligentie na te bootsen. waarom ben je er zo zeker van?

Ik geloof echt dat deep learning alles zal kunnen doen, maar ik denk wel dat er nogal wat conceptuele doorbraken zullen moeten zijn. Bijvoorbeeld in 2017 Ashish Vaswani et al . geïntroduceerd transformatoren , die echt goede vectoren afleiden die woordbetekenissen vertegenwoordigen. Het was een conceptuele doorbraak. Het wordt nu gebruikt in bijna de allerbeste natuurlijke taalverwerking. We zullen nog veel meer van dit soort doorbraken nodig hebben.

En als we die doorbraken hebben, zullen we dan in staat zijn om alle menselijke intelligentie te benaderen door middel van diepgaand leren?

Ja. Vooral doorbraken die te maken hebben met hoe je grote vectoren van neurale activiteit krijgt om dingen als rede te implementeren. Maar we hebben ook een enorme schaalvergroting nodig. Het menselijk brein heeft ongeveer 100 biljoen parameters, of synapsen. Wat we nu een heel groot model noemen, zoals GPT-3 , heeft 175 miljard. Het is duizend keer kleiner dan de hersenen. GPT-3 kan nu behoorlijk plausibel ogende tekst genereren, en het is nog steeds klein in vergelijking met de hersenen.

Als je schaal zegt, bedoel je dan grotere neurale netwerken, meer gegevens of beide?

Beide. Er is een soort discrepantie tussen wat er in de informatica gebeurt en wat er met mensen gebeurt. Mensen hebben een enorme hoeveelheid parameters in vergelijking met de hoeveelheid gegevens die ze krijgen. Neurale netten zijn verrassend goed in het omgaan met een vrij kleine hoeveelheid gegevens, met een groot aantal parameters, maar mensen zijn nog beter.

Veel mensen in het veld geloven dat gezond verstand het volgende grote vermogen is om aan te pakken. Bent u het eens?

Ik ben het ermee eens dat dat een van de zeer belangrijke dingen is. Ik denk ook dat motorische controle erg belangrijk is, en diepe neurale netwerken worden daar nu goed in. Met name recent werk bij Google heeft aangetoond dat je fijne motoriek kunt controleren en dat kunt combineren met taal, zodat je een la kunt openen en een blok kunt verwijderen, en het systeem kan je in natuurlijke taal vertellen wat het doet.

Voor zaken als GPT-3, dat deze prachtige tekst genereert, is het duidelijk dat het veel moet begrijpen om die tekst te genereren, maar het is niet helemaal duidelijk hoeveel het begrijpt. Maar als iets de la opent en er een blok uit haalt en zegt: ik heb net een la geopend en er een blok uit gehaald, dan is het moeilijk te zeggen dat het niet begrijpt wat het doet.

Het AI-veld heeft altijd naar het menselijk brein gekeken als zijn grootste inspiratiebron, en verschillende benaderingen van AI zijn voortgekomen uit verschillende theorieën in de cognitieve wetenschap. Gelooft u dat het brein werkelijk representaties van de buitenwereld bouwt om het te begrijpen, of is dat slechts een nuttige manier om erover na te denken?

Lang geleden was er in de cognitieve wetenschap een debat tussen twee stromingen. Een daarvan werd geleid door Stephen Kosslyn, en hij geloofde dat wanneer je visuele beelden in je geest manipuleert, je een reeks pixels hebt en je ze rondbeweegt. De andere denkrichting was meer in lijn met conventionele AI. Er stond: Nee, nee, dat is onzin. Het zijn hiërarchische, structurele beschrijvingen. Je hebt een symbolische structuur in je hoofd, en dat is wat je manipuleert.

Ik denk dat ze allebei dezelfde fout maakten. Kosslyn dacht dat we pixels manipuleerden omdat externe afbeeldingen van pixels zijn gemaakt, en dat is een weergave die we begrijpen. Het symbool waarvan mensen dachten dat we symbolen manipuleerden omdat we dingen ook in symbolen vertegenwoordigen, en dat is een weergave die we begrijpen. Ik vind dat net zo fout. Wat zich in de hersenen bevindt, zijn deze grote vectoren van neurale activiteit.

Er zijn mensen die nog steeds geloven dat symbolische representatie een van de benaderingen is voor AI.

Absoluut. Ik heb goede vrienden zoals Hector Levesque, die echt gelooft in de symbolische benadering en daarin geweldig werk heeft verricht. Ik ben het niet met hem eens, maar de symbolische benadering is heel redelijk om te proberen. Maar mijn gok is dat we ons uiteindelijk zullen realiseren dat symbolen gewoon in de buitenwereld bestaan, en we doen interne operaties op grote vectoren.

Wat is volgens u uw meest tegendraadse kijk op de toekomst van AI?

Nou, mijn probleem is dat ik deze tegendraadse opvattingen heb en vijf jaar later zijn ze mainstream. De meeste van mijn tegendraadse opvattingen uit de jaren tachtig worden nu min of meer algemeen aanvaard. Het is nu best moeilijk om mensen te vinden die het niet met hen eens zijn. Dus ja, ik ben een beetje ondermijnd in mijn tegendraadse opvattingen.

zich verstoppen