The GANfather: De man die machines de gave van verbeelding heeft gegeven

Christie There Klok

Op een avond in 2014 ging Ian Goodfellow drinken om het te vieren met een medepromovendus die net was afgestudeerd. Bij Les 3 Brasseurs (The Three Brewers), een favoriete drinkplaats in Montreal, vroegen enkele vrienden zijn hulp bij een netelig project waaraan ze werkten: een computer die zelf foto's kon maken.

Onderzoekers gebruikten al neurale netwerken, algoritmen die losjes zijn gemodelleerd op het web van neuronen in het menselijk brein, als generatieve modellen om zelf plausibele nieuwe gegevens te creëren. Maar de resultaten waren vaak niet erg goed: afbeeldingen van een computergegenereerd gezicht waren vaak wazig of bevatten fouten, zoals ontbrekende oren. Het plan dat de vrienden van Goodfellow voorstelden, was om een ​​complexe statistische analyse van de elementen waaruit een foto bestaat, te gebruiken om machines te helpen zelf met afbeeldingen te komen. Dit zou een enorme hoeveelheid rekenwerk hebben gekost, en Goodfellow vertelde hen dat het gewoon niet zou werken.

Dit verhaal maakte deel uit van ons nummer van maart 2018

• Zie de rest van het nummer
• Abonneren

Maar terwijl hij over het probleem nadacht over zijn bier, kwam hij op een idee. Wat als je twee neurale netwerken tegen elkaar uitzet? Zijn vrienden waren sceptisch, dus toen hij eenmaal thuis was, waar zijn vriendin al diep in slaap was, besloot hij het eens te proberen. Goodfellow codeerde tot in de vroege uurtjes en testte vervolgens zijn software. Het lukte de eerste keer.

Wat hij die avond uitvond, heet nu een GAN, of generatief adversarial netwerk. De techniek heeft geleid tot enorme opwinding op het gebied van machine learning en heeft de maker ervan veranderd in een AI-beroemdheid.

Christie There Klok

In de afgelopen jaren hebben AI-onderzoekers indrukwekkende vooruitgang geboekt met behulp van een techniek die deep learning wordt genoemd. Voorzie een deep-learning systeem van voldoende afbeeldingen en het leert bijvoorbeeld een voetganger te herkennen die op het punt staat een weg over te steken. Deze aanpak heeft dingen mogelijk gemaakt zoals zelfrijdende auto's en de gesprekstechnologie die Alexa, Siri en andere virtuele assistenten aandrijft.

Maar hoewel deep-learning AI's dingen kunnen leren herkennen, zijn ze niet goed in het creëren ervan. Het doel van GAN's is om machines iets te geven dat op verbeelding lijkt.

In de toekomst zullen computers veel beter worden in het smullen van onbewerkte gegevens en uitzoeken wat ze ervan moeten leren.

Dit zou hen niet alleen in staat stellen om mooie foto's te maken of muziek te componeren; het zou hen minder afhankelijk maken van mensen om hen te instrueren over de wereld en de manier waarop deze werkt. Tegenwoordig moeten AI-programmeurs een machine vaak precies vertellen wat er in de trainingsgegevens staat die ze krijgen: welke van een miljoen foto's bevatten een voetganger die een weg oversteekt en welke niet. Dit is niet alleen kostbaar en arbeidsintensief; het beperkt hoe goed het systeem omgaat met zelfs kleine afwijkingen van waar het op is getraind. In de toekomst zullen computers veel beter worden in het smullen van ruwe data en uitvinden wat ze ervan moeten leren zonder dat het hen verteld wordt.

Dat zal een grote sprong voorwaarts betekenen in wat in AI bekend staat als leren zonder toezicht. Een zelfrijdende auto kan zichzelf leren over veel verschillende wegomstandigheden zonder de garage te verlaten. Een robot kan anticiperen op de obstakels die hij kan tegenkomen in een druk magazijn zonder dat hij eromheen hoeft te worden genomen.

Dat zal een grote sprong voorwaarts betekenen in wat in AI bekend staat als unsupervised learning.

Ons vermogen om ons veel verschillende scenario's voor te stellen en erover na te denken, maakt deel uit van wat ons mens maakt. En als toekomstige technologische historici terugkijken, zullen ze GAN's waarschijnlijk zien als een grote stap in de richting van het creëren van machines met een menselijk bewustzijn. Yann LeCun, de belangrijkste AI-wetenschapper van Facebook, heeft GAN's de afgelopen 20 jaar het coolste idee in deep learning genoemd. Een andere AI-grootheid, Andrew Ng, de voormalige hoofdwetenschapper van het Chinese Baidu, zegt dat GAN's een belangrijke en fundamentele vooruitgang vertegenwoordigen die een groeiende wereldwijde gemeenschap van onderzoekers heeft geïnspireerd.

The GANfather, Part II: AI-vechtclub

Goodfellow is nu een onderzoekswetenschapper in het Google Brain-team, op het hoofdkantoor van het bedrijf in Mountain View, Californië. Toen ik hem daar onlangs ontmoette, leek hij nog steeds verrast door zijn supersterstatus, en noemde het een beetje surrealistisch. Misschien niet minder verrassend is dat hij, nadat hij zijn ontdekking heeft gedaan, nu een groot deel van zijn tijd besteedt aan het bestrijden van degenen die het voor kwade doeleinden willen gebruiken.

De magie van GAN's ligt in de rivaliteit tussen de twee neurale netwerken. Het bootst het heen en weer na tussen een fotovervalser en een kunstdetective die elkaar herhaaldelijk proberen te slim af te zijn. Beide netwerken zijn getraind op dezelfde dataset. De eerste, bekend als de generator, is belast met het produceren van kunstmatige outputs, zoals foto's of handschrift, die zo realistisch mogelijk zijn. De tweede, de discriminator, vergelijkt deze met echte afbeeldingen uit de originele dataset en probeert te bepalen welke echt en welke nep zijn. Op basis van die resultaten past de generator zijn parameters aan voor het maken van nieuwe afbeeldingen. En zo gaat het, totdat de discriminator niet langer kan zien wat echt en wat nep is.

Een GAN, getraind op foto's van echte beroemdheden, bedacht zijn eigen set denkbeeldige sterren. In de meeste gevallen zagen de vervalsingen er behoorlijk realistisch uit. Nvidia

In een wijdverbreid voorbeeld vorig jaar trainden onderzoekers van Nvidia, een chipbedrijf dat zwaar in AI heeft geïnvesteerd, een GAN om afbeeldingen van denkbeeldige beroemdheden te genereren door echte te bestuderen. Niet alle nepsterren die het produceerde waren perfect, maar sommige waren indrukwekkend realistisch. In tegenstelling tot andere machine learning-benaderingen die tienduizenden trainingsafbeeldingen vereisen, kunnen GAN's bekwaam worden met een paar honderd.

Verwant verhaal

Verwant verhaal

Deze verbeeldingskracht is nog beperkt. Als het eenmaal is getraind op veel hondenfoto's, kan een GAN een overtuigend nepbeeld genereren van een hond die bijvoorbeeld een ander vlekkenpatroon heeft; maar het kan zich geen geheel nieuw dier voorstellen. Ook de kwaliteit van de originele trainingsgegevens heeft een grote invloed op de resultaten. In een sprekend voorbeeld begon een GAN met het produceren van afbeeldingen van katten met willekeurige letters die in de afbeeldingen waren geïntegreerd. Omdat de trainingsgegevens kattenmemes van internet bevatten, had de machine zichzelf geleerd dat woorden deel uitmaakten van wat het betekende om een ​​kat te zijn.

GANS goed laten werken kan lastig zijn. Als er storingen zijn, kunnen de resultaten bizar zijn. Alec Radford

GAN's zijn ook temperamentvol, zegt Pedro Domingos, een machine learning-onderzoeker aan de Universiteit van Washington. Als de discriminator te gemakkelijk te misleiden is, ziet de output van de generator er niet realistisch uit. En het kalibreren van de twee duellerende neurale netten kan moeilijk zijn, wat verklaart waarom GAN's soms bizarre dingen uitspugen, zoals dieren met twee hoofden.

Toch hebben de uitdagingen onderzoekers niet afgeschrikt. Sinds Goodfellow en een paar anderen de eerste studie over zijn ontdekking publiceerden, zijn er in 2014 honderden GAN-gerelateerde artikelen geschreven. Een fan van de technologie heeft zelfs een webpagina gemaakt met de naam GAN Zoo, gewijd aan het bijhouden van de verschillende versies van de techniek die zijn ontwikkeld.

De meest voor de hand liggende directe toepassingen zijn in gebieden waar veel beeldmateriaal wordt gebruikt, zoals videogames en mode: hoe zou een gamepersonage er bijvoorbeeld uit kunnen zien als hij door de regen rent? Maar vooruitkijkend denkt Goodfellow dat GAN's voor grotere vooruitgang zullen zorgen. Er zijn veel gebieden van wetenschap en techniek waar we iets moeten optimaliseren, zegt hij, waarbij hij voorbeelden aanhaalt zoals medicijnen die effectiever moeten zijn of batterijen die efficiënter moeten worden. Dat wordt de volgende grote golf.

In de hoge-energiefysica gebruiken wetenschappers krachtige computers om de waarschijnlijke interacties van honderden subatomaire deeltjes in machines zoals de Large Hadron Collider bij CERN in Zwitserland te simuleren. Deze simulaties zijn traag en vereisen enorme rekenkracht. Onderzoekers van de Yale University en het Lawrence Berkeley National Laboratory hebben een GAN ontwikkeld die, na training op bestaande simulatiegegevens, leert om vrij nauwkeurige voorspellingen te genereren van hoe een bepaald deeltje zich zal gedragen, en dat veel sneller.

De creatie van Goodfellow kan worden gebruikt om allerlei dingen te bedenken, inclusief nieuwe interieurontwerpen. Ian Goodfellow

Medisch onderzoek is een ander veelbelovend gebied. Zorgen om privacy betekenen dat onderzoekers soms niet genoeg echte patiëntgegevens kunnen krijgen om bijvoorbeeld te analyseren waarom een ​​medicijn niet werkte. GAN's kunnen dit probleem helpen oplossen door neprecords te genereren die bijna net zo goed zijn als de echte, zegt Casey Greene van de University of Pennsylvania. Deze gegevens kunnen op grotere schaal worden gedeeld, wat het onderzoek ten goede komt, terwijl de echte gegevens goed worden beschermd.

The GANfather, Part III: Bad fellows

Er is echter een donkere kant. Een machine die is ontworpen om realistische vervalsingen te maken, is een perfect wapen voor verspreiders van nepnieuws die alles willen beïnvloeden, van aandelenkoersen tot verkiezingen. AI-tools worden al gebruikt om foto's van de gezichten van andere mensen op de lichamen van pornosterren te plaatsen en politici woorden in de mond te leggen. GAN's hebben dit probleem niet veroorzaakt, maar ze zullen het erger maken.

Hany Farid, die digitaal forensisch onderzoek studeert aan Dartmouth College, werkt aan betere manieren om nepvideo's op te sporen, zoals het detecteren van kleine veranderingen in de kleur van gezichten veroorzaakt door in- en uitademen die GAN's moeilijk precies kunnen nabootsen. Maar hij waarschuwt dat GAN's zich op hun beurt zullen aanpassen. We bevinden ons fundamenteel in een zwakke positie, zegt Farid.

Dit kat-en-muisspel speelt zich ook af op het gebied van cyberbeveiliging. Onderzoekers wijzen nu al op het risico van black box-aanvallen, waarbij GAN's worden gebruikt om de machine learning-modellen te achterhalen waarmee tal van beveiligingsprogramma's malware detecteren. Nadat hij heeft geraden hoe het algoritme van een verdediger werkt, kan een aanvaller het ontwijken en frauduleuze code invoegen. Dezelfde aanpak kan ook worden gebruikt om spamfilters en andere verdedigingsmiddelen te ontwijken.

Er zijn veel gebieden van wetenschap en techniek waar we iets moeten optimaliseren. Dat wordt de volgende grote golf.

Goodfellow is zich terdege bewust van de gevaren. Nu hij aan het hoofd staat van een team bij Google dat zich richt op het veiliger maken van machine learning, waarschuwt hij dat de AI-gemeenschap de les moet leren van eerdere innovatiegolven, waarin technologen beveiliging en privacy als een bijzaak beschouwden. Tegen de tijd dat ze wakker werden van de risico's, hadden de slechteriken een aanzienlijke voorsprong. Het is duidelijk dat we al voorbij het begin zijn, zegt hij, maar hopelijk kunnen we aanzienlijke vooruitgang boeken op het gebied van beveiliging voordat we te ver zijn.

Toch denkt hij niet dat er een puur technologische oplossing voor fakery zal zijn. In plaats daarvan gelooft hij dat we moeten vertrouwen op maatschappelijke, zoals het leren van kritisch denken aan kinderen door ze dingen als spraak- en debatlessen te laten volgen. In spraak en debat concurreer je met een andere student, zegt hij, en je denkt na over hoe je misleidende beweringen maakt, of hoe je correcte beweringen maakt die erg overtuigend zijn. Hij heeft misschien gelijk, maar zijn conclusie dat technologie het nepnieuwsprobleem niet kan oplossen, is niet een die velen zullen willen horen.

zich verstoppen