211service.com
Deze supercomputer zal proberen intelligentie te vinden op Reddit
Is het mogelijk dat het geheim van het bouwen van machine-intelligentie ligt in het eindeloos besteden van uren aan het lezen van Reddit?
Dat is een vraag waar een team van onderzoekers aan werkt OpenAI , een non-profitorganisatie die wordt ondersteund door verschillende beroemdheden uit Silicon Valley, hoopt te antwoorden met een nieuw soort supercomputer ontwikkeld door chipmaker Nvidia. De onderzoekers trainen ook robots om de afwas te doen door middel van experimenten, en ze bouwen algoritmen die in staat zijn om een breed scala aan verschillende computerspellen te leren spelen.
De nieuwe machine, een DGX-1 genaamd, is geoptimaliseerd voor de vorm van machine learning die bekend staat als deep learning, waarbij gegevens worden ingevoerd in een groot netwerk van grof gesimuleerde neuronen en heeft de afgelopen jaren geleid tot grote vooruitgang op het gebied van kunstmatige intelligentie. Met de DGX-1 kunnen AI-onderzoekers deep-learningsystemen sneller trainen met meer gegevens. Ter vergelijking: berekeningen die op een conventionele computer 250 uur zouden duren, nemen op de DGX-1 ongeveer 10 uur in beslag.
Nvidia's CEO, Jen-Hsun Huang, levert de eerste DGX-1 aan Elon Musk's OpenAI.
Bij OpenAI is de prestatieverbetering die met de nieuwe hardware is bereikt, het meest direct te zien in taalbegrip. De OpenAI-onderzoekers voeren berichtthreads van de populaire website Reddit door aan algoritmen die een probabilistisch begrip van het gesprek opbouwen. Als er genoeg voorbeelden worden gegeven, is het onderliggende taalmodel goed genoeg om zelf een gesprek te voeren, hopen de onderzoekers. En de hardware zal het mogelijk maken om veel meer tekstfragmenten in het model in te voeren en meer rekenkracht op het probleem toe te passen.
Andrej Karpathy , een onderzoeker bij OpenAI, zegt dat moderne technieken voor machine learning de neiging hebben om slimmer te worden naarmate ze groter worden. Deep learning is een heel speciale klasse van modellen, want als je de modellen opschaalt, werken ze altijd beter, zegt Karpathy in een video die vandaag door Nvidia is vrijgegeven.
Taal blijft een zeer lastig probleem voor kunstmatige intelligentie, maar de afgelopen jaren hebben onderzoekers vooruitgang geboekt bij het toepassen van deep learning op het probleem (zie AI's taalprobleem). Onderzoekers bij Google hebben bijvoorbeeld filmdialogen ingevoerd in een diepgaand leersysteem dat oorspronkelijk was ontworpen om vertalingen uit te voeren en vervolgens liet zien dat het een aantal vragen opmerkelijk goed kon beantwoorden.
De onderzoekers van OpenAI zijn ook van plan te onderzoeken of een robot taal kan leren gebruiken door interactie met mensen en de echte wereld. Dit onderzoek bevindt zich echter in een vroeg stadium en het zal gemakkelijker zijn om het werk met Reddit op te schalen. Karpathy zegt dat de modellen die op Reddit-gegevens zijn getraind, dankzij de nieuwe hardware van maanden conversatie tot jaren kunnen gaan.
Nvidia, dat grafische verwerkingseenheden voor gaming maakt, heeft geprofiteerd van de opkomst van diepgaand leren omdat de hardware goed geschikt is voor de vereiste parallelle berekeningen. In de afgelopen jaren heeft het bedrijf geprobeerd dit voordeel te benutten, en de DGX-1, ontwikkeld voor een bedrag van ongeveer $ 2 miljard, is in wezen een reeks grafische chips die is geoptimaliseerd voor diepgaand leren. De chips kunnen data zeer snel verwerken (met een piek van zo'n 170 teraflops, oftewel miljard rekenkundige berekeningen per seconde) en kunnen data makkelijker delen.
Andrew Ng, hoofdwetenschapper bij het Chinese internetbedrijf Baidu, heeft de DGX-1, die Baidu van plan is te gebruiken, onder de loep genomen. Dankzij de mogelijkheden die het biedt, kunnen we nieuwe manieren uitproberen om ons trainingsproces op te schalen, zegt Ng. Hierdoor kunnen we modellen trainen op grotere datasets, waarvan we hebben vastgesteld dat ze leiden tot vooruitgang in AI.
OpenAI is betrokken bij een reeks baanbrekend AI-onderzoek. Naast diepgaand leren, zijn de onderzoekers gericht op het ontwikkelen van algoritmen die in staat zijn om te leren door middel van uitgebreide vallen en opstaan, een onderzoeksgebied dat bekend staat als versterkingsleren.
OpenAI hoopt versterkend leren te gebruiken om robots te bouwen die in staat zijn om nuttige klusjes in huis uit te voeren, hoewel dit een tijdrovende uitdaging kan zijn (zie This Is the Robot Maid Elon Musk Is Funding en The Robot You Want Most Is Far from Reality ).
De onderzoekers van OpenAI onderzoeken ook manieren waarop AI-algoritmen veel efficiënter kunnen leren door hun eigen modellen of theorieën te genereren over wat een dataset betekent. Een algoritme kan bijvoorbeeld een reeks computerspellen leren spelen door te bepalen dat het verzamelen van munten meestal helpt om de score te verhogen.
Ilya Sutskever , onderzoeksdirecteur bij OpenAI en een prominent figuur in AI, zegt dat werk op dit gebied uiteindelijk kan leiden tot betere algoritmen die effectiever kunnen leren. Zodra al deze verbeteringen zijn aangebracht, moet het mogelijk zijn om agenten te bouwen die meer geavanceerde doelen kunnen bereiken met veel minder ervaring, zegt hij.
OpenAI werd in 2015 opgericht met $ 1 miljard aan financiering van VIP's uit de technische industrie, waaronder Elon Musk, CEO van Tesla en SpaceX, en Sam Altman, voorzitter van Y Combinator. Het doel van de non-profitorganisatie is om open AI-onderzoek te doen en ervoor te zorgen dat AI de mensheid ten goede komt.
Jen-Hsun Huang, CEO van Nvidia, zegt dat de beslissing om de eerste DGX-1 aan OpenAI te geven, een weerspiegeling is van het geloof in de doelen van OpenAI. De strategie van Nvidia is om AI te democratiseren, zei Huang in een interview. We zouden willen dat deze technologie, hoe krachtig ze ook is, zich in een richting beweegt die goed is voor de samenleving.