211service.com
Is Google de markt aan het veroveren op het gebied van deep learning?
Hoeveel zijn een dozijn deep-learning onderzoekers waard? Blijkbaar meer dan 400 miljoen dollar.
In de 'Plex' : Google geeft honderden miljoenen uit om software te bouwen die kan leren van de informatie die is opgeslagen in zijn datacenters.
Deze week Google naar verluidt zoveel betaald verwerven DeepMind-technologieën , een startup gevestigd in Londen met een van de grootste concentraties onderzoekers waar dan ook die werkten aan deep learning, een relatief nieuw gebied van onderzoek naar kunstmatige intelligentie dat taken wil uitvoeren zoals het herkennen van gezichten in video of woorden in menselijke spraak (zie Deep Learning).
De overname, gericht op het toevoegen van bekwame experts in plaats van specifieke producten, markeert een versnelling in de inspanningen van Google, Facebook en andere internetbedrijven om de grootste hersens in onderzoek naar kunstmatige intelligentie te monopoliseren.
In een interview vorige maand, voor de overname van DeepMind, Peter Norvig , een onderzoeksdirecteur bij Google, schatte dat zijn bedrijf al minder dan 50 procent, maar zeker meer dan 5 procent van 's werelds toonaangevende experts op het gebied van machine learning, in dienst had, de bredere discipline waarvan deep learning het snijvlak is.
Bedrijven zoals Google verwachten dat deep learning hen helpt nieuwe soorten producten te maken die de afbeeldingen, tekst en video die het web verstoppen, kunnen begrijpen en ervan kunnen leren. En in belangrijke mate hebben vooraanstaande academische wetenschappers Silicon Valley omarmd, waar ze teams van ingenieurs kunnen aansturen in plaats van studenten en toegang hebben tot de grootste, meest interessante datasets. Het is een combinatie van de computerbronnen die we hebben en het personeelsbestand dat we kunnen bieden, zei Norvig. Bij Google, als je een kopie van het web wilt, nou, we hebben er toevallig een zitten.
Yoshua Bengio , een AI-onderzoeker aan de Universiteit van Montreal, schat dat er wereldwijd slechts ongeveer 50 experts zijn in deep learning, van wie velen nog steeds afgestudeerde studenten zijn. Hij schatte dat DeepMind ongeveer een dozijn van hen in dienst had op zijn personeel van ongeveer 50. Ik denk dat dit de belangrijkste reden is dat Google DeepMind heeft gekocht. Het heeft een van de grootste concentraties van deep learning-experts, zegt Bengio.
Met Google strijden om talent zijn bedrijven, waaronder Amazon, Microsoft en ook Facebook, dat in september zijn eigen deep learning-groep heeft opgericht (zie Facebook lanceert geavanceerde AI-inspanningen om betekenis te vinden in uw berichten). Het rekruteerde misschien wel 's werelds bekendste deep learning-wetenschapper, Yann LeCun van de New York University, om het te leiden. Zijn NYU-collega, Rob Fergus , accepteerde ook een baan bij het sociale netwerk.
Oorlog spellen : Software van DeepMind heeft zelf geleerd Space Invaders te spelen.
Naarmate geavanceerde machine learning overgaat van een voornamelijk wetenschappelijk streven naar een met een hoog industrieel belang, is de bank van Google waarschijnlijk het diepst. Namen die het van de academische wereld naar fulltime of parttime functies heeft gelokt, zijn onder meer Sebastian Thrun (die heeft gewerkt aan het autonome autoproject van het bedrijf); Fernando Pereira, een voormalige computerwetenschapper aan de Universiteit van Pennsylvania; Andrew Ng van Stanford; en Singularity University-baas Ray Kurzweil.
Vorig jaar greep Google ook de gerenommeerde deep-learning-onderzoeker Geoff Hinton van de Universiteit van Toronto en een passel van zijn studenten toen het Hinton's bedrijf, DNNresearch, overnam. Hinton werkt nu parttime bij Google. We zeiden tegen Geoff: 'We houden van je spullen. Zou je modellen willen draaien die 100 keer groter zijn dan die van iemand anders?' Dat was aantrekkelijk voor hem, zei Norvig.
Niet iedereen is blij met de komst van de spreekwoordelijke Google Bus in een van de ijle academische gebieden. In december, tijdens een wetenschappelijke bijeenkomst in Lake Tahoe, maakte Mark Zuckerberg, de oprichter en CEO van Facebook, een verrassende verschijning, vergezeld van bewakers in uniform, volgens Alex Rubinsteyn, een bio-informatica-onderzoeker bij Mount Sinai Medical Center, die klaagde in een blogbericht dat een culturele grens tussen de academische wereld en Silicon Valley was overschreden.
In de academische wereld is status een onderzoeksverdienste, het is wat je weet, zegt Rubinsteyn. In Silicon Valley is dat omdat je een bedrijf runt of rijk bent. En dan denken mensen rond die mensen ook aan rijk worden.
Peter Lee, hoofd van Microsoft Research, vertelde Bloomberg Zakenweek dat er zo veel vraag was naar deep learning-experts dat ze hetzelfde soort salaris van zeven cijfers hebben als sommige eerstejaars NFL-strateegs.
Sommigen hebben de oproep van de industrie weerstaan. Van de drie computerwetenschappers die worden beschouwd als de grondleggers van diep leren - Hinton, LeCun en Bengio - is tot nu toe alleen Bengio in de ivoren toren gebleven. Ik dacht gewoon niet dat tien keer meer verdienen me gelukkiger zou maken, zegt hij. Als academicus kan ik kiezen waaraan ik wil werken en kan ik zeer lange termijn doelen overwegen. Bovendien, zegt hij, zijn er subsidies van de sector naar hem toe stromen, omdat bedrijven zich realiseren dat ze binnenkort geen rekruten meer zullen hebben. Dit jaar is hij van plan het aantal afgestudeerde studenten dat hij opleidt uit te breiden van vier naar vijftien.
DeepMind werd twee jaar geleden mede opgericht door Demis Hassibis, een 37-jarige beschreven door De tijden van Londen als gamedesigner, neurowetenschapper en ooit een schaakwonder. De DeepMind-onderzoekers waren goed bekend in de wetenschappelijke gemeenschap, woonden vergaderingen bij en publiceerden vrij hoogstaande artikelen over machine learning, hoewel ze nog geen product hadden uitgebracht, zegt Bengio.
De expertise van DeepMind ligt op een gebied dat versterkingsleren wordt genoemd, wat inhoudt dat computers de wereld leren kennen, zelfs met zeer beperkte feedback. Stel je voor dat ik je alleen zou vertellen welke cijfers je voor een toets hebt gehaald, maar je niet zou vertellen waarom, of wat de antwoorden waren, zegt Bengio. Het is een moeilijk probleem om te weten hoe u het beter zou kunnen doen.
Maar in december publiceerde DeepMind een paper waaruit blijkt dat de software dat kan doen door zeven Atari2600-spellen te leren spelen met als invoer alleen de informatie die zichtbaar is op een videoscherm, zoals de partituur. Voor drie van de spellen, de klassiekers Breakout, Enduro en Pong, speelde de computer uiteindelijk beter dan een ervaren mens. Het presteerde minder goed op Q*bert en Space Invaders, games waarbij de beste strategie minder voor de hand ligt.
Dergelijke bekwame computerprogramma's kunnen belangrijke commerciële toepassingen hebben, waaronder het verbeteren van zoekmachines (zie Hoe een database met kennis van de wereld de toekomst van Google vormt), en kunnen met name nuttig zijn om robots te helpen bij het leren navigeren door de menselijke wereld. Google heeft vorig jaar verschillende toonaangevende roboticabedrijven overgenomen, waaronder de makers van verschillende soorten humanoïde robots (zie Google's nieuwste robotacquisitie is de slimste tot nu toe.)
Grote bedrijven zouden zeker niet zo veel uitgeven om talent in kunstmatige intelligentie te monopoliseren, tenzij ze geloofden dat deze computerbrein hen een krachtig voordeel zou geven. Het klinkt misschien als een filmplot, maar misschien is het zelfs tijd om je af te vragen wat het eerste bedrijf met een echte AI zou doen met de kracht die het bood.
Bengio zegt zich daar geen zorgen over te maken. De industrie is geïnteresseerd in het toepassen van machine learning, en vooral deep learning, op de taken die ze willen oplossen, zegt hij. Die [inspanningen] zijn op weg naar AI, maar nog lang niet.