211service.com
De rommelige, geheime realiteit achter OpenAI's poging om de wereld te redden
Greg Brockman, mede-oprichter en CTO; Ilya Sutskever, mede-oprichter en hoofdwetenschapper; en Dario Amodei, onderzoeksdirecteur. Christie There Klok
Elk jaar stemmen de werknemers van OpenAI wanneer ze geloven dat kunstmatige algemene intelligentie, of AGI, eindelijk zal komen. Het wordt meestal gezien als een leuke manier om te binden, en hun schattingen lopen sterk uiteen. Maar in een veld waar nog steeds wordt gedebatteerd of menselijke autonome systemen wel mogelijk zijn, gokt de helft van het laboratorium dat dit waarschijnlijk binnen 15 jaar zal gebeuren.
In de vier korte jaren van zijn bestaan is OpenAI uitgegroeid tot een van de toonaangevende AI-onderzoekslaboratoria ter wereld. Het heeft naam gemaakt door consistent onderzoek te produceren dat de krantenkoppen haalt, naast andere AI-zwaargewichten zoals DeepMind van Alphabet. Het is ook een lieveling in Silicon Valley, met onder meer Elon Musk en de legendarische investeerder Sam Altman.
Bovenal wordt het geprezen vanwege zijn missie. Het doel is om als eerste AGI te creëren - een machine met het leer- en redeneervermogen van een menselijke geest. Het doel is niet wereldheerschappij; het lab wil er eerder voor zorgen dat de technologie veilig wordt ontwikkeld en dat de voordelen ervan gelijkmatig over de wereld worden verdeeld.
De implicatie is dat AGI gemakkelijk op hol kan slaan als de ontwikkeling van de technologie de weg van de minste weerstand volgt. Smalle intelligentie, het soort onhandige AI dat ons tegenwoordig omringt, heeft al als voorbeeld gediend. We weten nu dat algoritmen bevooroordeeld en kwetsbaar zijn; ze kunnen groot misbruik en groot bedrog plegen; en de kosten van het ontwikkelen en beheren ervan hebben de neiging hun macht in de handen van enkelen te concentreren. Door extrapolatie zou AGI catastrofaal kunnen zijn zonder de zorgvuldige begeleiding van een welwillende herder.
OpenAI wil die herder zijn en heeft zijn imago zorgvuldig ontworpen om bij de rekening te passen. In een veld dat wordt gedomineerd door rijke bedrijven, werd het opgericht als een non-profitorganisatie. Zijn eerste aankondiging zei dat dit onderscheid het mogelijk zou maken om waarde op te bouwen voor iedereen in plaats van aandeelhouders. Zijn Handvest – een document dat zo heilig is dat het loon van werknemers is gekoppeld aan hoe goed ze zich eraan houden – verklaart verder dat de primaire fiduciaire plicht van OpenAI jegens de mensheid is. Het veilig bereiken van AGI is zo belangrijk, zo gaat het verder, dat als een andere organisatie er als eerste zou komen, OpenAI zou stoppen ermee te concurreren en in plaats daarvan zou samenwerken. Dit verleidelijke verhaal speelt goed bij investeerders en de media, en in juli injecteerde Microsoft het lab met een nieuwe $ 1 miljard.
Het logo van OpenAI hangt in zijn kantoor. Christie Hemm Klok
Maar drie dagen op het kantoor van OpenAI - en bijna drie dozijn interviews met voormalige en huidige werknemers, medewerkers, vrienden en andere experts in het veld - suggereren een ander beeld. Er is een discrepantie tussen wat het bedrijf publiekelijk voorstaat en hoe het achter gesloten deuren opereert. In de loop van de tijd heeft het geleid tot een felle concurrentiepositie en toenemende druk voor steeds meer financiering om zijn grondidealen van transparantie, openheid en samenwerking uit te hollen. Velen die voor het bedrijf werkten of werkten, drongen aan op anonimiteit omdat ze niet bevoegd waren om te spreken of bang waren voor represailles. Hun verslagen suggereren dat OpenAI, ondanks al zijn nobele ambities, geobsedeerd is door het handhaven van geheimhouding, het beschermen van zijn imago en het behouden van de loyaliteit van zijn werknemers.
Sinds de vroegste conceptie heeft AI als vakgebied ernaar gestreefd om menselijke intelligentie te begrijpen en deze vervolgens opnieuw te creëren. In 1950 begon Alan Turing, de beroemde Engelse wiskundige en computerwetenschapper, met een krant met de inmiddels beroemde provocatie Kunnen machines denken? Zes jaar later, gefascineerd door het zeurende idee, verzamelde een groep wetenschappers zich op Dartmouth College om de discipline te formaliseren.
Het is een van de meest fundamentele vragen van de hele intellectuele geschiedenis, toch? zegt Oren Etzioni, de CEO van het Allen Institute for Artificial Intelligence (AI2), een non-profit AI-onderzoekslaboratorium in Seattle. Het is zoiets als, begrijpen we de oorsprong van het universum? Begrijpen we materie?
Het probleem is dat AGI altijd vaag is gebleven. Niemand kan echt beschrijven hoe het eruit zou kunnen zien of het minimum van wat het zou moeten doen. Het is bijvoorbeeld niet duidelijk dat er maar één soort algemene intelligentie is; menselijke intelligentie zou slechts een subset kunnen zijn. Er zijn ook verschillende meningen over welk doel AGI zou kunnen dienen. In de meer geromantiseerde visie zou een machine-intelligentie die niet wordt gehinderd door de behoefte aan slaap of de inefficiëntie van menselijke communicatie kunnen helpen bij het oplossen van complexe uitdagingen zoals klimaatverandering, armoede en honger.
Maar de klinkende consensus binnen het veld is dat dergelijke geavanceerde capaciteiten decennia, zelfs eeuwen zouden vergen - als het inderdaad mogelijk is om ze te ontwikkelen. Velen vrezen ook dat het overijverig nastreven van dit doel averechts zou kunnen werken. In de jaren '70 en opnieuw in de late jaren '80 en vroege jaren '90, beloofde het veld te veel en leverde het te weinig op. Van de ene op de andere dag droogde de financiering op en liet diepe littekens achter bij een hele generatie onderzoekers. Het veld voelde als een opstuwing, zegt Peter Eckersley, tot voor kort onderzoeksdirecteur bij de industriegroep Partnership on AI, waarvan OpenAI lid is.
Een vergaderruimte op de eerste verdieping genaamd Infinite Jest. Christie Hemm Klok
Tegen deze achtergrond betrad OpenAI met een plons de wereld op 11 december 2015. Het was niet de eerste die openlijk verklaarde dat het AGI nastreefde; DeepMind had dat vijf jaar eerder gedaan en was in 2014 overgenomen door Google. Maar OpenAI leek anders. Om te beginnen was de stickerprijs schokkend: de onderneming zou beginnen met $ 1 miljard van particuliere investeerders, waaronder Musk, Altman en medeoprichter van PayPal, Peter Thiel.
De met sterren bezaaide lijst van investeerders wekte een media-razernij op, evenals de indrukwekkende lijst van eerste werknemers: Greg Brockman, die technologie had geleid voor het betalingsbedrijf Stripe, zou chief technology officer worden; Ilya Sutskever, die had gestudeerd onder AI-pionier Geoffrey Hinton, zou onderzoeksdirecteur worden; en zeven onderzoekers, net afgestudeerd aan topuniversiteiten of geplukt bij andere bedrijven, zouden het technische kernteam vormen. (Afgelopen februari, Musk bekend gemaakt dat hij afscheid nam van het bedrijf vanwege meningsverschillen over de richting ervan. Een maand later, Altman afgetreden als president van startup accelerator Y Combinator om de CEO van OpenAI te worden.)
Maar bovenal maakte de non-profitstatus van OpenAI een statement. Het is belangrijk om een toonaangevende onderzoeksinstelling te hebben die een goed resultaat voorrang kan geven boven zijn eigen belang, de aankondiging zei . Onderzoekers zullen sterk worden aangemoedigd om hun werk te publiceren, of het nu gaat om papers, blogposts of code, en onze patenten (indien aanwezig) zullen met de wereld worden gedeeld. Hoewel het de kritiek nooit expliciet maakte, was de implicatie duidelijk: andere laboratoria, zoals DeepMind, konden de mensheid niet dienen omdat ze werden beperkt door commerciële belangen. Terwijl ze gesloten waren, zou OpenAI zijn open .
In een onderzoekslandschap dat steeds meer geprivatiseerd was en gericht was op financiële winst op korte termijn, bood OpenAI een nieuwe manier om de voortgang van de grootste problemen te financieren. Het was een baken van hoop, zegt Chip Huyen, een machine learning-expert die de reis van het lab op de voet heeft gevolgd.
Op de kruising van 18th en Folsom Street in San Francisco ziet het kantoor van OpenAI eruit als een mysterieus pakhuis. Het historische gebouw heeft grauwgrijze lambrisering en getinte ramen, waarbij de meeste tinten naar beneden zijn getrokken. De letters PIONEER BUILDING - de overblijfselen van de vroegere eigenaar, de Pioneer Truck Factory - zijn om de hoek gehuld in vervaagde rode verf.
Binnen is de ruimte licht en luchtig. De eerste verdieping heeft enkele gemeenschappelijke ruimtes en twee vergaderzalen. Een, een gezond formaat voor grotere vergaderingen, heet A Space Odyssey; de andere, meer een verheerlijkte telefooncel, heet Infinite Jest. Dit is de ruimte waartoe ik beperkt ben tijdens mijn bezoek. Het is mij verboden om de tweede en derde verdieping te bezoeken, waar ieders bureaus, verschillende robots en zo ongeveer alles wat interessant is, zijn ondergebracht. Als het tijd is voor hun interviews, komen mensen naar me toe. Een medewerker oefent een waakzaam oog op mij tussen de vergaderingen door.
Het pioniersgebouw. wikimedia commons / tfinc
Op de prachtige blauwe luchtdag dat ik aankom om Brockman te ontmoeten, ziet hij er nerveus en bewaakt uit. We hebben nog nooit iemand zoveel toegang gegeven, zegt hij met een aarzelende glimlach. Hij draagt vrijetijdskleding en, zoals velen bij OpenAI, heeft hij een vormeloos kapsel dat een efficiënte, no-nonsense mentaliteit lijkt te weerspiegelen.
Brockman, 31, groeide op op een hobbyboerderij in North Dakota en had wat hij beschrijft als een gerichte, rustige jeugd. Hij melkte koeien, verzamelde eieren en werd verliefd op wiskunde terwijl hij alleen studeerde. In 2008 ging hij naar Harvard met de bedoeling dubbel te studeren in wiskunde en informatica, maar hij werd al snel rusteloos om de echte wereld te betreden. Hij stopte een jaar later, ging in plaats daarvan naar het MIT en stopte binnen een paar maanden weer. De tweede keer was zijn beslissing definitief. Toen hij eenmaal naar San Francisco was verhuisd, keek hij nooit meer achterom.
Brockman neemt me mee naar de lunch om me van kantoor te halen tijdens een bedrijfsvergadering. In het café aan de overkant spreekt hij met intensiteit, oprechtheid en verwondering over OpenAI, waarbij hij vaak parallellen trekt tussen de missie en de historische prestaties van de wetenschapsgeschiedenis. Het is gemakkelijk om zijn charisma als leider te waarderen. Hij vertelt gedenkwaardige passages uit de boeken die hij heeft gelezen en richt zich op het favoriete verhaal van de Valley, Amerika's race naar de maan. (Een verhaal waar ik echt dol op ben, is het verhaal van de conciërge, zegt hij, verwijzend naar een beroemd maar waarschijnlijk apocrief verhaal. Kennedy gaat naar hem toe en vraagt hem: 'Wat ben je aan het doen?' en hij zegt: 'Oh, ik ben helpen een man op de maan te zetten!') Er is ook de transcontinentale spoorweg (het was eigenlijk het laatste megaproject dat volledig met de hand werd gedaan ... een project van enorme schaal dat totaal riskant was) en de gloeilamp van Thomas Edison (een commissie van vooraanstaande experts zei: ' Het gaat nooit werken', en een jaar later verscheepte hij).
Greg Brockman, mede-oprichter en CTO. Christie Hemm Klok
Brockman is zich bewust van de gok die OpenAI is aangegaan - en hij is zich ervan bewust dat het cynisme en kritisch onderzoek oproept. Maar bij elke verwijzing is zijn boodschap duidelijk: mensen kunnen zo sceptisch zijn als ze willen. Het is de prijs van enorm durven.
Degenen die zich in het begin bij OpenAI hebben aangesloten, herinneren zich de energie, opwinding en doelgerichtheid. Het team was klein - gevormd door een hecht web van verbindingen - en het management bleef los en informeel. Iedereen geloofde in een platte structuur waar ideeën en debat van iedereen welkom zouden zijn.
Musk speelde een niet geringe rol bij het opbouwen van een collectieve mythologie. De manier waarop hij het me presenteerde was: 'Kijk, ik snap het. AGI is misschien ver weg, maar wat als dat niet zo is?’, herinnert Pieter Abbeel zich, een professor aan UC Berkeley die daar de eerste twee jaar samen met een aantal van zijn studenten werkte. 'Wat als het maar een kans van 1% of 0,1% is dat het in de komende vijf tot tien jaar gebeurt? Moeten we daar niet heel goed over nadenken?’ Dat sprak me aan, zegt hij.
Maar de informaliteit leidde ook tot enige vaagheid van richting. In mei 2016 kregen Altman en Brockman bezoek van Dario Amodei, destijds een Google-onderzoeker, die hen vertelde dat niemand begreep wat ze aan het doen waren. In een account gepubliceerd in de New Yorker , het was ook niet duidelijk dat het team zelf het wist. Ons doel op dit moment ... is om het beste te doen wat er te doen is, zei Brockman. Het is een beetje vaag.
Desalniettemin voegde Amodei zich een paar maanden later bij het team. Zijn zus, Daniela Amodei, had eerder met Brockman gewerkt en hij kende al veel van OpenAI's leden. Na twee jaar trad Daniela op verzoek van Brockman ook toe. Stel je voor - we zijn met niets begonnen, zegt Brockman. We hadden net dit ideaal dat we wilden dat AGI goed zou gaan.
Tijdens onze lunch reciteert Brockman het handvest als de Schrift, een verklaring voor elk aspect van het bestaan van het bedrijf.
In maart 2017, 15 maanden later, realiseerde de leiding zich dat het tijd was voor meer focus. Dus begonnen Brockman en een paar andere kernleden met het opstellen van een intern document om een pad naar AGI uit te stippelen. Maar het proces bracht al snel een fatale fout aan het licht. Toen het team trends binnen het vakgebied bestudeerde, realiseerden ze zich dat het financieel onhoudbaar was om een non-profitorganisatie te blijven. De computationele middelen die anderen in het veld gebruikten om baanbrekende resultaten te bereiken, verdubbelden elke 3,4 maanden . Het werd duidelijk dat om relevant te blijven, zegt Brockman, ze voldoende kapitaal nodig zouden hebben om deze exponentiële groei te evenaren of te overtreffen. Dat vereiste een nieuw organisatiemodel dat snel geld kon vergaren, terwijl het op de een of andere manier ook trouw bleef aan de missie.
Buiten het medeweten van het publiek - en de meeste werknemers - was het met dit in gedachten dat OpenAI het uitbracht zijn handvest in april 2018. Het document herformuleerde de kernwaarden van het lab, maar veranderde de taal subtiel om de nieuwe realiteit weer te geven. Naast zijn toezegging om het gebruik van AI of AGI te vermijden die de mensheid schaden of de macht onnodig concentreren, benadrukte het ook de noodzaak van middelen. We verwachten dat we aanzienlijke middelen moeten inzetten om onze missie te vervullen, zei het, maar we zullen altijd ijverig optreden om belangenconflicten tussen onze werknemers en belanghebbenden te minimaliseren die het brede voordeel in gevaar kunnen brengen.
We hebben veel tijd besteed aan interne iteratie met werknemers om het hele bedrijf in een reeks principes te krijgen, zegt Brockman. Dingen die onveranderlijk moesten blijven, zelfs als we onze structuur veranderden.
Van links naar rechts: Daniela Amodei, Jack Clark, Dario Amodei, Jeff Wu (technisch medewerker), Greg Brockman, Alec Radford (teamleider technisch taal), Christine Payne (technisch medewerker), Ilya Sutskever en Chris Berner (hoofd van infrastructuur). Christie Hemm Klok
Die structuurwijziging vond plaats in maart 2019. OpenAI verloor zijn puur non-profitstatus door een geplafonneerde winsttak op te zetten - een winstoogmerk met een 100-voudige limiet voor het rendement van investeerders, zij het onder toezicht van een bestuur dat deel uitmaakt van een non-profitentiteit. Kort daarna kondigde het de miljardeninvestering van Microsoft aan (hoewel het niet onthulde dat dit was verdeeld in contanten en kredieten aan Azure, het cloudcomputingplatform van Microsoft).
Zoals te verwachten was, veroorzaakte de verhuizing een golf van beschuldigingen dat OpenAI terugging naar zijn missie. In een bericht op Hacker Nieuws kort na de aankondiging vroeg een gebruiker hoe een 100-voudige limiet überhaupt zou beperken: vroege investeerders in Google hebben een rendement van ongeveer 20x op hun kapitaal ontvangen, schreven ze. Uw gok is dat u een bedrijfsstructuur zult hebben die veel meer oplevert dan Google ... maar u wilt niet 'te veel macht concentreren'? Hoe zal dit werken? Wat is macht precies, zo niet de concentratie van middelen?
De verhuizing schudde ook veel werknemers op, die soortgelijke zorgen uitten. Om interne onrust weg te nemen, schreef de leiding een FAQ op als onderdeel van een reeks streng beveiligde transitiedocumenten. Kan ik OpenAI vertrouwen? een vraag gesteld. Ja, begon het antwoord, gevolgd door een paragraaf met uitleg.
het handvest vormt de ruggengraat van OpenAI. Het dient als springplank voor alle strategieën en acties van het lab. Tijdens onze lunch reciteert Brockman het als de Schrift, een verklaring voor elk aspect van het bestaan van het bedrijf. (Trouwens, hij verduidelijkt halverwege een recitatie, ik denk dat ik al deze regels ken, want ik heb er veel tijd aan besteed om ze precies goed te krijgen. Het is niet alsof ik dit voor de vergadering aan het lezen was.)
Hoe ga je ervoor zorgen dat mensen een zinvol leven blijven leiden naarmate je meer geavanceerde vermogens ontwikkelt? Zoals we schreven, denken we dat de impact ervan moet zijn om iedereen economische vrijheid te geven, om hen nieuwe kansen te laten vinden die tegenwoordig niet denkbaar zijn. Hoe ga je jezelf structureren om AGI gelijkmatig te verdelen? Ik denk dat een hulpprogramma de beste analogie is voor de visie die we hebben. Maar nogmaals, het is allemaal onderworpen aan het charter. Hoe concurreer je om AGI als eerste te bereiken zonder de veiligheid in gevaar te brengen? Ik denk dat er absoluut een belangrijke evenwichtsoefening is, en onze beste kans daarop is wat er in het handvest staat.
9 APRIL 2018 5 MINUTEN LEZEN OpenAI
Voor Brockman is de strikte naleving van het document wat de structuur van OpenAI laat werken. Interne afstemming staat voorop: alle fulltime medewerkers moeten, op enkele uitzonderingen na, vanuit hetzelfde kantoor werken. Voor het beleidsteam, vooral Jack Clark, de directeur, betekent dit een leven verdeeld tussen San Francisco en Washington, DC. Clark vindt het niet erg - sterker nog, hij is het eens met de mentaliteit. Het zijn de tussenmomenten, zoals lunch met collega's, zegt hij, die ervoor zorgen dat iedereen op de hoogte blijft.
In veel opzichten werkt deze aanpak duidelijk: het bedrijf heeft een indrukwekkend uniforme cultuur. De werknemers maken lange dagen en praten onophoudelijk over hun baan tijdens maaltijden en sociale uren; velen gaan naar dezelfde feesten en onderschrijven de rationele filosofie van effectief altruïsme . Ze maken grappen met behulp van machine learning-terminologie om hun leven te beschrijven: waar is jouw leven een functie van? Waar optimaliseer je voor? Alles is eigenlijk een minmax-functie. Om eerlijk te zijn, andere AI-onderzoekers doen dit ook graag, maar mensen die bekend zijn met OpenAI zijn het erover eens: meer dan anderen in het veld behandelen haar medewerkers AI-onderzoek niet als een baan, maar als een identiteit. (In november, Brockman getrouwd zijn vriendin van een jaar, Anna, op kantoor tegen een achtergrond van bloemen gerangschikt in een OpenAI-logo. Sutskever trad op als de officiant; een robothand was de ringdrager.)
Maar ergens in het midden van vorig jaar werd het handvest meer dan alleen gespreksvoer tijdens de lunch. Kort na de overstap naar een geplafonneerde winst, voerde het leiderschap een nieuwe loonstructuur in, gedeeltelijk gebaseerd op de absorptie van de missie door elke werknemer. Naast kolommen als technische expertise en onderzoeksrichting in een spreadsheettabblad met de titel Unified Technical Ladder, schetst de laatste kolom de cultuurgerelateerde verwachtingen voor elk niveau. Niveau 3: Je begrijpt en internaliseert het OpenAI-charter. Niveau 5: Je zorgt ervoor dat alle projecten waaraan jij en je teamgenoten werken in overeenstemming zijn met het charter. Niveau 7: Je bent verantwoordelijk voor het handhaven en verbeteren van het handvest en houdt anderen in de organisatie verantwoordelijk om hetzelfde te doen.
De eerste keer dat de meeste mensen ooit van OpenAI hoorden, was op 14 februari 2019. Die dag, het lab bekend gemaakt indrukwekkend nieuw onderzoek: een model dat met een druk op de knop overtuigende essays en artikelen kan genereren. Geef het een zin van In de ban van de Ring of het begin van een (nep)nieuwsbericht over Miley Cyrus-winkeldiefstal, en het zou alinea na alinea tekst in dezelfde geest uitspugen.
Maar er was ook een addertje onder het gras: het model, GPT-2 genaamd, was te gevaarlijk om vrij te geven, aldus de onderzoekers. Als zulke krachtige technologie in verkeerde handen zou vallen, zou het gemakkelijk kunnen worden gebruikt om op enorme schaal desinformatie te produceren.
Het verzet onder wetenschappers was onmiddellijk. OpenAI haalde een publiciteitsstunt uit, zeiden sommigen. GPT-2 was lang niet geavanceerd genoeg om een bedreiging te zijn. En als dat zo was, waarom zou u het bestaan ervan dan aankondigen en vervolgens openbare controle uitsluiten? Het leek alsof OpenAI probeerde te profiteren van paniek rond AI, zegt Britt Paris, een assistent-professor aan de Rutgers University die door AI gegenereerde desinformatie bestudeert.
Jack Clark, policy director. Christie Hemm Klok
In mei had OpenAI zijn standpunt herzien en plannen aangekondigd voor een gefaseerde release. In de daaropvolgende maanden druppelde het achtereenvolgens steeds krachtigere versies van GPT-2 uit. In de tussentijd werkte het ook samen met verschillende onderzoeksorganisaties om het potentieel van het algoritme voor misbruik te onderzoeken en tegenmaatregelen te ontwikkelen. Ten slotte heeft het de volledige code in november vrijgegeven, nadat het had gevonden, het zei , tot dusver geen sterk bewijs van misbruik.
Te midden van aanhoudende beschuldigingen van het zoeken naar publiciteit, drong OpenAI erop aan dat GPT-2 geen stunt was geweest. Het was eerder een zorgvuldig doordacht experiment, overeengekomen na een reeks interne discussies en debatten. De consensus was dat, zelfs als het deze keer een beetje overdreven was geweest, de actie een precedent zou scheppen voor het uitvoeren van gevaarlijker onderzoek. Bovendien had het handvest voorspeld dat veiligheids- en beveiligingsproblemen het lab geleidelijk zouden verplichten om onze traditionele publicaties in de toekomst te verminderen.
Dit was ook het argument dat het beleidsteam zorgvuldig uiteenzette in zijn zes maanden follow-up blogpost , die ze bespraken terwijl ik een vergadering bijwoonde. Ik denk dat dat zeker deel uitmaakt van het succesverhaal, zei Miles Brundage, een beleidsonderzoeker, die iets benadrukt in een Google-document. De leiding van deze sectie zou moeten zijn: we hebben iets ambitieus gedaan, nu zijn er mensen die het herhalen, en hier zijn enkele redenen waarom het nuttig was.
Maar de mediacampagne van OpenAI met GPT-2 volgde ook een vast patroon dat de bredere AI-gemeenschap wantrouwend maakte. In de loop der jaren zijn de grote, spetterende onderzoeksaankondigingen van het laboratorium herhaaldelijk beschuldigd van het aanwakkeren van de AI-hypecyclus. Meer dan eens hebben critici het laboratorium er ook van beschuldigd de resultaten tot op het punt van verkeerde karakterisering te hebben uitgepraat. Om deze redenen hebben velen in het veld de neiging om OpenAI op afstand te houden.
Omslagafbeeldingen van OpenAI's onderzoeksreleases hangen aan de muur van het kantoor. Christie Hemm Klok
Dit heeft het lab er niet van weerhouden om middelen in zijn publieke imago te blijven steken. Naast onderzoekspapers publiceert het zijn resultaten in goed geproduceerde bedrijfsblogposts waarvoor het alles in eigen huis doet, van het schrijven tot multimediaproductie tot het ontwerpen van de omslagafbeeldingen voor elke release. Op een gegeven moment begon het ook een documentaire te ontwikkelen over een van zijn projecten om te wedijveren met een film van 90 minuten over DeepMind's AlphaGo . Het bracht de inspanning uiteindelijk tot een onafhankelijke productie, die Brockman en zijn vrouw, Anna, nu gedeeltelijk financieren. (Ik stemde er ook mee in om in de documentaire te verschijnen om technische uitleg en context te geven over de prestatie van OpenAI. Ik kreeg hiervoor geen vergoeding.)
En naarmate de terugslag is toegenomen, moeten interne discussies worden gevoerd om het aan te pakken. Medewerkers zijn gefrustreerd geraakt door de constante kritiek van buitenaf, en het leiderschap is bang dat het de invloed van het lab en het vermogen om het beste talent aan te nemen, zal ondermijnen. Een intern document belicht dit probleem en een outreach-strategie om het aan te pakken: om beleidsinvloed op overheidsniveau te hebben, moeten we worden gezien als de meest vertrouwde bron op het gebied van ML [machine learning]-onderzoek en AGI, zegt een regel onder het beleid sectie. Brede steun en steun van de onderzoeksgemeenschap is niet alleen nodig om zo'n reputatie te verwerven, maar zal onze boodschap versterken. Een andere, onder Strategie, luidt: 'Behandel de ML-gemeenschap expliciet als een communicatiebelanghebbende. Verander onze toon en externe berichtgeving zodanig dat we ze alleen tegenwerken als we daar bewust voor kiezen.'
Er was nog een reden waarom GPT-2 zo'n acute terugslag had veroorzaakt. Mensen hadden het gevoel dat OpenAI opnieuw zijn eerdere beloften van openheid en transparantie inleverde. Met het nieuws over de winstdeling een maand later, maakte het achtergehouden onderzoek de mensen nog wantrouwiger. Zou het kunnen dat de technologie geheim is gehouden ter voorbereiding op het in licentie geven ervan in de toekomst?
Ilya Sutskever, mede-oprichter en hoofdwetenschapper. Christie Hemm Klok
Maar mensen wisten niet dat dit niet de enige keer was dat OpenAI ervoor had gekozen zijn onderzoek te verbergen. In feite had het een andere poging volledig geheim gehouden.
Er zijn twee gangbare technische theorieën over wat er nodig is om AGI te bereiken. In één bestaan alle benodigde technieken al; het is gewoon een kwestie van uitzoeken hoe je ze kunt schalen en samenstellen. In het andere moet er een geheel nieuw paradigma zijn; deep learning, de huidige dominante techniek in AI, zal niet genoeg zijn.
De meeste onderzoekers vallen ergens tussen deze uitersten, maar OpenAI heeft consequent bijna uitsluitend aan het schaal-en-assembleren-uiteinde van het spectrum gezeten. De meeste van zijn doorbraken zijn het resultaat van het verzinken van aanzienlijk grotere rekenkracht in technische innovaties die in andere laboratoria zijn ontwikkeld.
Brockman en Sutskever ontkennen dat dit hun enige strategie is, maar het streng bewaakte onderzoek van het lab suggereert anders. Een team genaamd Foresight voert experimenten uit om te testen hoe ver ze AI-mogelijkheden vooruit kunnen duwen door bestaande algoritmen te trainen met steeds grotere hoeveelheden gegevens en rekenkracht. Voor het leiderschap hebben de resultaten van deze experimenten zijn instinct bevestigd dat de all-in, computergestuurde strategie van het lab de beste benadering is.
Ongeveer zes maanden lang waren deze resultaten voor het publiek verborgen omdat OpenAI deze kennis als haar belangrijkste concurrentievoordeel ziet. Medewerkers en stagiaires kregen expliciet de opdracht deze niet te onthullen, en degenen die vertrokken ondertekenden geheimhoudingsverklaringen. Het was pas in januari dat het team, zonder de gebruikelijke fanfare, stilletjes postte een krant op een van de primaire open-source databases voor AI-onderzoek. Mensen die de intense geheimhouding rond de inspanning ervoeren, wisten niet wat ze van deze verandering moesten denken. Opmerkelijk, een ander papier met vergelijkbare resultaten van verschillende onderzoekers was een paar maanden eerder gepost.
Christie There Klok
In het begin was dit niveau van geheimhouding nooit de bedoeling, maar het is inmiddels een gewoonte geworden. In de loop van de tijd is het leiderschap afgestapt van zijn oorspronkelijke overtuiging dat openheid de beste manier is om gunstige AGI op te bouwen. Nu is het belang van stil zijn onder de indruk van degenen die met of in het lab werken. Dit omvat ook nooit praten met verslaggevers zonder de uitdrukkelijke toestemming van het communicatieteam. Na mijn eerste bezoeken aan het kantoor, toen ik contact begon te leggen met verschillende medewerkers, ontving ik een e-mail van het hoofd communicatie om me eraan te herinneren dat alle sollicitatieverzoeken via haar moesten gaan. Toen ik weigerde en zei dat dit de geldigheid van wat mensen me vertelden zou ondermijnen, instrueerde ze medewerkers om haar op de hoogte te houden van mijn hulpverlening. Een Slack-bericht van Clark, een voormalig journalist, prees later mensen omdat ze een strak deksel hielden terwijl een verslaggever rondsnuffelde.
In een verklaring als reactie op deze verhoogde geheimhouding verwees een OpenAI-woordvoerder terug naar een deel van zijn handvest. We verwachten dat veiligheids- en beveiligingsproblemen onze traditionele publicaties in de toekomst zullen verminderen, stelt de sectie, terwijl het belang van het delen van onderzoek naar veiligheid, beleid en normen toeneemt. De woordvoerder voegde er ook aan toe: bovendien wordt elk van onze releases door een infohazard-proces geleid om deze afwegingen te evalueren en we willen onze resultaten langzaam vrijgeven om mogelijke risico's en effecten te begrijpen voordat we in het wild los gaan.
Een van de grootste geheimen is het project waaraan OpenAI hierna werkt. Bronnen beschreven het voor mij als het hoogtepunt van vier jaar onderzoek van de afgelopen vier jaar: een AI-systeem dat is getraind op afbeeldingen, tekst en andere gegevens met behulp van enorme computerbronnen. Een klein team is toegewezen aan de eerste inspanning, met de verwachting dat andere teams, samen met hun werk, uiteindelijk zullen instappen. Op de dag dat het werd aangekondigd tijdens een bedrijfsvergadering, mochten stagiaires niet aanwezig zijn. Mensen die bekend zijn met het plan geven uitleg: de leiding denkt dat dit de meest kansrijke manier is om AGI te bereiken.
De man achter de strategie van OpenAI is Dario Amodei, de ex-Googler die nu onderzoeksdirecteur is. Als ik hem ontmoet, komt hij op mij over als een meer angstige versie van Brockman. Hij heeft een vergelijkbare oprechtheid en gevoeligheid, maar een sfeer van onrustige nerveuze energie. Hij kijkt afstandelijk als hij praat, zijn wenkbrauwen gefronst, een hand die afwezig aan zijn krullen trekt.
Amodei verdeelt de strategie van het lab in twee delen. Het eerste deel, dat dicteert hoe het van plan is om geavanceerde AI-mogelijkheden te bereiken, vergelijkt hij met de weddenschappenportefeuille van een belegger. Verschillende teams bij OpenAI spelen verschillende weddenschappen uit. Het taalteam heeft bijvoorbeeld zijn geld op een theorie die stelt dat AI een aanzienlijk begrip van de wereld kan ontwikkelen door louter het leren van talen. Het robotica-team brengt daarentegen een tegengestelde theorie naar voren dat intelligentie een fysieke belichaming vereist om zich te ontwikkelen.
Net als in de portefeuille van een belegger, heeft niet elke weddenschap hetzelfde gewicht. Maar met het oog op wetenschappelijke nauwkeurigheid moeten ze allemaal worden getest voordat ze worden weggegooid. Amodei wijst op GPT-2, met zijn opmerkelijk realistische automatisch gegenereerde teksten, als een voorbeeld van waarom het belangrijk is om een open geest te houden. Zuivere taal is een richting waar het veld en zelfs sommigen van ons enigszins sceptisch over waren, zegt hij. Maar nu is het zo van: 'Wauw, dit is echt veelbelovend.'
Na verloop van tijd, als verschillende weddenschappen boven andere uitstijgen, zullen ze meer intense inspanningen aantrekken. Dan gaan ze kruisbestuiven en combineren. Het doel is om steeds minder teams te hebben die uiteindelijk samensmelten tot één technische richting voor AGI. Dit is precies het proces dat het nieuwste topgeheime project van OpenAI zogenaamd al is begonnen.
Dario Amodei, onderzoeksdirecteur. Christie Hemm Klok
Het tweede deel van de strategie, legt Amodei uit, is gericht op het veilig maken van dergelijke steeds geavanceerdere AI-systemen. Dit houdt in dat ze ervoor moeten zorgen dat ze menselijke waarden weerspiegelen, de logica achter hun beslissingen kunnen uitleggen en kunnen leren zonder mensen daarbij te schaden. Teams die zich toeleggen op elk van deze veiligheidsdoelen, proberen methoden te ontwikkelen die kunnen worden toegepast op projecten naarmate ze volwassener worden. Technieken die zijn ontwikkeld door het verklaarbaarheidsteam kunnen bijvoorbeeld worden gebruikt om de logica achter de zinsconstructies van GPT-2 of de bewegingen van een robot bloot te leggen.
Amodei geeft toe dat dit deel van de strategie enigszins lukraak is, minder gebaseerd op gevestigde theorieën in het veld en meer op onderbuikgevoel. Op een gegeven moment gaan we AGI bouwen en tegen die tijd wil ik een goed gevoel hebben over deze systemen die in de wereld werken, zegt hij. Alles waar ik me momenteel niet goed voel, creëer en rekruteer een team om me daarop te concentreren.
Ondanks alle publiciteit en geheimhouding, kijkt Amodei oprecht als hij dit zegt. De mogelijkheid van mislukking lijkt hem te storen.
We zitten in de lastige positie van: we weten niet hoe AGI eruitziet, zegt hij. We weten niet wanneer het gaat gebeuren. Vervolgens voegt hij er met zorgvuldig zelfbewustzijn aan toe: De geest van een bepaalde persoon is beperkt. Het beste wat ik heb gevonden, is het inhuren van andere veiligheidsonderzoekers die vaak visies hebben die anders zijn dan het natuurlijke dat ik had kunnen bedenken. Ik wil dat soort variatie en diversiteit, want alleen zo vang je alles.
Het punt is dat OpenAI eigenlijk weinig variatie en diversiteit heeft - een feit dat op mijn derde dag op kantoor werd gehamerd. Tijdens die ene lunch die ik met de medewerkers mocht doen, ging ik ruimschoots aan de meest zichtbare diverse tafel zitten. Minder dan een minuut later realiseerde ik me dat de mensen die daar aten in feite geen OpenAI-medewerkers waren. Neuralink, de startup van Musk die werkt aan computer-herseninterfaces, deelt hetzelfde gebouw en dezelfde eetkamer.
Daniela Amodei, hoofd Personeelszaken. Christie Hemm Klok
Volgens een woordvoerder van het laboratorium is van de meer dan 120 medewerkers 25% vrouw of niet-binair. Er zijn ook twee vrouwen in het executive team en het leiderschapsteam bestaat voor 30% uit vrouwen, zei ze, hoewel ze niet specificeerde wie tot deze teams behoorde. (Alle vier C-suite executives, waaronder Brockman en Altman, zijn blanke mannen. Van de meer dan 112 werknemers die ik op LinkedIn en andere bronnen identificeerde, was het overweldigende aantal blank of Aziatisch.)
Eerlijk gezegd is dit gebrek aan diversiteit typerend voor AI. vorig jaar a verslag doen van van het in New York gevestigde onderzoeksinstituut AI Now ontdekte dat vrouwen slechts 18% van de auteurs uitmaakten op toonaangevende AI-conferenties, 20% van de AI-lectoraten en respectievelijk 15% en 10% van het onderzoekspersoneel bij Facebook en Google. Er is absoluut nog veel werk aan de winkel in de academische wereld en de industrie, zei de woordvoerder van OpenAI. Diversiteit en inclusie is iets dat we serieus nemen en we werken voortdurend aan verbetering door samen te werken met initiatieven zoals WiML, Girl Geek en ons Scholars-programma.
OpenAI heeft inderdaad geprobeerd zijn talentenpool te verbreden. Het begon zijn afgelegen Scholars-programma voor ondervertegenwoordigde minderheden in 2018. Maar slechts twee van de eerste acht wetenschappers werden fulltime werknemers, hoewel ze positieve ervaringen rapporteerden. De meest voorkomende reden om te weigeren om te blijven: de eis om in San Francisco te wonen. Voor Nadja Rhodes, een voormalig wetenschapper die nu de leidende machine learning-ingenieur is bij een in New York gevestigd bedrijf, had de stad gewoon te weinig diversiteit.
Maar als diversiteit een probleem is voor de AI-industrie in het algemeen, is het iets meer existentieel voor een bedrijf wiens missie het is om de technologie gelijkmatig over iedereen te verspreiden. Feit is dat het ontbreekt aan vertegenwoordiging van de groepen die het meeste risico lopen buitengesloten te worden.
Het is ook helemaal niet duidelijk hoe OpenAI is van plan om de voordelen van AGI aan de hele mensheid te verspreiden, zoals Brockman vaak zegt bij het aanhalen van zijn missie. De leiding spreekt hierover in vage bewoordingen en heeft weinig gedaan om de details uit te werken. (In januari, het Future of Humanity Institute aan de Universiteit van Oxford) een rapport uitgebracht in samenwerking met het laboratorium voorstellende voordelen uit te keren door een percentage van de winst uit te keren. Maar de auteurs noemden belangrijke onopgeloste problemen met betrekking tot … de manier waarop het zou worden geïmplementeerd.) Dit is mijn grootste probleem met OpenAI, zegt een voormalige medewerker, die sprak op voorwaarde van anonimiteit.
Christie There Klok
Ze gebruiken geavanceerde technische praktijken om sociale problemen met AI te beantwoorden, zegt Britt Paris van Rutgers. Het lijkt erop dat ze niet echt de capaciteiten hebben om het sociale echt te begrijpen. Ze begrijpen gewoon dat dat een soort lucratieve plek is om zich nu te positioneren.
Brockman is het ermee eens dat zowel technische als sociale expertise uiteindelijk nodig zal zijn voor OpenAI om zijn missie te bereiken. Maar hij is het er niet mee eens dat de maatschappelijke vraagstukken van meet af aan moeten worden opgelost. Hoe bak je ethiek, of deze andere perspectieven, precies in? En wanneer breng je ze binnen, en hoe? Een strategie die je zou kunnen volgen, is om vanaf het begin te proberen alles in te bakken wat je nodig zou kunnen hebben, zegt hij. Ik niet denken dat die strategie kans van slagen heeft.
Het eerste dat je moet bedenken, zegt hij, is hoe AGI er zelfs uit zal zien. Alleen dan is het tijd om ervoor te zorgen dat we de gevolgen begrijpen.
Afgelopen zomer, in de weken na de overstap naar een gemaximeerd winstmodel en de injectie van $ 1 miljard door Microsoft, verzekerde de leiding de werknemers dat deze updates de onderzoeksaanpak van OpenAI niet functioneel zouden veranderen. Microsoft was goed op één lijn met de waarden van het laboratorium en alle pogingen tot commercialisering zouden nog ver weg zijn; het nastreven van fundamentele vragen zou nog steeds de kern van het werk blijven.
Een tijdlang leken deze toezeggingen waar te zijn en gingen de projecten gewoon door. Veel medewerkers wisten niet eens welke beloften er eventueel aan Microsoft waren gedaan.
Maar de afgelopen maanden is de druk van commercialisering toegenomen en voelt de noodzaak om geld te verdienen aan onderzoek niet langer als iets in de verre toekomst. Door zijn 2020-visie voor het lab privé met werknemers te delen, is de boodschap van Altman duidelijk: OpenAI moet geld verdienen om onderzoek te doen - niet andersom.
Dit is een harde maar noodzakelijke afweging, heeft de leiding gezegd - een afweging die het moest maken bij gebrek aan rijke filantropische donoren. Het in Seattle gevestigde AI2, een non-profitorganisatie die fundamenteel AI-onderzoek ambitieus bevordert, ontvangt zijn geld van een zelfvoorzienende (althans in de nabije toekomst) pool van geld die is achtergelaten door wijlen Paul Allen, een miljardair die vooral bekend staat om zijn medeoprichters. Microsoft.
Maar de waarheid is dat OpenAI met deze afweging wordt geconfronteerd, niet alleen omdat het niet rijk is, maar ook omdat het de strategische keuze heeft gemaakt om als eerste AGI te bereiken. Die druk dwingt het om beslissingen te nemen die steeds verder weg lijken te komen van zijn oorspronkelijke bedoeling. Het neigt naar een hype in zijn haast om financiering en talent aan te trekken, bewaakt zijn onderzoek in de hoop de overhand te houden, en volgt een rekenkundig zware strategie - niet omdat het wordt gezien als de enige manier om AGI te bereiken, maar omdat het de snelste lijkt .
Toch is OpenAI nog steeds een bolwerk van talent en baanbrekend onderzoek, gevuld met mensen die oprecht streven naar het welzijn van de mensheid. Met andere woorden, het heeft nog steeds de belangrijkste elementen en er is nog tijd om het te veranderen.
Tegen het einde van mijn interview met Rhodes, de voormalige externe geleerde, vraag ik haar het enige over OpenAI dat ik niet mag weglaten uit dit profiel. Ik denk dat er naar mijn mening problemen zijn, begint ze aarzelend. Sommigen van hen komen misschien uit de omgeving waarmee het wordt geconfronteerd; sommigen van hen komen van het soort mensen dat het de neiging heeft aan te trekken en andere mensen die het weglaat.
Maar voor mij voelt het alsof ze iets een beetje goed doen, zegt ze. Ik heb het gevoel dat de mensen daar serieus proberen.
Bijwerken: We hebben enkele wijzigingen in dit verhaal aangebracht nadat OpenAI ons had gevraagd om te verduidelijken dat toen Greg Brockman zei dat hij dacht dat het niet mogelijk was om ethiek te verwerken in ... vanaf het allereerste begin bij het ontwikkelen van AI, hij bedoelde dat het zou betekenen dat ethische vragen niet konden vanaf het begin worden opgelost, niet dat ze niet vanaf het begin kunnen worden aangepakt. Ook dat hij na het verlaten van Harvard rechtstreeks naar het MIT overstapte in plaats van een jaar te wachten. Ook dat hij niet op een boerderij is opgegroeid, maar 'op een hobbyboerderij'. Brockman vindt dit onderscheid belangrijk.
Bovendien hebben we verduidelijkt dat hoewel OpenAI inderdaad 'zijn non-profitstatus heeft verloren', een bestuur dat deel uitmaakt van een non-profitentiteit er nog steeds toezicht op houdt, en dat OpenAI zijn onderzoek publiceert in de vorm van bedrijfsblogposts en, niet in in plaats van, onderzoekspapers. We hebben ook de publicatiedatum van een paper door externe onderzoekers gecorrigeerd en de affiliatie van Peter Eckersley (voormalig, niet huidig, onderzoeksdirecteur van Partnership on AI, die hij onlangs verliet).