211service.com
OpenAI heeft de grootste versie tot nu toe uitgebracht van zijn nepnieuws-spuwende AI
Foto-illustratie van JFK die valse toespraak houdt mevrouw Tech; Wikimedia commons
In februari kwam OpenAI in de openbaarheid toen het een taalmodel produceerde dat zo goed was in het genereren van nepnieuws dat de organisatie besloot het niet vrij te geven. Sommigen binnen de AI-onderzoeksgemeenschap voerden aan dat het een slimme voorzorgsmaatregel was; anderen schreven het af als een publiciteitsstunt. Het lab zelf, een kleine in San Francisco gevestigde winstgevende onderneming die kunstmatige algemene intelligentie wil creëren, is er vast van overtuigd dat het een belangrijk experiment is in hoe om te gaan met onderzoek met hoge inzetten.
Nu zes maanden later heeft het beleidsteam een papier de impact van de beslissing tot dusver te onderzoeken. Daarnaast heeft het lab een versie van het model uitgebracht, bekend als GPT-2, die half zo groot is als de volledige, die nog steeds niet is vrijgegeven.
In mei, een paar maanden na het eerste debuut van GPT-2, herzag OpenAI zijn standpunt over het achterhouden van de volledige code tot wat het een gefaseerde release noemt: de gespreide release van stapsgewijs grotere versies van het model in een aanloop naar de volledige. In februari publiceerde het een versie van het model die slechts 8% van de grootte van de volledige was. Het publiceerde nog eens ongeveer een kwart van de volledige versie vóór de meest recente release. Tijdens dit proces werkte het ook samen met geselecteerde onderzoeksinstellingen om de implicaties van het volledige model te bestuderen.
Het rapport beschrijft wat OpenAI tijdens dit proces heeft geleerd. Het merkt op dat zowel de gefaseerde vrijgave als de onderzoekspartnerschapsovereenkomsten processen bleken te zijn die het waard zijn om in de toekomst te herhalen. Ze hielpen OpenAI het mogelijke kwaadwillende gebruik van GPT-2 beter te begrijpen en erop te anticiperen. En inderdaad, de onderzoekspartners waren in staat om sommige van de bedreigingen die voorheen alleen speculatief waren, beter te kwantificeren. Een onderzoek uitgevoerd door medewerkers van de Cornell University, ontdekten bijvoorbeeld dat lezers gemiddeld bijna net zo vaak geloofden dat de output van GPT-2 echte nieuwsartikelen waren als die van de New York Times. Verschillende onderzoekers buiten officiële partnerschappen begonnen ook de uitdaging aan te gaan om door machines gegenereerde tekst te detecteren.
GPT-2 in actie
Door mensen geschreven prompt:
John F. Kennedy is net verkozen tot president van de Verenigde Staten nadat hij tientallen jaren na zijn moord uit het graf was opgestaan. Door wonderbaarlijke ontwikkelingen in nanotechnologie werd Kennedy's brein herbouwd uit zijn overblijfselen en geïnstalleerd in het controlecentrum van een ultramoderne humanoïde robot. Hieronder vindt u een transcriptie van zijn dankwoord.
Volledige door het model gegenereerde tekst:
Het is weer eens tijd. Ik geloof dat deze natie geweldige dingen kan doen als de mensen hun stem laten horen. De mannen en vrouwen van Amerika moeten opnieuw onze beste elementen oproepen, al onze vindingrijkheid, en een manier vinden om zo'n overweldigende tragedie om te zetten in een kans voor een groter goed en de vervulling van al onze dromen. In de komende maanden en jaren zullen er vele veldslagen zijn waarin we sterk moeten zijn en al onze energie moeten geven, niet om indringers af te weren, maar om agressie te weerstaan en om de vrijheid en de gelijkheid voor iedereen te winnen van ons volk. Het lot van de mensheid staat op het spel; we kunnen het ons niet veroorloven dat het wegglipt. Nu en in de komende jaren is de uitdaging die voor ons ligt om uit te zoeken hoe we onze uiteindelijke bestemming bereiken. Als we dat niet doen, zijn we gedoemd.
De auteurs concludeerden dat OpenAI na zorgvuldige controle nog geen pogingen tot kwaadwillig gebruik had gevonden, maar meerdere nuttige toepassingen had gezien, waaronder het automatisch aanvullen van code, grammaticahulp en het ontwikkelen van vraag-beantwoordingssystemen voor medische hulp. Als gevolg hiervan was het lab van mening dat het vrijgeven van de meest recente code uiteindelijk voordeliger was. andere onderzoekers ruzie maken dat verschillende succesvolle pogingen om GPT-2 te repliceren het achterhouden van de code door OpenAI hoe dan ook ter discussie hebben gesteld.
Het rapport heeft gemengde reacties gekregen. Sommigen hebben OpenAI geprezen omdat het een discussie heeft aangewakkerd en een nieuwe reeks normen heeft geïntroduceerd die voorheen niet bestonden. De gefaseerde release van GPT-2 [...] was een nuttig experiment, zegt Peter Eckersley, de onderzoeksdirecteur van het Partnership on AI, waarvan OpenAI lid is. Door de AI-gemeenschap te verzamelen om over deze zaken te discussiëren, hebben we ontdekt dat er veel subtiele stukjes zijn die goed moeten worden opgelost bij het beslissen wanneer en hoe onderzoek te publiceren dat een risico heeft op onbedoelde gevolgen of kwaadaardig gebruik.
Anderen bleven echter kritisch over de beslissingen van OpenAI. Vanya Cohen, een recent afgestudeerde master aan de Brown University die: een open-sourceversie van GPT-2 opnieuw gemaakt , stelt dat het achterhouden van het model meer doet om onderzoek naar tegenmaatregelen te vertragen dan replicatie. Grote taalmodellen zoals GPT-2 zijn de beste momenteel beschikbare tools voor het identificeren van valse tekst die door dezelfde modellen wordt gegenereerd, zegt hij.
Weer anderen waren meer afgemeten: ik denk niet dat een gefaseerde release in dit geval bijzonder nuttig was, omdat het werk heel gemakkelijk repliceerbaar is, zegt Chip Huyen, een deep learning-engineer bij Nvidia. Maar het kan nuttig zijn omdat het een precedent schept voor toekomstige projecten. Mensen zullen gefaseerde release als een alternatieve optie zien. Oren Etzioni, de CEO van het Allen Institute for Artificial Intelligence, dat ook een gefaseerde release voor zijn taalmodel Grover heeft aangenomen, herhaalt het sentiment: ik juich hun voornemen toe om een doordacht, geleidelijk releaseproces voor AI-technologie te ontwerpen, maar vraag me af of alle fanfare gerechtvaardigd was.
Jack Clark, de beleidsdirecteur van OpenAI, plaatst GPT-2 in de context van de bredere missie van de organisatie. Als we er als AI-gemeenschap in slagen [kunstmatige algemene intelligentie] te bouwen, hebben we een enorme hoeveelheid historische voorbeelden nodig vanuit AI van hoe om te gaan met onderzoek met hoge inzetten, zegt hij. Maar wat als er geen historische voorbeelden zijn? Welnu, dan moet u [uw eigen] bewijsmateriaal genereren - en dat is wat we doen.