211service.com
Ja, we maken ons zorgen over het existentiële risico van kunstmatige intelligentie
Oren Etzioni, een bekende AI-onderzoeker, klaagt over berichtgeving over mogelijke langetermijnrisico's die voortvloeien uit toekomstig succes in AI-onderzoek (zie Nee, experts denken niet dat superintelligente AI een bedreiging voor de mensheid is). Nadat hij vierkant met de vinger wees naar de Oxford-filosoof Nick Bostrom en zijn recente boek, superintelligentie , klaagt Etzioni dat Bostroms belangrijkste gegevensbron over de opkomst van intelligentie op menselijk niveau bestaat uit enquêtes naar de meningen van AI-onderzoekers. Vervolgens peilt hij de meningen van AI-onderzoekers, met het argument dat zijn resultaten die van Bostrom weerleggen.
Het is belangrijk om te begrijpen dat Etzioni niet eens de reden behandelt superintelligentie heeft de impact gehad die hij afkeurt: de duidelijke uitleg waarom superintelligente AI willekeurig negatieve gevolgen kan hebben en waarom het belangrijk is om het probleem ruim van tevoren aan te pakken. Bostrom doet niet baseren zijn zaak op voorspellingen dat bovenmenselijke AI-systemen op handen zijn. Hij schrijft: Het maakt geen deel uit van het argument in dit boek dat we op de drempel staan van een grote doorbraak in kunstmatige intelligentie, of dat we met enige precisie kunnen voorspellen wanneer een dergelijke ontwikkeling zou kunnen plaatsvinden.
Dus, naar onze mening, leidt Etzioni's artikel de lezer af van het kernargument van het boek en richt het een ad hominem-aanval op Bostrom onder het voorwendsel om zijn onderzoeksresultaten te betwisten. We vinden het nodig om het record te corrigeren. Een van ons (Russell) heeft zelfs bijgedragen aan het onderzoek van Etzioni, maar zag dat zijn reactie volledig verkeerd werd geïnterpreteerd. In feite, zoals onze gedetailleerde analyse laat zien, komen de onderzoeksresultaten van Etzioni volledig overeen met die welke Bostrom aanhaalt.
Hoe komt Etzioni dan tot zijn nieuwe conclusie? Door een onderzoeksinstrument te ontwerpen dat lager naar Bostrom en dan verkeerd interpreteren de resultaten.
De ondertitel van het artikel luidt: Als je de mensen vraagt die het echt zouden moeten weten, zul je merken dat maar weinigen geloven dat AI een bedreiging voor de mensheid is. Dus de lezer wordt ertoe gebracht te geloven dat Etzioni deze vraag stelde aan de mensen die het echt zouden moeten weten, terwijl Bostrom dat niet deed. In feite is het tegenovergestelde waar: Bostrom deed vraag het aan mensen die het echt zouden moeten weten, maar Etzioni heeft het helemaal aan niemand gevraagd. Bostrom onderzocht de top 100 van meest geciteerde AI-onderzoekers. Meer dan de helft van de respondenten zei te geloven dat er een substantiële (minstens 15 procent) kans is dat het effect van machine-intelligentie op menselijk niveau op de mensheid per saldo slecht of extreem slecht zal zijn (existentiële catastrofe). Etzioni's onderzoek, in tegenstelling tot Bostrom's, heb geen vragen gesteld over een bedreiging voor de mensheid.
In plaats daarvan stelt hij slechts één vraag over: wanneer we zullen superintelligentie bereiken. Zoals de gegevens van Bostrom al hadden voorspeld, heeft iets meer dan de helft (67,5 procent) van de respondenten van Etzioni meer dan 25 jaar lang superintelligentie bereikt. het bereiken van louter intelligentie op menselijk niveau. Een van ons (Russell) reageerde met meer dan 25 jaar op het onderzoek van Etzioni, en Bostrom schrijft zelf over zijn eigen onderzoeken: Mijn eigen mening is dat de mediane getallen die in het deskundigenonderzoek worden gerapporteerd niet voldoende waarschijnlijkheidsmassa hebben op latere aankomstdata.
Nu hij een enquête heeft ontworpen waarin respondenten naar verwachting meer dan 25 jaar zouden kunnen kiezen, springt Etzioni in zijn val: hij beweert dat 25 jaar voorbij de voorzienbare horizon is en leidt daaruit af dat noch Russell, noch Bostrom zelf gelooft dat superintelligente AI een bedreiging vormt aan de mensheid. Dit zal als een verrassing komen voor Russell en Bostrom, en vermoedelijk voor veel andere respondenten in het onderzoek. (Eerlijk, de kop van Etzioni had net zo goed kunnen zijn dat 75 procent van de experts denkt dat superintelligente AI onvermijdelijk is.) Moeten we catastrofale risico's negeren simpelweg omdat de meeste experts denken dat ze meer dan 25 jaar verwijderd zijn? Volgens de logica van Etzioni moeten we ook de catastrofale risico's van klimaatverandering negeren en degenen die ze ter sprake brengen berispen.
In tegenstelling tot de opvattingen van Etzioni en enkele anderen in de AI-gemeenschap , wijzend op langetermijnrisico's van AI is: niet gelijk aan beweren dat superintelligente AI en de bijbehorende risico's op handen zijn. De lijst van degenen die op de risico's hebben gewezen, omvat beroemdheden als Alan Turing, Norbert Wiener, I.J. Goed, en Marvin Minsky. Zelfs Oren Etzioni heeft erkende deze uitdagingen . Voor zover wij weten, heeft geen van deze ooit beweerd dat superintelligente AI op handen was. Evenmin, zoals hierboven vermeld, deed Bostrom het niet superintelligentie .
Etzioni herhaalt vervolgens het twijfelachtige argument dat doemscenario's vaak geen rekening houden met de potentiële voordelen van AI bij het voorkomen van medische fouten, het verminderen van auto-ongelukken en meer. Het argument is niet eens van toepassing op Bostrom, die voorspelt dat succes bij het beheersen van AI zal resulteren in een medelevend en juichend gebruik van de kosmische gaven van de mensheid. Het argument is ook onzin. Het is hetzelfde als beweren dat nucleaire ingenieurs die de mogelijkheid van kernsmeltingen in kerncentrales analyseren, de potentiële voordelen van goedkope elektriciteit niet in overweging nemen, en dat omdat kerncentrales ooit echt goedkope elektriciteit kunnen opwekken, we niets moeten noemen, noch eraan moeten werken om te voorkomen dat , de mogelijkheid van een meltdown.
Onze ervaring met Tsjernobyl suggereert dat het misschien onverstandig is om te beweren dat een krachtige technologie geen risico's met zich meebrengt. Het kan ook onverstandig zijn om te beweren dat een krachtige technologie nooit tot wasdom zal komen. Op 11 september 1933 beschreef Lord Rutherford, misschien wel 's werelds meest vooraanstaande kernfysicus, het vooruitzicht om energie uit atomen te halen als niets anders dan maneschijn. Minder dan 24 uur later vond Leo Szilard de door neutronen geïnduceerde nucleaire kettingreactie uit; gedetailleerde ontwerpen voor kernreactoren en kernwapens volgden enkele jaren later. Het is toch beter om te anticiperen op menselijk vernuft dan het te onderschatten, beter de risico's te erkennen dan ze te ontkennen.
Veel vooraanstaande AI-experts hebben de mogelijkheid erkend dat AI een existentieel risico vormt. In tegenstelling tot verkeerde voorstellingen in de media, hoeft dit risico niet voort te komen uit spontaan kwaadaardig bewustzijn. Het risico vloeit eerder voort uit de onvoorspelbaarheid en potentiële onomkeerbaarheid van het inzetten van een optimalisatieproces dat intelligenter is dan de mensen die de doelstellingen hebben gespecificeerd. Dit probleem is in 1960 duidelijk gesteld door Norbert Wiener en we hebben het nog steeds niet opgelost. We nodigen de lezer uit om de voortdurende inspanningen om dit te doen te steunen.
Allan Dafoe is een assistent-professor politieke wetenschappen aan de Yale University.
Stuart Russell is hoogleraar informatica aan de University of California, Berkeley.
Reactie van Oren Etzioni, 2 november 2016:
Ik ben verheugd dat professoren Dafoe & Russell en ik schijn het eens te zijn over drie cruciale zaken. Ten eerste moeten we ons onthouden van ad hominem-aanvallen. Hier moet ik mijn verontschuldigingen aanbieden: ik had de anonieme AAAI-fellow niet mogen citeren die Dr. Bostrom vergeleek met Donald Trump. Het was niet mijn bedoeling om mijn stem aan die vergelijking te lenen; Ik bood Bostrom oprecht mijn excuses aan voor deze misstap via e-mail, een verontschuldiging die hij genadig aanvaardde. Twee, als wetenschappers moeten we uitspraken over het risico van AI beoordelen op basis van gegevens. Dat was het belangrijkste punt van mijn kort artikel , en het artikel bood unieke gegevens over dit onderwerp. Ten derde zijn we het er ook over eens dat de media de implicaties van Bostroms werk verkeerd hebben voorgesteld - een onderwerp van grote zorg dat tot op zekere hoogte werd weggenomen door de Rapport van het Witte Huis over AI . Natuurlijk verschillen we van mening over veel details en de fijne kneepjes van de argumenten, maar de tijd zal het leren.