211service.com
Kurzweil reageert: onderschat de singulariteit niet
Hoewel Paul Allen mijn boek uit 2005 parafraseert, De singulariteit is nabij , blijkt uit de titel van zijn essay (medegeschreven met zijn collega Mark Greaves), dat hij het boek niet echt heeft gelezen. Zijn enige citaat is een essay dat ik in 2001 schreef (The Law of Accelerating Returns) en zijn artikel erkent of reageert niet op argumenten die ik in het boek maak.
Krediet: technologiebeoordeling
Toen mijn boek uit 1999, Het tijdperk van spirituele machines, werd gepubliceerd en een paar jaar later aangevuld met het essay van 2001, leverde het verschillende regels op, zoals: Er komt een einde aan de wet van Moore, hardwarecapaciteiten kunnen exponentieel toenemen, maar software zit vast in de modder, de hersenen zijn te ingewikkeld, er zijn mogelijkheden in de hersenen die inherent niet in software kunnen worden gerepliceerd, en verschillende anderen. Ik schreef specifiek De singulariteit is nabij om op die kritiek te reageren.
Ik kan niet zeggen dat Allen noodzakelijkerwijs overtuigd zou zijn door de argumenten die ik in het boek aanvoer, maar hij had in ieder geval kunnen reageren op wat ik werkelijk schreef. In plaats daarvan biedt hij nog een keer argumenten alsof er nooit iets is geschreven om op deze problemen te reageren. Allens beschrijvingen van mijn eigen posities lijken te zijn ontleend aan mijn tien jaar oude essay. Hoewel ik bij dat essay blijf, vat Allen mijn standpunten zelfs vanuit dat essay niet correct samen.
Allen schrijft dat de Law of Accelerating Returns (LOAR)... geen fysieke wet is. Ik wil erop wijzen dat de meeste wetenschappelijke wetten geen fysieke wetten zijn, maar het resultaat zijn van de opkomende eigenschappen van een groot aantal gebeurtenissen op een fijner niveau. Een klassiek voorbeeld zijn de wetten van de thermodynamica (LOT). Als je kijkt naar de wiskunde die ten grondslag ligt aan de LOT, modelleren ze elk deeltje als een willekeurige wandeling. Dus per definitie kunnen we niet voorspellen waar een bepaald deeltje zich in de toekomst zal bevinden. Toch zijn de algemene eigenschappen van het gas zeer voorspelbaar tot een hoge mate van precisie volgens de wetten van thermodynamica. Zo is het ook met de wet van het versnellen van rendementen. Elk technologieproject en elke bijdrager is onvoorspelbaar, maar het totale traject, zoals gekwantificeerd door basismetingen van prijs, prestatie en capaciteit, volgt niettemin opmerkelijk voorspelbare paden.
Als computertechnologie door slechts een handvol onderzoekers zou worden nagestreefd, zou het inderdaad onvoorspelbaar zijn. Maar het wordt nagestreefd door een voldoende dynamisch systeem van concurrerende projecten dat een basismaat zoals instructies per seconde per constante dollar een zeer soepel exponentieel pad volgt dat teruggaat tot de Amerikaanse volkstelling van 1890. Ik bespreek de theoretische basis voor de LOAR uitgebreid in mijn boek, maar het sterkste argument wordt gemaakt door het uitgebreide empirische bewijs dat ik en anderen presenteren.
Allen schrijft dat deze ‘wetten’ werken totdat ze niet meer werken. Hier verwart Allen paradigma's met het voortdurende traject van een basisgebied van informatietechnologie. Als we de trend onderzochten om steeds kleinere vacuümbuizen te maken, het paradigma voor het verbeteren van de berekening in de jaren vijftig, is het waar dat deze specifieke trend zich voortzette totdat dit niet het geval was. Maar toen het einde van dit specifieke paradigma duidelijk werd, groeide de onderzoeksdruk voor het volgende paradigma. De technologie van transistors hield de onderliggende trend van de exponentiële groei van prijs-prestatieverhouding in stand, en dat leidde tot het vijfde paradigma (de wet van Moore) en de voortdurende compressie van functies op geïntegreerde schakelingen. Er zijn regelmatig voorspellingen gedaan dat er een einde zal komen aan de wet van Moore. De Roadmap van de halfgeleiderindustrie met de titel projecten zeven nanometer kenmerken tegen het begin van de jaren 2020. Op dat moment zullen de belangrijkste kenmerken de breedte van 35 koolstofatomen zijn, en het zal moeilijk zijn om ze verder te verkleinen. Intel en andere chipfabrikanten zetten echter al de eerste stappen in de richting van het zesde paradigma, namelijk computeren in drie dimensies om de exponentiële verbetering van de prijsprestaties voort te zetten. Intel verwacht dat driedimensionale chips tegen de tienerjaren mainstream zullen zijn. Reeds driedimensionale transistoren en driedimensionale geheugenchips zijn geïntroduceerd.
Dit zesde paradigma zal de LOAR met betrekking tot de prijsprestaties van computers op het punt houden, later in deze eeuw, dat duizend dollar aan berekeningen biljoenen keren krachtiger zal zijn dan het menselijk brein. [een] En het lijkt erop dat Allen en ik het in ieder geval eens zijn over welk rekenniveau nodig is om het menselijk brein functioneel te simuleren. [twee]
Allen gaat dan verder met het standaardargument dat software niet op dezelfde exponentiële manier vordert als hardware. In De singulariteit is nabij , Ik ga uitgebreid in op dit probleem en noem verschillende methoden voor het meten van complexiteit en mogelijkheden in software die een vergelijkbare exponentiële groei laten zien. Een recente studie (Report to the President and Congress, Designing a Digital Future: Federally Funded Research and Development in Networking and Information Technology door de President's Council of Advisors on Science and Technology) stelt het volgende:
Nog opmerkelijker - en nog minder algemeen begrepen - is dat op veel gebieden prestatieverbeteringen als gevolg van verbeteringen in algoritmen hebben zelfs de dramatische prestatieverbeteringen als gevolg van hogere processorsnelheid enorm overtroffen . De algoritmen die we tegenwoordig gebruiken voor spraakherkenning, voor natuurlijke taalvertaling, voor schaken, voor logistieke planning, zijn de afgelopen tien jaar opmerkelijk geëvolueerd … Hier is slechts één voorbeeld, gegeven door professor Martin Grötschel van Konrad-Zuse-Zentrum für Informationstechnik Berlijn. Grötschel, een expert in optimalisatie, merkt op dat een benchmarkmodel voor productieplanning dat met behulp van lineaire programmering is opgelost, in 1988 82 jaar zou hebben geduurd om op te lossen, met behulp van de computers en de lineaire programmeeralgoritmen van die tijd. Vijftien jaar later - in 2003 - kon ditzelfde model in ongeveer één minuut worden opgelost, een verbetering met een factor van ongeveer 43 miljoen. Hiervan was een factor van ongeveer 1.000 te wijten aan een hogere processorsnelheid, terwijl een factor van ongeveer 43.000 te wijten was aan verbeteringen in algoritmen! Grötschel noemt ook een algoritmische verbetering van ongeveer 30.000 voor mixed integer programming tussen 1991 en 2008. Het ontwerp en de analyse van algoritmen, en de studie van de inherente computationele complexiteit van problemen, zijn fundamentele deelgebieden van de informatica.
Ik noem nog veel meer van dit soort voorbeelden in het boek. [3]
Wat AI betreft, verwerpt Allen IBM's Watson snel als smal, rigide en broos. Ik heb het gevoel dat Allen elke demonstratie zou afwijzen als het niet geldig was voor de Turing-test. Ik wil erop wijzen dat Watson niet zo smal is. Het behandelt een breed scala aan menselijke kennis en is in staat om te gaan met subtiele vormen van taal, waaronder woordspelingen, vergelijkingen en metaforen. Het is niet perfect, maar mensen ook niet, en het was goed genoeg om een hogere score te behalen dan de beste twee mensen Gevaar! spelers bij elkaar.
Allen schrijft dat Watson door de wetenschappers zelf is samengesteld, waarbij ze elke schakel van beperkte kennis op specifieke gebieden hebben opgebouwd. Hoewel sommige delen van de kennis van Watson direct geprogrammeerd waren, heeft Watson volgens IBM de meeste van zijn kennis zelf verworven door het lezen van documenten in natuurlijke taal, zoals encyclopedieën. Dat vertegenwoordigt zijn belangrijkste kracht. Het is niet alleen in staat om de ingewikkelde taal in Gevaar! queries (antwoorden op zoek naar een vraag), maar het verwierf zijn kennis door enorme hoeveelheden documenten in natuurlijke taal te lezen. IBM werkt nu samen met Nuance (een bedrijf dat ik oorspronkelijk heb opgericht als Kurzweil Computer Products) om Watson tienduizenden medische artikelen te laten lezen om een medisch diagnosticus te creëren.
Een woord over de aard van Watsons begrip is hier op zijn plaats. Er is veel geschreven dat Watson werkt door middel van statistische kennis in plaats van echt begrip. Veel lezers interpreteren dit als een teken dat Watson slechts statistieken verzamelt over woordreeksen. De term statistische informatie in het geval van Watson verwijst naar gedistribueerde coëfficiënten in zelforganiserende methoden zoals Markov-modellen. Men zou de verspreide concentraties van neurotransmitters in de menselijke cortex net zo goed kunnen aanduiden als statistische informatie. Inderdaad, we lossen dubbelzinnigheden op vrijwel dezelfde manier op als Watson doet door de waarschijnlijkheid van verschillende interpretaties van een zin in overweging te nemen.
Allen schrijft: Elke structuur [in de hersenen] is precies gevormd door miljoenen jaren van evolutie om een bepaald ding te doen, wat het ook mag zijn. Het is niet zoals een computer, met miljarden identieke transistors in gewone geheugenarrays die worden bestuurd door een CPU met een paar verschillende elementen. In de hersenen is elke individuele structuur en elk neuraal circuit individueel verfijnd door evolutie en omgevingsfactoren.
Allens bewering dat elke structuur en elk neuraal circuit uniek is, is simpelweg onmogelijk. Dat zou betekenen dat voor het ontwerp van de hersenen honderden biljoenen bytes aan informatie nodig zijn. Toch zit het ontwerp van de hersenen (net als de rest van het lichaam) in het genoom. En hoewel de vertaling van het genoom naar een brein niet eenvoudig is, kunnen de hersenen niet meer ontwerpinformatie hebben dan het genoom. Merk op dat epigenetische informatie (zoals de peptiden die genexpressie regelen) niet noemenswaardig bijdragen aan de hoeveelheid informatie in het genoom. Ervaring en leren dragen weliswaar aanzienlijk bij aan de hoeveelheid informatie, maar hetzelfde kan worden gezegd van AI-systemen. ik laat zien De singulariteit is nabij dat na verliesloze compressie (vanwege massale redundantie in het genoom), de hoeveelheid ontwerpinformatie in het genoom ongeveer 50 miljoen bytes is, waarvan ongeveer de helft betrekking heeft op de hersenen. [4] Dat is niet eenvoudig, maar het is een complexiteitsniveau waarmee we kunnen omgaan en dat minder complexiteit vertegenwoordigt dan veel softwaresystemen in de moderne wereld.
Hoe komen we in de orde van 100 biljoen verbindingen in de hersenen uit slechts tientallen miljoenen bytes aan ontwerpinformatie? Het antwoord is natuurlijk door middel van redundantie. Er zijn in de orde van een miljard patroonherkenningsmechanismen in de cortex. Ze zijn op ingewikkelde manieren met elkaar verbonden, maar zelfs in de verbindingen is er een enorme redundantie. Het cerebellum heeft ook miljarden herhaalde patronen van neuronen. Het is waar dat de massaal herhaalde structuren in de hersenen verschillende soorten informatie leren terwijl we leren en ervaring opdoen, maar hetzelfde geldt voor kunstmatig intelligente systemen zoals Watson.
Dharmendra S. Modha, manager van cognitief computergebruik voor IBM Research, schrijft: : …neuro-anatomisten hebben geen hopeloos verward, willekeurig verbonden netwerk gevonden, volledig eigen aan de hersenen van elk individu, maar in plaats daarvan veel herhalende structuur binnen een individueel brein en veel homologie tussen soorten … De verbazingwekkende natuurlijke herconfigureerbaarheid geeft hoop dat de kernalgoritmen van neurocomputatie onafhankelijk zijn van de specifieke sensorische of motorische modaliteiten en dat veel van de waargenomen variatie in corticale structuur over gebieden een verfijning van een canoniek circuit vertegenwoordigt; het is inderdaad dit canonieke circuit dat we willen reverse-engineeren.
Allen verwoordt wat ik in mijn boek beschrijf als het pessimisme van de wetenschapper. Wetenschappers die aan de volgende generatie werken, worstelen steevast met die volgende reeks uitdagingen, dus als iemand beschrijft hoe de technologie er over 10 generaties uit zal zien, worden hun ogen glazig. Een van de pioniers van geïntegreerde schakelingen beschreef me onlangs de worsteling om meer dan 30 jaar geleden van kenmerken van 10 micron (10.000 nanometer) naar vijf micron (5.000 nanometer) te gaan. Ze waren voorzichtig overtuigd van dit doel, maar toen mensen voorspelden dat we op een dag circuits zouden hebben met afmetingen van minder dan één micron (1.000 nanometer), dachten de meeste wetenschappers die moeite hadden om tot vijf micron te komen, dat dit te wild was om te overwegen. Er werden bezwaren gemaakt tegen de kwetsbaarheid van circuits op dat niveau van precisie, thermische effecten, enzovoort. Welnu, vandaag begint Intel chips te gebruiken met een poortlengte van 22 nanometer.
Hetzelfde pessimisme zagen we bij het genoomproject. Halverwege het 15-jarige project was slechts 1 procent van het genoom verzameld en critici stelden basislimieten voor hoe snel het genoom kon worden gesequenced zonder de delicate genetische structuren te vernietigen. Maar de exponentiële groei van zowel de capaciteit als de prijsprestaties zette zich voort (beide ongeveer een verdubbeling per jaar), en zeven jaar later was het project voltooid. Het project om het menselijk brein te reverse-engineeren boekt vergelijkbare vooruitgang. Het is bijvoorbeeld pas recent dat we een drempel hebben bereikt met niet-invasieve scantechnieken dat we individuele interneuronale verbindingen in realtime kunnen zien ontstaan en afvuren.
Allens complexiteitsrem verwart het bos met de bomen. Als u een pancreas wilt begrijpen, modelleren, simuleren en opnieuw creëren, hoeft u niet elk organel in elke eilandcel van de pancreas opnieuw te creëren of te simuleren. In plaats daarvan zou je één Islet-cel volledig willen begrijpen, dan de basisfunctionaliteit ervan abstraheren en die vervolgens uitbreiden naar een grote groep van dergelijke cellen. Dit algoritme is goed begrepen met betrekking tot eilandjescellen. Er zijn nu kunstmatige alvleesklieren die dit functionele model gebruiken dat wordt getest. Hoewel er zeker veel meer complexiteit en variatie in de hersenen is dan in de massaal herhaalde eilandcellen van de pancreas, is er niettemin een massale herhaling van functies.
Allen geeft een verkeerd beeld van mijn voorstel om meer over de hersenen te leren door de hersenen te scannen om de fijne structuur ervan te begrijpen. Het is niet mijn voorstel om een heel brein bottom-up te simuleren zonder de informatieverwerkingsfuncties te begrijpen. We moeten in detail begrijpen hoe individuele soorten neuronen werken, en dan informatie verzamelen over hoe functionele modules met elkaar verbonden zijn. De functionele methoden die uit dit type analyse worden afgeleid, kunnen vervolgens richting geven aan de ontwikkeling van intelligente systemen. Kortom, we zijn op zoek naar biologisch geïnspireerde methoden die het werk in AI kunnen versnellen, waarvan een groot deel is gevorderd zonder significant inzicht in hoe de hersenen vergelijkbare functies uitvoeren. Uit mijn eigen werk op het gebied van spraakherkenning weet ik dat ons werk enorm werd versneld toen we inzicht kregen in hoe de hersenen auditieve informatie voorbereiden en transformeren.
De manier waarop deze enorm redundante structuren in de hersenen zich differentiëren, is door te leren en te ervaren. De huidige stand van zaken op het gebied van AI stelt systemen echter wel in staat om ook te leren van hun eigen ervaring. De zelfrijdende auto's van Google (die meer dan 140.000 mijl door steden en dorpen in Californië hebben gereden) leren van hun eigen rijervaring en van Google-auto's die worden bestuurd door menselijke chauffeurs. Zoals ik al zei, leerde Watson het grootste deel van zijn kennis door zelf te lezen.
Het is waar dat Watson niet helemaal op menselijk niveau is in zijn vermogen om menselijke taal te begrijpen (als dat zo was, zouden we nu op het Turing-testniveau zijn), maar het was in staat om de beste mensen te verslaan. Dit komt door de inherente snelheid en betrouwbaarheid van het geheugen dat computers hebben. Dus als een computer menselijke niveaus bereikt, wat volgens mij tegen het einde van de jaren 2020 zal gebeuren, zal hij in staat zijn om het web op te gaan en miljarden pagina's te lezen en ervaringen op te doen in online virtuele werelden. Het combineren van patroonherkenning op menselijk niveau met de inherente snelheid en nauwkeurigheid van computers zal zeer krachtig zijn. Maar dit is geen buitenaardse invasie van intelligentiemachines - we creëren deze tools om onszelf slimmer te maken. Ik denk dat Allen het met me eens zal zijn dat dit het unieke is aan de menselijke soort: we bouwen deze tools om ons eigen bereik te vergroten.
Ray Kurzweil is een uitvinder en auteur. Zijn laatste stuk voor Technologie beoordeling ging over het verouderingsproces bestrijden .
[een] Hoofdstuk 2, De singulariteit is nabij door Ray Kurzweil, Viking, 2005.
[twee] Zie Endnote 2 in The Singularity Isn't Near van Paul G. Allen en Mark Greaves.
[3] Hoofdstuk 9, De singulariteit is nabij.
[4] Hoofdstuk 4, De singulariteit is nabij.