211service.com
IQ-testresultaat: geavanceerde AI-machine komt overeen met de score van vierjarig kind
De snelle vooruitgang in informatieverwerkingstechnologie in de afgelopen jaren heeft computerapparatuur met formidabele vermogens gecreëerd. Deze machines zijn al lang beter dan mensen in rekenen, bepaalde spellen zoals schaken en meer recentelijk in geavanceerde patroonherkenningstaken zoals gezichtsherkenning.
Maar een openstaande vraag is: in hoeverre vormen deze capaciteiten het equivalent van menselijke intelligentie? Tegenwoordig krijgen we allerlei antwoorden dankzij het werk van Stellan Ohlsson aan de Universiteit van Illinois en een paar vrienden die een van 's werelds krachtigste kunstmatige-intelligentiemachines hebben getest met behulp van een standaard IQ-test die aan mensen wordt gegeven.
De resultaten laten zien dat, hoewel computers de afgelopen jaren veel krachtiger zijn geworden, ze nog een inhaalslag moeten maken om de menselijke prestatieniveaus te evenaren.
Eerst wat achtergrond. De wetenschap van het meten van menselijke vaardigheden en prestaties staat bekend als psychometrie. Als het gaat om menselijke intelligentie, is de meest algemeen aanvaarde psychometrische test de intelligentiequotiënt of IQ-test.
Deze bestaat uit twee delen. De eerste is een reeks vragen die zijn ontworpen om verschillende aspecten van menselijke prestaties te testen. De tweede is een database met testresultaten waarmee toekomstige resultaten kunnen worden vergeleken. Dit is hoe mensen worden beoordeeld; als boven of onder het gemiddelde vergeleken met bijvoorbeeld de database.
IQ-tests zijn ook ontworpen om mensen in verschillende stadia van hun leven te testen. Het is dus onwaarschijnlijk dat een test voor volwassenen veel inzicht zal geven in de prestaties van 10- of 4-jarigen. Het proces van het ontwerpen van tests en het maken van de testresultatendatabase moet dus voor elk van deze groepen worden gedaan.
In de loop der jaren hebben computerwetenschappers een aantal AI-machines gemaakt die hebben geprobeerd een rationeel begrip te krijgen van de wereld om hen heen. Een van de meest bekende, ConceptNet genaamd, is sinds de jaren negentig in ontwikkeling bij MIT.
Om zijn intelligentie te meten, gebruikten Ohlsson en co een verbale IQ-test die bedoeld was voor kinderen om ConceptNet 4 te testen (Sindsdien is ConceptNet 5 uitgebracht).
Deze test, bekend als de Wechsler Preschool en Primary Scale of Intelligence, meet de prestaties van kinderen in vijf categorieën: informatie, woordenschat, redeneren van woorden, begrip en overeenkomsten.
De informatiecategorie bevat vragen als: Waar vind je een pinguïn?
De categorie woordenschat bevat vragen als: Wat is ___? zoals in Wat is een huis?
Bij woordredenering moet een kind iets identificeren aan de hand van drie aanwijzingen, zoals: je kunt er doorheen kijken, het is vierkant en je kunt het openen.
De overeenkomstenvragen zijn van de vorm: Maak af wat ik zeg. X en Y zijn beide ___ zoals in Voltooien wat ik zeg. Pen en potlood zijn beide ___. Dit vereist dat het kind twee concepten begrijpt en de overlap ertussen vindt.
En tot slot hebben de begripsvragen de vorm: waarom schudden mensen elkaar de hand? Dit vereist het construeren van een verklaring en gaat dus verder dan het louter opvragen van informatie.
Ohlsson en co hebben deze test afgenomen door de vragen in aangepaste vorm aan de AI-machine te geven. Dit vereiste wat programmeerwerk om de vragen te laten aansluiten bij de kennisstructuur van de computer over de wereld.
En de resultaten zorgen voor interessante lectuur. ConceptNet doet het goed op vocabulaire en overeenkomsten, matig op informatie en slecht op redeneren en begrijpen van woorden, zeggen Ohlsson en co.
Vooral de antwoorden die het gaf waren enorm gevoelig voor de manier waarop het de vraag interpreteerde. In de categorie begrip werd de machine bijvoorbeeld gevraagd Waarom schudden we handen?
Voor ConceptNet 4 komt dit neer op een zoekopdracht met betrekking tot drie concepten, twee éénwoordconcepten van shake and hand en één tweewoordconcept van shake hands. Als het al deze concepten gebruikt om naar een antwoord te zoeken, produceert het een epileptische aanval.
Maar als je de machine dwingt om alleen enkele concepten te overwegen, krijg je veel meer bevredigende antwoorden, bedankt, flirt en ontmoet een vriend.
Maar dat werkt niet altijd. In de categorie informatie werd de machine bijvoorbeeld gevraagd waar vind je een leraar?
De machine splitst dit op in een verzoek om drie verschillende concepten: die van vind en leraar en van het tweewoordige concept vind leraar. Als je dit allemaal gebruikt, geeft het het juiste antwoord als Maar als Ohlsson en co het dwingen om alleen het tweewoordige concept vind leraar te overwegen, geeft het de raadselachtige antwoorden band of piano.
Waarom het in bepaalde omstandigheden moeite heeft met dit soort redeneringen, is niet duidelijk.
Bovendien zijn veel van de verkeerde antwoorden totaal anders dan de antwoorden die kinderen zouden geven. In de categorie woord redeneren kreeg ConceptNet 4 bijvoorbeeld de volgende aanwijzingen: Dit dier heeft manen als het een mannetje is, dit is een dier dat in Afrika leeft en dit een grote geelbruine kat.
Maar de vijf belangrijkste antwoorden waren: hond, boerderij, schepsel, huis en kat.
Dat is bizar. Gezond verstand zou het antwoord op zijn minst moeten beperken tot dieren, en zou ook de simpele conclusie moeten trekken dat, als de aanwijzingen zeggen dat het een kat is, soorten katten de enige alternatieven zijn die overwogen moeten worden, zeggen Ohlsson en co.
Dit alles bracht Ohlsson en co tot een duidelijke conclusie. Het ConceptNet-systeem scoorde een WPPSI-III VIQ die gemiddeld is voor een vierjarig kind, maar onder het gemiddelde voor vijf- tot zevenjarigen, zeggen ze.
Dat is een interessant resultaat. Natuurlijk zijn er verschillende manieren waarop de test kan worden verbeterd. Een daarvan is om de computer natuurlijke taalverwerkingsmogelijkheden te geven. Dat zou de afhankelijkheid van de programmering die nodig is om de vragen in te voeren verminderen en is iets dat nu al mogelijk wordt met online assistenten zoals Siri, Cortana en Google Now.
Misschien wel het belangrijkste punt is dat dit werk is gedaan aan een versie van ConceptNet 4 die dateert uit 2012. Kunstmatige intelligentie is sindsdien snel veranderd. De belangrijkste verandering is een omschakeling van kennisvergaring naar leergedreven. Deze systemen kraken nu enorme databases met informatie om inzicht te krijgen in taal, afbeeldingen en andere aspecten van de wereld. Dit heeft geleid tot een exponentiële verbetering van de prestaties bij veel taken, zoals gezichtsherkenning.
Als we het resultaat van Ohlsson en co op het eerste gezicht nemen, heeft het 60 jaar AI-onderzoek gekost om in 2012 een machine te bouwen die in de buurt kan komen van de gezond verstand redenering van een vierjarige. Maar de aard van exponentiële verbeteringen wekt het vooruitzicht dat de komende zes jaar even dramatische verbeteringen zouden kunnen opleveren.
Dus een vraag die we dringend moeten overwegen, is: met wat voor soort AI-machine kunnen we in 2018 worstelen?
Referentie: arxiv.org/abs/1509.03390 : De prestaties van een kunstmatige-intelligentiesysteem meten op een verbale IQ-test voor jonge kinderen