211service.com
Nu is er een IQ-test voor Siri en vrienden
Psychologen zijn het nooit precies eens geworden over de aard van de menselijke intelligentie. En zonder die overeenkomst is intelligentie moeilijk te meten. Inderdaad, de meest bekende meetmethode - het intelligentiequotiënt of IQ-test - heeft tot felle controverses geleid.
De aard van machine-intelligentie is net zo netelig. Maar het is een onderwerp waar psychologen en computerwetenschappers mee geconfronteerd worden nu intelligente machines steeds gewoner en krachtiger worden.
Dit roept een aantal vragen op. Hoe intelligent zijn deze machines en hoe verhouden ze zich in dit opzicht tot de mens?
Vandaag krijgen we een soort antwoord dankzij het werk van Feng Liu aan de Chinese Academie van Wetenschappen in Peking en een paar vrienden, die een intelligentietest hebben ontwikkeld die zowel machines als mensen kunnen afleggen. Deze jongens hebben de test gebruikt om intelligente assistenten zoals Google Assistant en Siri op dezelfde schaal te rangschikken die voor mensen wordt gebruikt.
Hun test is gebaseerd op wat de onderzoekers het standaard intelligentiemodel noemen. In dit nieuwe model moeten systemen een manier hebben om data van de buitenwereld te verkrijgen; ze moeten de gegevens kunnen omzetten in een vorm die ze kunnen verwerken; zij moeten deze kennis op een innovatieve manier kunnen gebruiken; en ten slotte moeten ze de resulterende kennis terugvoeren naar de buitenwereld.
Dit komt neer op het kunnen verzamelen van gegevens, het beheersen ervan, er creativiteit over uitoefenen en vervolgens een output produceren.
Als een systeem [deze] kenmerken heeft, kan het worden gedefinieerd als een standaard intelligentiesysteem, zeggen Feng en co.
De onderzoekers ontwikkelden een test die het vermogen van een machine (of een mens) meet om al deze dingen te doen. Dit is waar de details een beetje wazig worden. Ze zeggen niet wat voor soort tests ze gebruiken.
Maar ze gaan verder met te zeggen dat ze sinds 2014 intelligente assistenten testen. Deze machines omvatten die van Google, Baidu, Sogou, Apple en Microsoft. Ze hebben ook mensen op dezelfde manier getest, en hierdoor kunnen ze ze allemaal op dezelfde schaal rangschikken.
De ranglijst van 2016 - de meest recente test die ze publiceren - is als volgt.
- Mens 18 jaar oud 97
- Mens 12 jaar oud 84,5
- Mens 6 jaar oud 55,5
- Google 47.28
- Baidu's Duer 37.2 '
- Baidu 32.92
- Sogou 32.25
- Bing 31.98
- Microsoft's Xiaobing 24.48
- Apple's Siri 23.94 '
Dus op deze schaal presteert zelfs een zesjarige mens beter dan de meest geavanceerde digitale assistent, in dit geval die van Google. Apple ondersteunt deze ranglijst en wordt schijnbaar overtroffen door al zijn belangrijkste concurrenten.
Een belangrijk punt is dat machine-intelligentie snel verbetert. In 2014 scoorde de assistent van Google 26,4 in deze test. Slechts twee jaar later scoorde het 47,28, niet ver achter een zesjarige. Dat is een aanzienlijke stijging.
Sindsdien heeft Google een aantal verbeteringen aangebracht aan zijn assistent, waardoor de bruikbaarheid ervan toeneemt. Het zal interessant zijn om te zien hoe deze machines presteren in de ranglijst van 2017.
Maar alleen als deze methode aan geloofwaardigheid wint. De geheimhouding van Feng en co is misschien begrijpelijk in die zin dat het onthullen van de tests het eenvoudig zou maken om ze te spelen. Aan de andere kant, zonder te weten hoe het testen werkt, is het moeilijk te geloven in het nut ervan.
Feng en co zouden er verstandig aan doen meer details te publiceren - misschien zelfs een reeks voorbeeldvragen. Zonder dat zal de heersende opvatting over dit werk sceptisch zijn.
Referentie: arxiv.org/abs/1709.10242 : Intelligentiequotiënt en intelligentiegraad van kunstmatige intelligentie