Deep Learning Machine verslaat mensen in IQ-test

Iets meer dan 100 jaar geleden introduceerde de Duitse psycholoog William Stern de intelligentiequotiënttest als een manier om menselijke intelligentie te evalueren. Sindsdien zijn IQ-tests een standaardkenmerk van het moderne leven geworden en worden ze gebruikt om de geschiktheid van kinderen voor scholen en het vermogen van volwassenen om banen uit te voeren te bepalen.

Deze tests bevatten meestal drie categorieën vragen: logische vragen zoals patronen in reeksen afbeeldingen, wiskundige vragen zoals het vinden van patronen in reeksen getallen en verbale redeneervragen, die gebaseerd zijn op analogieën, classificaties, evenals synoniemen en antoniemen.

Het is deze laatste categorie die geïnteresseerd is in Huazheng Wang en vrienden van de Universiteit voor Wetenschap en Technologie van China en Bin Gao en vrienden bij Microsoft Research in Peking. Computers zijn hier nooit goed in geweest. Stel een verbale redeneringsvraag aan een natuurlijke taalverwerkingsmachine en de prestatie zal slecht zijn, veel slechter dan het gemiddelde menselijke vermogen.

Tegenwoordig verandert dat dankzij Huazheng en vrienden die een deep learning-machine hebben gebouwd die voor het eerst beter presteert dan het gemiddelde menselijke vermogen om verbale redeneringsvragen te beantwoorden.

In de afgelopen jaren hebben computerwetenschappers dataminingtechnieken gebruikt om enorme corpussen teksten te analyseren om de verbanden te vinden tussen woorden die ze bevatten. Dit geeft hen met name grip op de statistieken van woordpatronen, zoals hoe vaak een bepaald woord in de buurt van andere woorden voorkomt. Hieruit kan worden afgeleid hoe woorden zich tot elkaar verhouden, zij het in een enorme parameterruimte.

Het eindresultaat is dat woorden kunnen worden gezien als vectoren in deze hoogdimensionale parameterruimte. het voordeel is dat ze dan wiskundig kunnen worden behandeld: vergeleken, opgeteld, afgetrokken zoals andere vectoren. Dit leidt tot vectorrelaties zoals deze: koning – man + vrouw = koningin.

Deze aanpak is enorm succesvol geweest. Google gebruikt het voor automatische taalvertaling door aan te nemen dat woordreeksen in verschillende talen, weergegeven door vergelijkbare vectoren, een equivalente betekenis hebben. Het zijn dus vertalingen van elkaar.

Maar deze benadering heeft een bekende tekortkoming: het gaat ervan uit dat elk woord een enkele betekenis heeft die wordt weergegeven door een enkele vector. Niet alleen is dat vaak niet het geval, verbale tests hebben de neiging zich te concentreren op woorden met meer dan één betekenis als een manier om vragen moeilijker te maken.

Huazheng en vrienden pakken dit aan door elk woord te nemen en te zoeken naar andere woorden die vaak in de buurt verschijnen in een groot corpus tekst. Vervolgens gebruiken ze een algoritme om te zien hoe deze woorden zijn geclusterd. De laatste stap is om de verschillende betekenissen van een woord in een woordenboek op te zoeken en vervolgens de clusters aan elke betekenis te koppelen.

Dit kan automatisch worden gedaan omdat de woordenboekdefinitie voorbeeldzinnen bevat waarin het woord op verschillende manieren wordt gebruikt. Dus door de vectorrepresentatie van deze zinnen te berekenen en ze te vergelijken met de vectorrepresentatie in elk cluster, is het mogelijk om ze te matchen.

Het algemene resultaat is een manier om de verschillende betekenissen te herkennen die sommige woorden kunnen hebben.

Huazheng en vrienden hebben nog een truc in petto om het voor een computer gemakkelijker te maken om verbale redeneringsvragen te beantwoorden. Dit komt omdat deze vragen in verschillende categorieën vallen die enigszins verschillende benaderingen vereisen om op te lossen.

Dus hun idee is om te beginnen met het identificeren van de categorie van elke vraag, zodat de computer dan weet welke antwoordstrategie hij moet gebruiken. Dit is eenvoudig omdat de vragen in elke categorie een vergelijkbare structuur hebben.

Dus vragen die betrekking hebben op analogieën zijn als volgt:

Isotherm is op temperatuur zoals isobar is? (i) atmosfeer, (ii) wind, (iii) druk, (iv) breedtegraad, (v) stroom.

en

Identificeer twee woorden (één uit elke reeks haakjes) die een verband vormen (analogie) wanneer ze worden gecombineerd met de woorden in hoofdletters: HOOFDSTUK (boek, vers, lezen), ACT (toneel, publiek, toneelstuk).

Vragen over woordclassificatie zijn als volgt:

Welke past niet in het rijtje? (i) kalm, (ii) rustig, (iii) ontspannen, (iv) sereen, (v) onverstoorbaar.

En vragen die op zoek zijn naar synoniemen en antoniemen zijn als volgt:

Welk woord komt het dichtst bij IRRATIONEEL? (i) onverzettelijk, (ii) onherstelbaar, (iii) onveilig, (iv) verloren, (v) onzinnig.

En

Welk woord is het meest tegengesteld aan MUZIEK? (i) dissonant, (ii) luid, (iii) lyrisch, (iv) verbaal, (v) welluidend.

Het vinden van elk type vraag is relatief eenvoudig voor een machine learning-algoritme, als er genoeg voorbeelden zijn om van te leren. En dit is precies hoe Huazheng en co het doen.

Nadat ze het type vraag hebben geïdentificeerd, bedenken Huazheng en vrienden een algoritme om elke vraag op te lossen met behulp van de standaard vectormethoden, maar ook met de multi-sense-upgrade die ze hebben ontwikkeld.

Ze vergelijken deze deep learning-techniek met andere algoritmische benaderingen van verbale redeneringstests en ook met het vermogen van mensen om het te doen. Hiervoor stelden ze de vragen aan 200 mensen die waren verzameld via Amazon's Mechanical Turk crowdsourcing-faciliteit, samen met basisinformatie over hun leeftijd en educatieve achtergrond.

En de resultaten zijn indrukwekkend. Tot onze verbazing zijn de gemiddelde prestaties van mensen iets lager dan die van onze voorgestelde methode, zeggen ze.

Menselijke prestaties op deze tests hebben de neiging om te correleren met opleidingsachtergrond. Dus mensen met een middelbare schoolopleiding doen het meestal het minst goed, terwijl degenen met een bachelordiploma het beter doen en degenen met een doctoraat het best. Ons model kan het intelligentieniveau bereiken tussen de mensen met de bachelor-graden en die met de master-graden, zeggen Huazheng en co.

Dat is fascinerend werk dat het potentieel van deep learning-technieken onthult. Huazheng en co zijn duidelijk optimistisch over toekomstige ontwikkelingen. Met het juiste gebruik van de deep learning-technologieën kunnen we een verdere stap dichter bij de echte menselijke intelligentie komen.

Deep learning-technieken gaan momenteel als een lopend vuurtje door de computerwetenschap en de revolutie die ze creëren staat nog in de kinderschoenen. Het is niet te zeggen waar deze revolutie ons zal brengen, maar één ding is zeker: William Stern zou versteld staan.

Referentie: arxiv.org/abs/1505.07909 : Vragen over verbaal begrip oplossen in IQ-test door op kennis gebaseerde woordinbedding

zich verstoppen