Datamining onthult fundamenteel patroon van menselijk denken

In 1935 deed de Amerikaanse taalkundige George Zipf een opmerkelijke ontdekking. Zipf was nieuwsgierig naar de relatie tussen gewone woorden en minder voorkomende. Dus telde hij hoe vaak woorden in gewone taal voorkomen en rangschikte ze op basis van hun frequentie.

Hieruit bleek een opmerkelijke regelmaat. Zipf ontdekte dat de frequentie van een woord omgekeerd evenredig is met zijn plaats in de ranglijst. Een woord dat op de tweede plaats staat, komt dus half zo vaak voor als het meest voorkomende woord. Het als derde gerangschikte woord komt een derde zo vaak voor, enzovoort.

In het Engels is het meest populaire woord de, wat ongeveer 7 procent van alle woorden uitmaakt, gevolgd door en , wat 3,5 procent van de tijd voorkomt, enzovoort. Inderdaad, ongeveer 135 woorden zijn goed voor de helft van alle woordverschijningen. Dus een paar woorden komen vaak voor, terwijl de meeste bijna nooit voorkomen.

Maar waarom? Een intrigerende mogelijkheid is dat de hersenen gewone woorden anders verwerken en dat het bestuderen van de distributie van Zipf belangrijke inzichten in dit hersenproces zou moeten opleveren.

Er is wel een probleem. Taalkundigen zijn het er niet allemaal over eens dat de statistische verdeling van woordfrequentie het resultaat is van cognitieve processen. In plaats daarvan zeggen sommigen dat de verdeling het resultaat is van statistische fouten in verband met laagfrequente woorden, die vergelijkbare verdelingen kunnen produceren.

Wat natuurlijk nodig is, is een grotere studie over een breed scala aan talen. Zo'n grootschalig onderzoek zou statistisch krachtiger zijn en zo in staat zijn om deze mogelijkheden uit elkaar te halen.

Vandaag krijgen we zo'n onderzoek dankzij het werk van Shuiyuan Yu en collega's van de Communication University of China in Peking. Deze jongens hebben de wet van Zipf gevonden in 50 talen uit een breed scala aan taallessen, waaronder Indo-Europees, Uralic, Altaïsch, Kaukasisch, Chinees-Tibetaans, Dravidisch, Afro-Aziatisch, enzovoort.

Yu en co zeggen dat de woordfrequenties in deze talen een gemeenschappelijke structuur delen die verschilt van degene die statistische fouten zouden opleveren. Bovendien zeggen ze dat deze structuur suggereert dat de hersenen gewone woorden anders verwerken dan ongebruikelijke, een idee dat belangrijke gevolgen heeft voor de verwerking van natuurlijke taal en het automatisch genereren van tekst.

De methode van Yu en co is eenvoudig. Ze beginnen met twee grote tekstverzamelingen, het British National Corpus en het Leipzig Corpus. Deze omvatten voorbeelden uit 50 verschillende talen, elk met ten minste 30.000 zinnen en maximaal 43 miljoen woorden.

De onderzoekers ontdekten dat de woordfrequenties in alle talen een gewijzigde wet van Zipf volgen waarin de verdeling in drie segmenten kan worden verdeeld. De statistische resultaten laten zien dat de wetten van Zipf in 50 talen allemaal een structureel patroon van drie segmenten delen, waarbij elk segment onderscheidende taalkundige eigenschappen vertoont, zeggen ze Yu.

Deze structuur is interessant. Yu en co hebben geprobeerd het te simuleren met behulp van een aantal modellen voor het maken van woorden. Eén model is het aap-bij-een-typemachine-model, dat willekeurige letters genereert die woorden vormen wanneer er een spatie voorkomt.

Dit proces genereert een machtswetverdeling zoals de wet van Zipf. Het kan echter niet de structuur met drie segmenten genereren die Yu en co hebben gevonden. Evenmin kan deze structuur worden gegenereerd door fouten die zijn geassocieerd met laagfrequente woorden.

Yu en co zijn echter in staat om deze structuur te reproduceren met behulp van een model van de manier waarop de hersenen werken, de dual-process-theorie. Dit is het idee dat de hersenen op twee verschillende manieren werken.

De eerste is snel intuïtief denken waarvoor weinig of geen redenering nodig is. Men denkt dat dit type denken is geëvolueerd om mensen in staat te stellen snel te reageren in bedreigende situaties. Het biedt over het algemeen goede oplossingen voor moeilijke problemen, zoals patroonherkenning, maar kan gemakkelijk worden misleid door niet-intuïtieve situaties.

Mensen zijn echter in staat tot veel rationeler denken. Deze tweede manier van denken is langzamer, meer berekenend en weloverwogen. Het is dit soort denken dat ons in staat stelt om complexe problemen op te lossen, zoals wiskundige puzzels, enzovoort.

De dual-process theorie suggereert dat veelvoorkomende woorden als de, en, als enzovoort worden verwerkt door snel, intuïtief denken en worden dus vaker gebruikt. Deze woorden vormen een soort ruggengraat voor zinnen.

Minder vaak voorkomende woorden en zinsdelen zoals: hypothese en Wet van Zipf veel zorgvuldiger nadenken vereisen. En daardoor komen ze minder vaak voor.

Wanneer Yu en co dit tweeledige proces simuleren, leidt dit inderdaad tot dezelfde structuur met drie segmenten in de woordfrequentieverdeling die ze in 50 verschillende talen hebben gemeten.

Het eerste segment weerspiegelt de verdeling van gewone woorden, het laatste segment weerspiegelt de verspreiding van ongebruikelijke woorden en het middelste segment is het resultaat van de kruising van deze twee regimes. Deze resultaten laten zien dat de wet van Zipf in talen wordt gemotiveerd door cognitieve mechanismen zoals dubbele verwerking die menselijk verbaal gedrag bepalen, zeggen Yu en co.

Dat is interessant werk. Het idee dat het menselijk brein informatie op twee verschillende manieren verwerkt, heeft de afgelopen jaren flink aan kracht gewonnen, niet in de laatste plaats door het boek Denken, snel en langzaam door de Nobelprijswinnende psycholoog Daniel Kahneman, die dit idee in detail heeft bestudeerd.

Een bekend probleem dat wordt gebruikt om snel en langzaam denken op gang te brengen, is dit:

Een knuppel en een bal kosten in totaal $ 1,10. De knuppel kost $ 1,00 meer dan de bal. Hoeveel kost de bal?

Het antwoord is natuurlijk 5 cent. Maar bijna iedereen heeft in eerste instantie de neiging om 10 cent te denken. Dat komt omdat 10 cent ongeveer goed voelt. Het is de juiste orde van grootte en wordt gesuggereerd door de framing van het probleem. Dat antwoord komt van de snelle, intuïtieve kant van je brein.

Maar het is fout. Het juiste antwoord vereist het langzamere, meer berekenende deel van je hersenen.

Yu en co zeggen dat dezelfde twee processen betrokken zijn bij het genereren van zinnen. De snel denkend deel van jouw hersenen creëren de basis structuur van de zin ( de woorden hier gemarkeerd in stoutmoedig). De andere woorden vereisen: de langzamer, meer berekenend deel van uw brein.

Het is dit dubbele proces dat leidt tot de wet van Zipf in drie segmenten.

Dat zou interessante gevolgen moeten hebben voor computerwetenschappers die werken aan natuurlijke taalverwerking. Dit veld heeft de afgelopen jaren enorme vooruitgang geboekt. Deze zijn afkomstig van algoritmen voor machine learning, maar ook van grote databases met tekst die zijn verzameld door bedrijven als Google.

Maar het genereren van natuurlijke taal is nog steeds moeilijk. Je hoeft niet lang te chatten met Siri, Cortana of de Google Assistent om tegen hun gesprekslimieten aan te lopen.

Dus een beter begrip van hoe mensen zinnen genereren, zou aanzienlijk kunnen helpen. Zipf zou zeker gefascineerd zijn geweest.

Referentie: arxiv.org/abs/1807.01855 : De wet van Zipf in 50 talen: het structurele patroon, taalkundige interpretatie en cognitieve motivatie

zich verstoppen