Datamining onthult hoe glimlachen evolueerde tijdens een eeuw jaarboekfoto's

Datamining heeft de manier waarop we over informatie denken veranderd. Algoritmen voor machine learning banen zich nu routinematig een weg door datasets van Twitter-gesprekken, reispatronen, telefoontjes en gezondheidsdossiers, om er maar een paar te noemen. En de inzichten die dit oplevert, verbeteren ons begrip van communicatie, reizen, gezondheid, enzovoort drastisch.

Maar er is nog een andere historische dataset die grotendeels is genegeerd door de datamininggemeenschap: foto's. Dit vormt een complexere uitdaging.

Om te beginnen is de dataset enorm, 150 jaar sinds het begin van de fotografie. Bovendien kan de informatie die het bevat moeilijk te distilleren zijn, vaak omdat het te complex of te alledaags is om in woorden te beschrijven.

Tegenwoordig verandert dat dankzij het werk van Shiry Ginosar van de University of California, Berkeley, en een paar vrienden, die een pioniersrol hebben gespeeld in een machinevisie-aanpak voor het ontginnen van de gegevens in gewone foto's.

Deze jongens beginnen met een relatief eenvoudige database: Amerikaanse jaarboekfoto's van de middelbare school die dateren uit 1905. Deze jaarboekfoto's zijn op grote schaal gedigitaliseerd door lokale bibliotheken in de hele VS en tonen volledige frontale foto's van individuen in een standaardhouding.

Ginosar en co hebben meer dan 150.000 van deze portretten gedownload. Na het verwijderen van degenen die geen volledige frontale portretten waren, bleven er ongeveer 37.000 afbeeldingen over uit meer dan 800 jaarboeken uit 26 Amerikaanse staten.

Vervolgens groepeerden ze de portretten per decennium en legden ze de afbeeldingen over elkaar om een ​​gemiddeld gezicht voor elke periode te produceren. Dit proces onthulde andere gemiddelde kenmerken voor elke periode, zoals kapsel, kleding, brilstijl en zelfs gemiddelde gezichtsuitdrukkingen. De afbeelding hierboven toont deze gemiddelden voor elk decennium voor mannen en vrouwen.

De resultaten zorgen voor interessante lectuur. Een bijzonder opvallend kenmerk is de evolutie van glimlachen in jaarboekfoto's. Ginosar en co zeggen dat in de jaren na de uitvinding van de fotografie, de meeste mensen dezelfde pose aannamen die ze zouden hebben gebruikt voor een geschilderd portret - een neutrale uitdrukking die gemakkelijk gedurende een lange periode vast te houden zou zijn.

Etiquette en schoonheidsnormen dicteerden dat de mond klein moest worden gehouden, wat resulteerde in een instructie om pruimen (in plaats van kaas) te zeggen wanneer een foto werd genomen, zeggen Ginosar en co.

Maar dat veranderde in de 20e eeuw, toen fotografie populairder werd. Met name het fotobedrijf Kodak gebruikte reclame om het idee van glimlachen op foto's populair te maken, zodat de beelden gelukkige herinneringen vastlegden.

Wat de reden ook is, glimlachen is veel prominenter geworden. Tegenwoordig vinden we het vanzelfsprekend dat we moeten glimlachen wanneer onze foto wordt genomen, zeggen Ginosar en vrienden.

En de gegevens ondersteunen dat. Het team ontwikkelde een algoritme om de mate van lipkromming in de foto's te bepalen en dit toonde een duidelijke trend in toenemende glimlachintensiteit in de loop van de tijd.

De gegevens laten ook een andere trend zien. Vrouwen glimlachen significant en consequent meer dan mannen, zeggen ze. Dit is geen nieuwe ontdekking - er wordt inderdaad al tientallen jaren over gesproken.

Maar in het verleden konden de gegevens alleen worden verzameld door nauwgezette handmatige analyse van duizenden foto's. Een vergelijking met de techniek van Ginosar en co toont de kracht ervan. Door gebruik te maken van een grote historische dataverzameling en een simpele smile-detector kwamen we tot dezelfde conclusie met een minimale hoeveelheid annotaties en vrijwel geen handmatige inspanning, zeggen ze.

De gegevens laten ook andere trends zien. Ginosar en co wijzen op de evolutie van haarstijlen en zeggen dat hun datasets uitblinken: de vingergolven van de jaren '30. De pin curls van de jaren '40 en '50. De bob, winged flip, bubble cut van de jaren '60. Het lange haar, Afro's en bouffants van de jaren '70. De permanenten en pony's van de jaren '80 en '90, en het rechte lange haar in de mode in de jaren 2000.

Andere dingen zijn echter niet veranderd. De standaard dresscode voor mannen is bijvoorbeeld de hele 20e eeuw het pak gebleven.

Natuurlijk zijn er enkele beperkingen aan deze dataset. Zo haalde in de jaren 1900 minder dan 10 procent van de Amerikaanse 18-jarigen de middelbare school, maar eind jaren zestig was dit meer dan 50 procent. Bovendien was de Afro-Amerikaanse bevolking pas in het midden van de 20e eeuw vertegenwoordigd op scholen, wat een significante vertekening in de dataset veroorzaakte.

Desalniettemin bieden de werken een fascinerend inzicht in de manier waarop fotografische datasets in de toekomst zouden kunnen worden geëxploiteerd. En de evolutie van glimlachen en kapsels is nog maar het begin.

Het is niet moeilijk om andere functies te bedenken die kunnen worden geëxtraheerd uit schijnbaar alledaagse afbeeldingen. De geschiedenis van familiekiekjes bevat bijvoorbeeld waarschijnlijk een enorme database met informatie over de evolutie van behangpatronen, kleding, kinderspeelgoed, enzovoort.

Op dit moment is deze database grotendeels ongebruikt. Maar daar lijkt in de niet al te verre toekomst verandering in te komen.

Referentie: arxiv.org/abs/1511.02575 : A Century of Portraits: A Visual Historical Record of American High School Yearbooks

zich verstoppen