211service.com
Datamining 100 miljoen Instagram-foto's onthult wereldwijde kledingpatronen
Stel je een toekomstige antropoloog voor die toegang heeft tot biljoenen foto's van mensen - door de eeuwen heen en over de hele wereld genomen - en uitgerust met effectieve tools om deze foto's te analyseren om inzichten te verkrijgen. Welke nieuwe vragen kunnen worden beantwoord?
Dit is de droom die Kevin Matzen, Kavita Bala en Noah Snavely heeft geïnspireerd aan de Cornell University in Ithaca, New York.
Hun denken is dat de miljoenen foto's die elke dag naar sociale media worden geüpload, een fascinerend inzicht geven in de culturele, sociale en economische factoren die samenlevingen over de hele wereld vormgeven. Met krachtig genoeg machine-intelligentie, zeggen ze, zou het mogelijk moeten zijn om deze grote hoeveelheid gegevens te ontginnen voor diepgaande inzichten in onze beschaving.
Het algoritme onthult hoe kledingstijlen in de loop van de tijd veranderen
Het toeval wil dat dit soort machine-intelligentie momenteel in razend tempo opkomt. En Matzen en co hebben het aan het werk gezet door 100 miljoen foto's op Instagram te bestuderen.
De vraag die deze jongens specifiek willen beantwoorden, was hoe kledingstijlen over de hele wereld variëren, een cultureel fenomeen dat anders moeilijk te bestuderen is op deze schaal.
Hun aanpak kan bijvoorbeeld vragen beantwoorden zoals hoe de frequentie van het gebruik van sjaals in de VS in de loop van de tijd verandert, welke stijlen het meest specifiek zijn voor bepaalde regio's of steden en, omgekeerd, welke stijlen populair zijn over de hele wereld.
Om daar achter te komen, wendden Matzen en co zich tot Instagram, waardoor ze binnen vijf kilometer van een specifieke locatie en binnen vijf dagen na een bepaalde datum afbeeldingen konden downloaden.
Het team identificeerde vervolgens 44 steden om te bestuderen en downloadde in totaal 100 miljoen afbeeldingen van deze locaties in vijfdaagse vensters tussen juni 2013 en juni 2016.
Ze gebruikten een standaard gezichtsherkenningsprogramma om alle foto's die geen gezicht bevatten eruit te filteren, en ze filterden ook op een zichtbare torso, waardoor er een set van 15 miljoen foto's overbleef van mensen die de bovenste helft van hun lichaam lieten zien, samen met hun locatie en de datum.
Vervolgens trainden ze een machine learning-algoritme om verschillende soorten kleding en accessoires in afbeeldingen te herkennen. Het algoritme leerde bijvoorbeeld herkennen of mensen een jas, een sjaal, een stropdas, een bril, een hoed, enzovoort droegen. Het algoritme kan ook kleuren, halslijnstijlen en mouwlengte herkennen; kledingcategorieën zoals T-shirt, jurk of tanktop; en kledingpatronen, zoals effen, gestreept, geruit, enzovoort.
Ten slotte lieten ze de machine verliezen van de 15 miljoen foto's in hun dataset en gebruikten vervolgens een ander algoritme om clusters van afbeeldingen met vergelijkbare visuele thema's te zoeken en bij te houden hoe deze in de loop van de tijd en van de ene locatie naar de andere varieerden.
De resultaten zorgen voor interessante lectuur. Het clustering-algoritme vond zo'n 400 verschillende visuele thema's, zoals mensen die witte T-shirts en een bril dragen, of rode V-hals tops of zwarte jurken dragen, of helemaal geen tops dragen!
Matzen en co kunnen dan onderzoeken hoe deze visuele thema's per tijd en plaats variëren. Ze ontdekten bijvoorbeeld dat bepaalde kleuren periodiek variëren, waarbij zwart en bruin vaker voorkomen in de winter en wit en blauw vaker in de zomer.
Andere kleuren laten andere patronen zien. Zo daalt de populariteit van rood. En hoewel het veel minder periodiek is dan zwart of wit, wordt het van tijd tot tijd plotseling populair. Matzen en co wijzen op kleine pieken in populariteit tegen het einde van oktober en december: met andere woorden, met Halloween en Kerstmis. Wat opviel was een groot assortiment kerstmutsen en een onverwacht assortiment rode Halloween-kostuums met rode hoeden of kappen, zeggen ze.
Ze ontdekten ook een plotselinge toename in populariteit van gele shirts in Colombia en Brazilië tijdens het WK voetbal van juni/juli 2014 - de voetbalteams van beide landen dragen geel.
Ze merkten ook verschillende geografische trends op. Landen verder naar het noorden hebben meestal meer jassen, zeggen ze, vermoedelijk omdat het kouder is.
Het dragen van een hoed is ook populairder in koudere landen. Maar merkwaardig genoeg blijkt Oman in het Midden-Oosten een van de hoofdsteden van de wereld te zijn die hoeden dragen. Vooral de kuma en massar zijn populair in Oman, omdat ze een belangrijk onderdeel zijn van de nationale kleding voor mannen, zeggen Matzen en co.
Sommige kledingstukken zijn uniek voor bepaalde plaatsen: de gele, een Nigeriaanse hoofdband, is heel kenmerkend voor Lagos. En andere stijlen komen over de hele wereld en het hele jaar door voor, waaronder overhemden met blauwe kraag, geruite overhemden en zwarte T-shirts.
Dat is interessant werk dat het potentieel van machinaal leren onthult om het culturele weefsel van onze samenleving uit elkaar te halen.
Natuurlijk is deze aanpak niet perfect. Het algoritme leerde geen onderscheid te maken tussen zonnebrillen en brillen op sterkte, die verschillende rollen spelen in de samenleving. Het is onwaarschijnlijk dat de afbeeldingen representatief zijn voor de samenleving als geheel, aangezien Instagram-gebruikers sterk gericht zijn op een jongere doelgroep. En de techniek kijkt alleen naar het bovenlichaam, aangezien de benen vaak worden bijgesneden in online afbeeldingen.
Maar er is een aanzienlijk potentieel om deze tekortkomingen in toekomstige werkzaamheden te corrigeren en verder te gaan. Een voortdurende uitdaging bij machinevisie is om te bepalen of mensen staan of zitten of wat ze in het algemeen doen. Het zou ook mogelijk zijn om deze dataset te combineren met andere, zoals weer- en temperatuurdata.
Zoals Matzen en co concluderen: De combinatie van big data, machine learning, computer vision en geautomatiseerde analyse-algoritmen zou een zeer krachtige analysetool opleveren voor de visuele ontdekking van mode en vele andere gebieden.'
Het is duidelijk dat we niet hoeven te wachten op de antropologen van de toekomst.
Referentie: arxiv.org/abs/1706.01869 :StreetStyle: wereldwijde kledingstijlen verkennen op basis van miljoenen foto's