211service.com
Het machinevisie-algoritme verslaat kunsthistorici in hun eigen spel
Weinig gebieden van academisch onderzoek zijn ontsnapt aan de invloed van informatica en machine learning. Maar een daarvan is de kunstgeschiedenis. De uitdaging om schilderijen te analyseren, hun kunstenaars te herkennen en hun stijl en inhoud te identificeren, was altijd buiten het vermogen van zelfs de meest geavanceerde algoritmen.
Dat is nu aan het veranderen dankzij recente ontwikkelingen in machine learning op basis van benaderingen zoals diepe convolutionele neurale netwerken. In slechts een paar jaar tijd hebben computerwetenschappers machines gemaakt die in staat zijn om mensen te evenaren en soms zelfs te overtreffen in allerlei patroonherkenningstaken.
Tegenwoordig zien we hoe geavanceerd deze benaderingen zijn geworden in de handen van Babak Saleh en Ahmed Elgammal van de Rutgers University in New Jersey. Deze jongens hebben deze nieuwe machine learning-technieken gebruikt om algoritmen te trainen om de kunstenaar en stijl van een kunstschilderij te herkennen met een nauwkeurigheid die nog nooit eerder is bereikt.
Bovendien onthullen de resultaten verbanden tussen kunstenaars en tussen hele schilderstijlen, die kunsthistorici jarenlang hebben geprobeerd te begrijpen.
Saleh en Elgammal beginnen met een database met afbeeldingen van meer dan 80.000 schilderijen van meer dan 1.000 kunstenaars verspreid over 15 eeuwen. Deze schilderijen beslaan 27 verschillende stijlen, elk met meer dan 1.500 voorbeelden. De onderzoekers rangschikken de werken ook naar genre, zoals interieur, stadsgezicht, landschap, enzovoort.
Ze nemen vervolgens een subset van de afbeeldingen en gebruiken deze om verschillende soorten geavanceerde algoritmen voor machine learning te trainen om bepaalde functies te selecteren. Deze omvatten algemene kenmerken op laag niveau, zoals de algehele kleur, evenals meer geavanceerde kenmerken die de objecten in de afbeelding beschrijven, zoals een paard en een kruis. Het eindresultaat is een vectorachtige beschrijving van elk schilderij dat 400 verschillende afmetingen bevat.
De onderzoekers testen het algoritme vervolgens op een set schilderijen die het nog niet heeft gezien. En de resultaten zijn indrukwekkend. Hun nieuwe aanpak kan de kunstenaar nauwkeurig identificeren in meer dan 60 procent van de schilderijen die hij ziet en de stijl in 45 procent van hen identificeren.
Maar cruciaal is dat de machine-learningbenadering inzicht geeft in de aard van beeldende kunst die anders zelfs voor mensen moeilijk te ontwikkelen is. Dit komt door het analyseren van de schilderijen die het algoritme moeilijk te classificeren vindt.
Saleh en Elgammal zeggen bijvoorbeeld dat hun nieuwe aanpak het moeilijk vindt om onderscheid te maken tussen werken van Camille Pissarro en Claude Monet. Maar een beetje onderzoek naar deze kunstenaars onthult al snel dat beide actief waren in Frankrijk aan het einde van de 19e en het begin van de 20e eeuw en dat ze beiden de Académie Suisse in Parijs bezochten. Een deskundige weet misschien ook dat Pissarro en Monet goede vrienden waren en veel ervaringen deelden die hun kunst beïnvloedden. Het feit dat hun werk vergelijkbaar is, is dus geen verrassing.
Een ander voorbeeld: de nieuwe benadering verwart werken van Claude Monet en de Amerikaanse impressionist Childe Hassam, die sterk beïnvloed blijkt te zijn door de Franse impressionisten en Monet in het bijzonder. Dit zijn links die een mens enige tijd nodig heeft om te ontdekken.
De algoritmische benadering vindt ook verbanden tussen bepaalde artistieke stijlen. Het verwart bijvoorbeeld vaak voorbeelden van abstract expressionisme en action paintings, waarbij kunstenaars verf druppelen of smijten en op het doek stappen. Saleh en Elgammal zeggen opnieuw dat dit soort verwisseling volkomen begrijpelijk zou zijn voor een menselijke kijker. 'Action painting' is een type of subgenre van abstract expressionisme', merken ze op.
Het algoritme pikt nog tal van andere overeenkomsten op. Het verbindt expressionisme en fauvisme, wat te verwachten was aangezien laatstgenoemde stroming vaak als een vorm van expressionisme wordt beschouwd. Het verbindt de maniëristische en renaissancestijlen, wat duidelijk weerspiegelt dat het maniërisme een vorm van vroege renaissanceschilderkunst is.
En het vindt andere, meer directe verbanden, bijvoorbeeld tussen renaissance- en vroege renaissanceschilderijen, tussen impressionisme en post-impressionisme, en tussen kubisme en zijn latere manifestatie, synthetisch kubisme.
Deze connecties zijn goed bekend bij kunsthistorici, maar alleen vanwege vele decennia, of zelfs eeuwen, van wetenschap. De machine learning-aanpak beslaat daarentegen slechts een paar maanden.
Dat heeft belangrijke implicaties voor de studie van de kunstgeschiedenis. Een toepassing van de nieuwe algoritmen is het uitkiezen van schilderijen met vergelijkbare kenmerken (zie afbeeldingen). Dat biedt historici een nieuw en krachtig hulpmiddel om invloeden tussen kunstenaars te zoeken waarvan ze zich misschien nooit bewust waren.
Het maakt ook een nieuwe vorm van kunstverkenning mogelijk, waarbij van het ene naar het andere vergelijkbare beeld wordt gesprongen, in een proces dat visueel equivalent is aan het vinden van synoniemen.
Fascinerende dingen!
Referentie: arxiv.org/abs/1505.00855 : Grootschalige classificatie van kunstschilderijen: de juiste maatstaf voor de juiste functie leren