Machine vision kan onbekende verbanden tussen klassieke kunstwerken ontdekken

Afbeelding van vier schilderijen met op dezelfde manier geposeerde onderwerpen

Een van de belangrijke vragen die kunsthistorici zich stellen, is hoe grote kunstenaars door anderen werden beïnvloed. Ze onderzoeken de stijl, inhoud en genre van het kunstwerk en zoeken naar verbindingen en invloeden tussen kunstenaars.

Dat is een complexe business. In de dagen vóór de fotografie was de enige manier om een ​​kunstwerk te kopiëren met de hand. Dit soort werk was inderdaad gebruikelijk. Kunstenaars kopieerden vaak hun eigen werk of werk van anderen in hetzelfde atelier, en kopieën waren er in overvloed.

Maar het doel van deze vorm van kopiëren was niet altijd om het origineel te reproduceren. Vaak gebruikten kunstenaars bestaande foto's als uitgangspunt voor hun eigen werk, dat de compositie of pose van het origineel zou weerspiegelen. Er zijn inderdaad veel voorbeelden van identieke menselijke figuren in dezelfde pose in totaal verschillende schilderijen.

De kunstgeschiedenis is dus een complex web van verbindingen tussen kunstenaars en hun werken, vaak in kaart gebracht in de invloeden op originele werken, gedeeltelijke kopieën en volledige kopieën.

De menselijke pose speelt hierin een belangrijke rol. Een van de taken van de kunsthistoricus is om dit web uit elkaar te halen, de menselijke poses te bestuderen die door verschillende kunstenaars worden gebruikt en een glimp op te vangen van de krachten die hen hebben beïnvloed.

Tegenwoordig wordt dat gemakkelijker dankzij het werk van Tomas Jenicek en Ondrej Chum aan de Tsjechische Technische Universiteit in Praag. Deze jongens hebben door de geschiedenis heen een machine vision-systeem gebruikt om de poses van menselijke onderwerpen in beeldende kunstschilderijen te analyseren. Vervolgens gaan ze op zoek naar andere schilderijen met mensen in dezelfde poses.

De techniek legt voorheen onbekende verbanden tussen kunst en kunstenaars bloot. Het voegt een krachtig nieuw hulpmiddel toe aan het arsenaal dat kunsthistorici kunnen gebruiken, met het potentieel om de manier waarop we de kunstgeschiedenis begrijpen te veranderen.

De methode is relatief eenvoudig en gebaseerd op de enorme databases die kunsthistorici de afgelopen jaren hebben aangelegd. Deze hebben de collecties van veel van 's werelds beste musea en galerijen gedigitaliseerd, en veel ervan zijn openlijk online beschikbaar. Deze databases zijn plotseling vatbaar voor analyse door machine-intelligentie.

Tegelijkertijd hebben andere onderzoekers machine vision-algoritmen ontwikkeld die een menselijke pose kunnen bepalen op basis van een 2D-beeld. Waarschijnlijk het meest geavanceerde is een algoritme genaamd OpenPose, een open-sourceprogramma voor realtime posedetectie in 2D-beelden, ontwikkeld aan de Carnegie Mellon University in Pittsburgh.

Jenicek en Chum gebruiken deze software om vergelijkbare poses te zoeken in een database met handmatig geannoteerde afbeeldingen. Dit fungeert als een soort gouden standaard.

Ze zeggen dat het geautomatiseerde proces gemakkelijk beter presteert dan andere manieren om vergelijkbare afbeeldingen te vinden. We laten experimenteel zien dat expliciete menselijke pose-matching superieur is aan standaard op inhoud gebaseerde methoden voor het ophalen van afbeeldingen op een handmatig geannoteerde overdrachtsdataset voor kunstcomposities, zeggen ze.

Ze gaan op zoek naar vergelijkbare poses in een online database genaamd de Web Gallery of Art, die 37.000 afbeeldingen bevat. De onderzoekers zeggen dat hun algoritme een breed scala aan verbanden tussen afbeeldingen heeft ontdekt die op andere manieren onmogelijk te identificeren zouden zijn (zie afbeelding).

Natuurlijk is het algoritme niet perfect. Het vindt een aantal valse positieven, waarbij poses in verschillende afbeeldingen op elkaar lijken, maar na visuele inspectie totaal anders blijken te zijn.

Dit is zeker niet de eerste poging om machinevisie te gebruiken om beeldende kunst te bestuderen. Onderzoekers hebben al gebruikte algoritmen om opvallende nieuwe verbanden tussen kunstwerken te vinden gebaseerd op de algemene compositie van een schilderij.

Het inschatten van menselijke poses is veel moeilijker voor machines dan het bestuderen van algemene compositie, dus het duurt langer om deze technologie toe te passen op de kunstwereld. Maar de prevalentie van mensen in de kunst is zo groot dat deze techniek een aanzienlijk potentieel heeft.

Het biedt een krachtige nieuwe manier om kunstwerken door de eeuwen heen te analyseren en te bestuderen hoe kopieën en variaties van menselijke poses kunstenaars hebben beïnvloed. Hoe kunsthistorici deze nieuwe tool gebruiken, zal fascinerend zijn om te zien.

Referentie: arxiv.org/abs/1907.03537 : Kunst verbinden via menselijke poses

zich verstoppen