211service.com
AI-machine probeert stripboeken te begrijpen … en faalt
De lijst met activiteiten waarbij kunstmatige-intelligentiemachines de mens hebben verslagen, neemt in een alarmerend tempo toe. Gezichtsherkenning, objectherkenning, schaken, Go, verschillende videogames en tal van andere taken zijn allemaal gevallen in deze strijd.
Het is dus logisch om te vragen naar het soort taken waar machines nog steeds moeite mee hebben. Waar heersen mensen nog steeds de baas?
Vandaag krijgen we een soort antwoord dankzij het werk van Mohit Iyyer aan de Universiteit van Maryland in College Park en een paar vrienden. Deze jongens vragen hoe goed kunstmatige intelligentie stripboeken kan begrijpen en kan het nauwelijks weerstaan om de lucht in te slaan door te onthullen dat de machines een slechte tweede komen in vergelijking met mensen.
Strips vertellen verhalen met behulp van een reeks panelen bestaande uit met de hand getekende en vaak sterk gestileerde afbeeldingen die heel anders van karakter zijn dan foto's. Deze panelen zijn ook geannoteerd met tekst in de vorm van tekstballonnen, tekstballonnen en verhalende kaders.
De tekst en afbeeldingen werken nauw samen; vaak zo nauwkeurig dat het verhaal niet alleen aan de hand van de plaatjes of tekst te volgen is. Zelfs dan moet de lezer significante gevolgtrekkingen en extrapolaties maken wanneer hij van paneel naar paneel springt. Veel details moeten door de lezer worden ingevuld.
Het is wat de maker van hun pagina's verbergt dat strips echt interessant maakt, de onuitgesproken gesprekken en onzichtbare acties die op de loer liggen in de ruimtes (of goten) tussen aangrenzende panelen, zeggen Iyyer en co. Het is door deze details te ontcijferen dat het verhaal in de verbeelding van de lezers wordt gesmeed.
Dit complexe proces van het bekijken van een individueel paneel en begrijpen hoe het aansluit op eerdere panelen, wordt sluiting genoemd. En voorlopig is het een uniek menselijk vermogen.
Daarom bedachten Iyyer en co een experiment om te testen hoe goed machines dit ook kunnen.
Deze jongens beginnen met het maken van een grote database met stripverhalen die ze kunnen gebruiken om deep learning-machines te trainen. Ze creëren dit met behulp van strips die tussen de jaren dertig en vijftig zijn gepubliceerd. Dit was de zogenaamde gouden eeuw van strips, die eindigde in de late jaren 1950, toen strikte censuurregels werden ingevoerd in de VS. Sindsdien is het auteursrecht op deze publicaties verlopen en ze zijn openbaar beschikbaar op een website genaamd het Digital Comics Museum in de vorm van door gebruikers geüploade jpeg's.
Iyyer en co gebruikten 4.000 van de best beoordeelde stripboeken op de site en creëerden een database van meer dan 1,2 miljoen panelen. Ze gebruiken optische tekenherkenning om de tekst op elk paneel te digitaliseren.
Om de sluiting te testen, bedenken Iyyer en co een reeks experimenten waarin een machine een reeks panelen te zien krijgt en vervolgens moet voorspellen wat er daarna komt uit een reeks mogelijke antwoorden. De taak kan zijn om de volgende afbeelding of het volgende stuk tekst te voorspellen of om de tekst te matchen met een specifiek teken.
Eerst moet de machine leren hoe strips werken. Dus voerde het team een deel van de panels en teksten door aan verschillende algoritmen voor machine learning, zodat ze konden leren hoe panels elkaar opvolgen. Deze machines zijn vooraf getraind om objecten te herkennen, maar in natuurlijke afbeeldingen in plaats van in tekenfilms.
Nadat ze de machines hebben getraind, test het team ze vervolgens op een reeks panelen die ze nog niet hebben gezien en vraagt ze om de volgende afbeelding of het volgende stuk tekst in de serie te voorspellen.
Het resultaat doet de wenkbrauwen fronsen. Hoewel mensen het volgende stuk tekst of de volgende afbeelding meer dan 80 procent van de tijd correct kunnen voorspellen, komen de machines nooit in de buurt van dit nauwkeurigheidsniveau. Geen van de architecturen presteert beter dan menselijke baselines, wat de moeilijkheid aangeeft om strips te begrijpen, zeggen Iyyer en co. Beeldkenmerken die zijn verkregen van modellen die zijn getraind op natuurlijke afbeeldingen, kunnen de enorme variatie in artistieke stijlen niet weergeven, en tekstuele modellen worstelen met de rijkdom en ambiguïteit van informele dialogen die sterk afhankelijk zijn van visuele contexten.
Dat is niet verwonderlijk gezien het gezond verstand dat nodig is om deze verhalen te volgen en de culturele kennis die nodig is om de logica van het vertellen van verhalen in strips te begrijpen.
Dus mensen zijn nog steeds meesters in deze taak, althans voorlopig.
Maar de machines zullen zeker beter worden naarmate ze de sociale en inferentievaardigheden leren waarvan we denken dat ze ons menselijk maken.
En dat roept een interessante mogelijkheid op. AI-machines hebben mensen verslagen bij schaken, Gevaar! , Go en vele andere taken. Misschien zou hun volgende uitdaging moeten zijn om strips beter te begrijpen dan mensen, en misschien zelfs om op deze manier verhalen te creëren. Dat zou Google DeepMind of een van zijn concurrenten tegenover de personages in Marvel of DC Comics plaatsen. De perfecte strijd en zeker een die leuk zou zijn.
Referentie: arxiv.org/abs/1611.05118 : The Amazing Mysteries of the Gutter: conclusies trekken tussen panelen in stripverhalen