Cuando una maquina con un algoritmo de aprendizaje estudia arte, ve cosas que los historiadores de arte pasan por alto
La inteligencia artificial revela influencias entre grandes artistas nunca antes vistas
La tarea de clasificar piezas de arte es enormemente compleja. Al examinar una pintura, un experto en arte por lo general puede determinar su estilo, su género, el artista y el período al que pertenece. Los historiadores del arte a menudo van más allá buscando influencias y conexiones entre los artistas, tarea que es aún más difícil.
Bacon
Así que la posibilidad de que un ordenador pueda ser capaz de clasificar pinturas y encontrar conexiones entre ellas a primera vista parece una broma. Y sin embargo, eso es exactamente lo Babak Saleh y sus amigos han hecho en la Universidad de Rutgers en Nueva Jersey.
Estos chicos han utilizado algunas de las últimas técnicas de procesamiento y clasificación de imágenes para automatizar el proceso de descubrir cómo los grandes artistas se han influenciado mutuamente. Incluso han sido capaces de descubrir influencias entre artistas que los historiadores del arte nunca habían reconocido hasta ahora.
La forma en que los expertos en arte abordan este problema es comparando obras de arte según una serie de conceptos de alto nivel, como el uso del espacio, textura, formato, forma, color y así sucesivamente. Los expertos también pueden considerar la forma en que el artista utiliza el movimiento en la imagen, la armonía, la variedad, el equilibrio, el contraste, la proporción y el patrón. Otros elementos importantes pueden incluir el material, las pinceladas, el significado, el contexto histórico y demás. Claramente, se trata de un asunto complejo.
Así, es fácil imaginar que la capacidad limitada de los ordenadores para analizar imágenes bidimensionales haría este proceso más o menos imposible de automatizar. Pero Salah y cía nos enseñan cómo se puede hacer.
La esencia de su método es una nueva técnica desarrollada en el Dartmouth College en New Hampshire y en Microsoft Research en Cambridge, Reino Unido, para la clasificación de imágenes según los conceptos visuales que contienen. Estos conceptos son llamados clasemas e incluyen todo, desde la simple descripción de objetos, tales como pato, disco volador, hombre, carretilla, hasta tonos de color o descripciones de nivel superior, como cuerpo muerto, cuerpo de agua, caminar, y así sucesivamente.
De esta forma, comparar las imágenes es un proceso de comparación de las palabras que las describen, para lo que hay una serie de técnicas bien establecidas.
Salah y cía aplican este enfoque a más de 1.700 pinturas de 66 artistas que trabajan en 13 estilos diferentes. Juntos, estos artistas cubren el período desde principios del siglo 15 hasta el siglo 20. Para crear un sustento sobre el que medir sus resultados, también recopilan opiniones de expertos sobre cuál de estos artistas ha influido en los demás.
Para cada cuadro, limitan el número de conceptos y puntos de interés generados por su método a 3000 para favorecer la eficiencia computacional. Este proceso genera una lista de palabras descriptivas que pueden considerarse como una especie de vector. La tarea consiste en buscar vectores similares usando técnicas de lenguaje natural y un algoritmo de aprendizaje automático.
Determinar la influencia es más difícil, ya que la influencia es en sí misma un concepto difícil de definir. ¿Se considera que un artista influye en otro si una pintura tiene gran similitud con otra? O debe haber una serie de pinturas similares y, si es así, ¿cuántas?
Así Saleh y cía experimentan con cierto número de métricas diferentes. Terminan por crear gráficos bidimensionales con métricas de diferentes tipos en cada eje y trazan la posición de todos los artistas en este espacio para ver la forma en que se agrupan.
Los resultados son interesantes. En muchos casos, su algoritmo identifica claramente las influencias que los expertos en arte que ya han encontrado. Por ejemplo, los gráficos muestran que el pintor austriaco Klimt está cerca de Picasso y Braque y, efectivamente, los expertos están bien familiarizados con la idea de que Klimt fue influenciado por estos dos artistas. El algoritmo también identifica la influencia de romántico francés Delacroix en el impresionista francés Bazille, la influencia del pintor noruego Munch en el alemán Beckmann y la influencia de Degas en Caillebotte.
El algoritmo también es capaz de identificar pinturas individuales que han influido en otras. Se escogió Hombre con Violín de Georges Braque y Naturaleza Muerta Española: Sol y Sombra de Pablo Picasso, ambos pintados en 1912 con un conocido punto en común como imágenes que ayudaron a fundar el movimiento cubista.
También se encontró un vínculo entre Viejo Viñedo con Campesina (1890) de Vincent van Gogh (arriba a la izquierda) y La Granja (1922) de Joan Miró, que contienen objetos y paisajes similares, pero tienen ambientes y estilos muy diferentes.
El vínculo más impresionante que encuentra el algoritmo es entre Lo más impresionante de todo es el enlace del algoritmo hace entre Studio 9 Rue de la Condamine (1870) de Frederic Bazille (abajo a la izquierda) y Shuffleton’s Barber Shop (1950) de Norman Rockwell. «Tras navegar por muchas publicaciones y sitios web, llegamos a la conclusión, por lo que habíamos averiguado, que esta comparación no había sido hecha antes por ningún historiador del arte», dicen Saleh y cía.
Y sin embargo, una simple inspección visual muestra una clara relación. Los círculos amarillos en las imágenes de abajo muestran objetos similares, las líneas rojas muestran la composición y el cuadrado azul muestra un elemento estructural similar, dicen Saleh y cía.
Esto es interesante. Por supuesto, Saleh y cía no afirman que este tipo de algoritmo pueda sustituir a un historiador de arte. En definitiva, el descubrimiento de un vínculo entre las pinturas de esta manera es sólo el punto de partida para futuras investigaciones sobre la vida y obra de un artista.
Pero sin duda es una visión fascinante de la forma en que las técnicas de aprendizaje automático pueden arrojar nueva luz sobre un tema tan grande y bien estudiado como la historia del arte.
Ref: arxiv.org/abs/1408.3218 : Toward Automated Discovery of Artistic Influence
Siga el Blog Física arXiv en Twitter @arxivblog, en Facebook y pulsando el botón Follow aquí debajo.
