La inteligencia artificial reconocer¨¢ el arte gracias a la ciencia ciudadana

¡°Nuestro gran reto es dotar a la inteligencia artificial (IA) de sentido com¨²n¡±, explica el investigador del Barcelona Supercomputing Center (BSC), Joaquim Mor¨¦. Este experto en ling¨¹¨ªstica computacional comprob¨® hasta qu¨¦ punto las m¨¢quinas son incapaces de contextualizar al realizar una prueba de reconocimiento de im¨¢genes con la obra San Jorge matando al drag¨®n de Rafael. ¡°El casco lo identificaba como el casco de un motorista y el drag¨®n situado al pie del caballo como un perrito¡±, recuerda.

La raz¨®n de los errores de interpretaci¨®n que comete la IA...

¡°Nuestro gran reto es dotar a la inteligencia artificial (IA) de sentido com¨²n¡±, explica el investigador del Barcelona Supercomputing Center (BSC), Joaquim Mor¨¦. Este experto en ling¨¹¨ªstica computacional comprob¨® hasta qu¨¦ punto las m¨¢quinas son incapaces de contextualizar al realizar una prueba de reconocimiento de im¨¢genes con la obra San Jorge matando al drag¨®n de Rafael. ¡°El casco lo identificaba como el casco de un motorista y el drag¨®n situado al pie del caballo como un perrito¡±, recuerda.

La raz¨®n de los errores de interpretaci¨®n que comete la IA proviene de la insuficiencia de dato, tal como lamenta Joaquim Mor¨¦: ¡°reconoce personas montadas en veh¨ªculos porque cuenta con m¨¢s datos de la vida cotidiana actual, pero no un drag¨®n o un caballo para ponerse en el contexto del momento de la obra. ¡°Es lo que intentamos solucionar con el proyecto Saint George on a Bike. Le vamos a poner a la IA una capa cultural para que haga las identificaciones adecuadas.¡±, revela.

Gracias a esta iniciativa, que tiene la ambici¨®n de que las m¨¢quinas interpreten las im¨¢genes, es la primera vez que la inteligencia artificial proporciona descripciones de im¨¢genes del patrimonio cultural teniendo en cuenta el contexto temporal de creaci¨®n de las obras de arte.

El proyecto Saint George on a Bike, que est¨¢ coordinado por el?BSC?en colaboraci¨®n con?Europeana Foundation, entrena estos modelos de Inteligencia Artificial utilizando algoritmos de procesamiento del lenguaje natural y?deep learning. ¡°La clave es recopilar unas bases de datos muy potentes. Sin embargo, nos metimos en el proyecto sin saber que casi no hab¨ªa nada de arte, ya que existen algunos conjuntos de datos muy limitados, no es extenso ni de buena calidad¡±, advierte la investigadora del BSC y coordinadora de Saint George on a Bike, Maria-Cristina Marinescu.

Para que las m¨¢quinas puedan contar con la cantidad de datos necesaria para el entrenamiento del modelo de IA, recurrieron a la ciencia ciudadana, que es habitual en proyectos de otros ¨¢mbitos como el medio ambiente. Recurrieron al portal de crowsourcing Zooniverse, que a¨²n tiene activa la campa?a del proyecto Saint George on a Bike, donde ya se han inscrito m¨¢s de 700 voluntarios. Una de esas personas que recogen anotaciones descriptivas es la investigadora de la Universidad NOVA de Lisboa Giulia Sonetti, que adem¨¢s de ciencia ciudadana tambi¨¦n es voluntaria social de la asociaci¨®n En bici sense edat, con la que recoge a ancianos de las residencias para llevarlos en bicicleta. ¡°Me gusta colaborar y m¨¢s si es para recoger datos cient¨ªficos¡±, celebra.

Otra de las voluntarias de Saint George on a Bike es la artista J¨²lia P¨¦rez, que previamente ha trabajado en otros proyectos relacionados con el mundo tecnol¨®gico como la generaci¨®n de modelos tridimensionales virtuales de esculturas. ¡°En Bellas Artes nos ense?an los requisitos para una construcci¨®n visual, con elementos como la luz que estructura un cuadro. A mi al inicio me costaba describir la imagen sin tener en cuenta estos elementos. Toda esta informaci¨®n que las personas percibimos involuntariamente y nos produce una emoci¨®n son capas que en un futuro se podr¨¢n ir incorporando a la IA, aunque de momento nos limitamos a describir las im¨¢genes¡±, reconoce P¨¦rez. La investigadora del BSC Maria-Cristina Marinescu aclara que, por ahora, se centran en ¡°entrenar un modelo para que, cuando le pases otra foto distinta de una obra de arte, pueda describir bien lo que aparece en ella, a partir de los datos que hemos introducido de otras descripciones, pero no su simbolismo

El sistema logra realizar deducciones utilizando un modelo de lenguaje. Mor¨¦ pone un ejemplo: ¡°recurrimos al ingenio, para que consiga deducir que si tenemos en un cuadro una persona montada en un caballo, se trata de un jinete. Si adem¨¢s lleva una espada, es un caballero¡±.

Para recoger estas descripciones, los investigadores del BSC se han centrado en im¨¢genes de 16.000 obras de los siglos XII a XVIII, que han conseguido de museos y agregares. Se han centrado en ese periodo, ¡°principalmente porque no hay pintura abstracta¡±, se?ala Marinescu. ¡°Tenemos ya m¨¢s de 11.000 descripciones de 3.000 obras de arte. Los voluntarios van a un ritmo de 150 anotaciones al d¨ªa. Es importante disponer de varias descripciones distintas de cada imagen, para poder disponer de m¨¢s datos de calidad¡±, destaca la coordinadora del proyecto.

El proyecto tendr¨¢ m¨²ltiples aplicaciones. ¡°Adem¨¢s de generar datos ricos y de calidad sobre el patrimonio cultural para que la gente pueda acceder a ellos de manera abierta, servir¨¢ para que los museos organicen mejor su patrimonio y puedan realizar an¨¢lisis y poner en marcha iniciativas creativas¡±, apunta su coordinadora Maria-Cristina Marinescu. ¡°Tambi¨¦n para que los artistas pueden buscar iconograf¨ªas para hacer obras rompedoras iconogr¨¢ficamente. Por ejemplo, Jesucristo nunca aparece comiendo¡±, a?ade el investigador del BSC Joaquim Mor¨¦.

Para que la ciudadan¨ªa entienda las posibilidades que ofrece el uso de la inteligencia artificial para la detecci¨®n de im¨¢genes, la extracci¨®n de relaciones entre miles de im¨¢genes y la oportunidad de organizar exposiciones virtuales a partir de la relaci¨®n entre obras de arte, el proyecto Saint George on a bike ha publicado un v¨ªdeo divulgativo.

M¨¢s all¨¢ del arte, ¡°el mismo sistema puede explorarse para otros usos, ya que supone un primer paso hacia el reconocimiento de imagen contextual, a partir del cual la inteligencia artificial podr¨¢ ir m¨¢s all¨¢ de lo que hace actualmente con los capchas, que est¨¢n repletos de sem¨¢foros, coches y poco m¨¢s¡±, concluye Mor¨¦.

Puedes seguir a EL PA?S TECNOLOG?A en Facebook y Twitter o apuntarte aqu¨ª para recibir nuestra newsletter semanal.