Dall-E Mini, el popular generador autom¨¢tico de im¨¢genes que hace dibujos sexistas y racistas

Las redes sociales se han visto inundadas en las ¨²ltimas semanas por unos dibujos de tintes surrealistas generados por una herramienta autom¨¢tica. Son obra de Dall-E Mini, recientemente rebautizada como Craiyon, un sistema de inteligencia artificial capaz de traducir las instrucciones escritas del usuario en im¨¢genes originales. La herramienta ha sido entrenada con varios millones de im¨¢genes asociadas a un texto.

El programa es capaz de establecer relaciones y arrojar nueve propuestas distintas cada vez que se le pide algo. En cuanto se introducen las palabras clave, como por ejemplo ¡°Bill Gates sentado bajo un ¨¢rbol¡± (aunque siempre en ingl¨¦s, el ¨²nico idioma que computa por ahora), el sistema busca en tiempo real im¨¢genes sacadas de internet relacionadas con cada palabra y crea a partir de ah¨ª sus propias composiciones. Arroja siempre creaciones originales, aunque nunca al nivel de las de Dall-E 2, mucho m¨¢s sofisticadas y obra de Open AI, empresa impulsada por Elon Musk. Dall-E Mini toma su nombre, de hecho, como homenaje al sistema de Open AI, el m¨¢s avanzado que se ha lanzado hasta la fecha.

Los internautas se lo est¨¢n pasando en grande con Dall-E Mini. La cuenta de Twitter Weird Dall-E Mini Generations recoge incontables ejemplos graciosos. Por ejemplo, Boris Johnson como el sol de los Teletubbies o Sonic como artista invitado en un cap¨ªtulo de la serie Friends. Se han viralizado ejemplos patrios con Bert¨ªn Osborne o Santiago Abascal como protagonistas en situaciones c¨®micas o indecorosas. Al funcionar con una base de datos sacada de internet, el sistema es especialmente bueno cuando se le solicitan dibujos que incluyan a personajes conocidos (y por tanto m¨¢s representados en la Red).

Pero debajo de esta capa de aplicaci¨®n amable, divertida y fascinante subyace otra un tanto m¨¢s oscura. Pese a que en ingl¨¦s muchas profesiones no incluyen en el nombre referencias de g¨¦nero (architect sirve tanto para arquitecto como para arquitecta), si se le pide a Dall-E Mini que dibuje ciertos perfiles cualificados elige siempre un personaje masculino. Ocurre por ejemplo con las pruebas scientist drinking coffee (cient¨ªfico o cient¨ªfica bebiendo caf¨¦), programmer working (programador o programadora trabajando) o judge smiling (juez o jueza sonriendo). Al teclear sexy worker (trabajador o trabajadora sexy), en cambio, genera una serie de esbozos de mujeres con poca ropa y grandes pechos.

Sucede lo mismo a medida que se le asocian atributos al protagonista del dibujo. A la orden de estudiante dedicado o dedicada (hardworker student) dibuja hombres, mientras que a la de estudiante perezoso o perezosa (lazy student) elige representar a mujeres.

Dall-E Mini reproduce estereotipos machistas. No lo esconden, de hecho: bajo cada presentaci¨®n de dibujos hay una pesta?a desplegable titulada Sesgos y limitaciones (Bias and Limitations) en la que se deja claro que estos no se han corregido. ¡°Sus creadores explican que han hecho un esfuerzo importante en limpiar los datos, pero sobre los sesgos solo avisan de que los hay. Eso es lo mismo que decir que sus datos no tienen calidad. Y eso es inaceptable¡±, se queja Gemma Galdon, directora de Eticas Consulting, una consultora especializada en auditor¨ªas algor¨ªtmicas. ¡°Mitigar estos sesgos forma parte del trabajo que deben hacer las empresas antes de lanzar el producto. Hacerlo es relativamente sencillo: se trata de aplicar una limpieza adicional a los datos y dar m¨¢s instrucciones al sistema¡±, explica.

El sesgo de g¨¦nero no es el ¨²nico presente en Dall-E Mini. En todos los casos probados, el ordenador dibuja personas blancas. Excepto cuando se le pide que muestre a un sin techo (homeless): entonces la mayor¨ªa de las propuestas son negros. Si se le da instrucci¨®n de que dibuje a Dios, las im¨¢genes que genera son todas representaciones de una especie de Jesucristo con corona o aureola. La visi¨®n del mundo de Dall-E Mini es la que le han proporcionado sus programadores, tanto dise?ando el algoritmo como elaborando la base de datos con la que se nutre. Y esta visi¨®n es irremediablemente occidental y prima a los hombres blancos sobre el resto de la gente.

Sesgos y discriminaci¨®n algor¨ªtmica

?Por qu¨¦ sucede esto? Dall-E Mini constituye un buen ejemplo de los llamados sesgos algor¨ªtmicos, uno de los grandes problemas que rodean a las aplicaciones de la inteligencia artificial. Este tipo de sistemas reproducen los sesgos sociales por una serie de motivos. Uno de los m¨¢s frecuentes es que los datos con los que se alimentan est¨¦n sesgados. En el caso de Dall-E Mini se tratar¨ªa de los millones de im¨¢genes sacadas de internet y los textos asociados a estas.

Tambi¨¦n puede influir el objetivo con el que se ha programado el sistema. Los creadores de Dall-E Mini, por ejemplo, explicitan que no es su intenci¨®n ofrecer una muestra representativa de la sociedad, sino una herramienta que realice dibujos fidedignos. Otra fuente de sesgos es el modelo que se ha construido para interpretar los datos. En el caso de los sistemas automatizados de reclutamiento, se puede decidir o no tener en cuenta la experiencia laboral de los candidatos. El peso que se le decida dar a cada variable ser¨¢ determinante en el resultado del proceso algor¨ªtmico.

Finalmente, puede ser tambi¨¦n que quienes usen el sistema automatizado en s¨ª hagan una interpretaci¨®n sesgada del mismo. Es conocido el caso de COMPAS, el sistema automatizado que determina si los presos estadounidenses que solicitan la libertad condicional tienen o no riesgo de reincidencia. Un estudio demostr¨® que, adem¨¢s de los propios sesgos del sistema, que penalizaba m¨¢s a los negros, hab¨ªa otro factor determinante: los jueces recalibraban el resultado que arrojaba COMPAS de acuerdo con sus prejuicios. Si eran racistas y el sistema les dec¨ªa que un reo negro no ten¨ªa riesgo de reincidencia, no hac¨ªan caso del algoritmo, y viceversa.

?C¨®mo aplica todo esto al caso de Dall-E Mini? ¡°Este algoritmo tiene dos momentos de sesgo. La herramienta trabaja textos e im¨¢genes. En la parte de texto, el sistema transforma las palabras en estructuras de datos que se llaman word embeddings¡±, explica Nerea Luis, doctora en Inteligencia Artificial y responsable de esta ¨¢rea en la desarrolladora de software Sngular. Estas estructuras montadas en torno a cada palabra se crean a partir de un conjunto de otras palabras asociadas a la primera, bajo la premisa de que es posible identificar una palabra en concreto por el resto de vocablos de los que se rodea. ¡°Dependiendo de c¨®mo las coloques suceder¨¢, por ejemplo, que CEO saldr¨¢ m¨¢s asociado a hombre que a mujer. En funci¨®n de c¨®mo se hayan entrenado los textos habr¨¢ unos conjuntos de palabras que aparecer¨¢n m¨¢s cerca de unas que de otras¡±, ilustra la experta.

As¨ª, si se deja al sistema volar solo, el t¨¦rmino boda aparecer¨¢ m¨¢s cerca de vestido o de la palabra blanco, cosa que igual en otras culturas no aplica. Luego est¨¢n las im¨¢genes. ¡°La herramienta buscar¨¢ cu¨¢les predominan en su base de datos sobre boda, y ah¨ª saldr¨¢n celebraciones al estilo occidental, seguramente de personas blancas, igual que si haces la misma b¨²squeda en Google¡±, explica.

C¨®mo corregir el problema

Para que eso no suceda habr¨ªa que hacer correcciones en la muestra. ¡°Se tratar¨ªa de mejorar la representatividad de las bases de datos. Si estamos hablando de millones de im¨¢genes, se deber¨ªan mirar multitud de casu¨ªsticas, lo que complica la tarea¡±, expone Luis.

Los responsables de la herramienta, Craiyon, sostienen que su modelo en ning¨²n momento pretende representar el mundo real. Para Galdon este argumento es insuficiente. ¡°Un sistema que no trate de corregir o prevenir los sesgos algor¨ªtmicos no est¨¢ maduro para ser lanzado¡±, sostiene. ¡°Exigimos que todos los productos que llegan al consumidor cumplan una serie de requisitos, pero por alg¨²n motivo eso no pasa con la tecnolog¨ªa. ?Por qu¨¦ lo aceptamos? Deber¨ªa ser ilegal publicar trabajos a medio hacer cuando adem¨¢s refuerzan estereotipos machistas o racistas¡±.

Fe de errores: En una primera versi¨®n de este art¨ªculo se daba a entender que Dall-E Mini y Dall-E son creaciones de Open AI, cuando en realidad solo lo es la segunda herramienta. Dall-E Mini ha cambiado, de hecho, su nombre a Craiyon para evitar malentendidos.

Puedes seguir a EL PA?S TECNOLOG?A en Facebook y Twitter o apuntarte aqu¨ª para recibir nuestra newsletter semanal.