Flor Plaza del Arco, inform¨¢tica: ¡°La calidad de los datos es fundamental para detectar los sesgos de la IA¡±

El lenguaje, la tecnolog¨ªa y la sociedad son los tres mundos que entrelaza Flor Plaza del Arco (29 a?os, Villacarrillo, Ja¨¦n) en su investigaci¨®n estad¨ªstica. Analiza las emociones que hay en los textos de las redes sociales y detecta si hay en ellos delitos de odio, es decir, comentarios que discriminen a personas por sus caracter¨ªsticas como el g¨¦nero, la raza, la procedencia o una discapacidad. Tambi¨¦n busca m¨¦todos que le ayuden a identificar y mitigar los sesgos o estereotipos que est¨¦n presentes en modelos de lenguaje, como ChatGPT. Gracias a su trabajo ha sido galardonada con el Premio por la Sociedad Cient¨ªfica Inform¨¢tica de Espa?a (SCIE) y la Fundaci¨®n BBVA, que incentiva a investigadores j¨®venes en inform¨¢tica.

La investigadora compara su trabajo de inteligencia artificial (IA) con la educaci¨®n que le da un padre a un hijo: ¡°Imag¨ªnate que el ni?o es el modelo. Al principio le ense?amos a hablar en espa?ol, y el ni?o tiene un conocimiento general del espa?ol. Conforme va creciendo, le puedes ir diciendo que no diga ciertas cosas porque, por ejemplo, son un insulto o que tenga cuidado si va a herir a alguien. Vas ajustando el modelo para que aprenda a detectar el discurso de odio¡±. Plaza del Arco es investigadora postdoctoral de inform¨¢tica en la Universidad de Bocconi en Mil¨¢n.

Pregunta. ?Cu¨¢les son los delitos de odio m¨¢s frecuentes en redes sociales?

Respuesta. Los delitos de odio con respecto al sexismo y a la migraci¨®n son los dos que m¨¢s solemos escuchar. Tambi¨¦n nos hemos enfocado mucho en los delitos con respecto a la misoginia, ya que vemos que hay una discriminaci¨®n en este sentido. Hemos desarrollado diferentes modelos y recursos para que los modelos aprendan a detectar los delitos de odio. Uno de los riesgos de estos modelos son los sesgos y los estereotipos que producen; se han entrenado con los datos presentes en internet, en Wikipedia y son un reflejo de la sociedad.

P. ?Puede poner alg¨²n ejemplo de los estereotipos?

R. Desarrollamos un m¨¦todo para ver si los modelos representaban estos estereotipos y vimos que a las mujeres se le asociaba m¨¢s con emociones como la tristeza o con emociones relacionadas con los cuidados, mientras que a los hombres se le asociaba m¨¢s con el orgullo, la ambici¨®n o la agresividad. Un ejemplo es el algoritmo de Google que etiquetaba a las personas de color como gorilas, y tuvieron que retirarlo. Era un sesgo racista de la m¨¢quina, y Google se comprometi¨® a buscar una soluci¨®n al error. Tienen consecuencias materiales y por eso es importante detectar este tipo de sesgos y mitigarlos. Para eso la calidad de los datos con los que se entrenan los sistemas es fundamental, y que el humano est¨¦ ah¨ª revisando, tambi¨¦n.

P. ?A qu¨¦ se refiere con datos de calidad?

R. A que los modelos no contengan informaci¨®n personal. Antes, por ejemplo, si le preguntabas al modelo c¨®mo suicidarse, el modelo respond¨ªa dando consejo. Ahora el modelo dice que no te puede responder a ello. Se est¨¢ trabajando mucho en detectar este tipo de temas de seguridad, de sesgos y de estereotipos.

P. ?C¨®mo puede la inteligencia artificial detectar los delitos de odio?

R. Vimos que no hab¨ªa recursos del espa?ol para la detecci¨®n del discurso de odio, tanto en textos etiquetados, como para ense?ar a la m¨¢quina a detectar este discurso de odio. No vale como una mera traducci¨®n del ingl¨¦s al espa?ol. En espa?ol tenemos nuestra propia expresi¨®n y hay que ense?¨¢rselo a los modelos. Me enfoqu¨¦ mucho en el desarrollo de este recurso y lo utilic¨¦ para entrenar a los sistemas de inteligencia artificial a detectar el discurso de odio en espa?ol. Al principio fueron modelos muy sencillos y ahora son m¨¢s complejos, capaces de comprender y de generar el lenguaje humano. Se ajusta con textos etiquetados, le paso un texto y le digo: este texto es un discurso de odio, y esto no.

P. ?Cu¨¢nto espa?ol sabe ChatGPT?

R. La inteligencia artificial o modelo de inteligencia artificial ha sido desarrollado principalmente para el ingl¨¦s, los textos que se le ha ense?ado son en ingl¨¦s. Muchos de ellos dicen que son multiling¨¹es, pero a lo mejor el porcentaje que se le ha ense?ado de otro idioma como el espa?ol es un 20%. El modelo es mucho mejor reconociendo, generando y comprendiendo el ingl¨¦s que el espa?ol, porque no se le ha ense?ado tanto texto. Por eso es tan importante que el gobierno ahora, con la Estrategia Nacional de Inteligencia Artificial, quiere crear un modelo que entienda el espa?ol, y no solo el espa?ol, sino las lenguas cooficiales como el catal¨¢n, el vasco, etc¨¦tera. Es muy importante tener modelos que entiendan diferentes lenguas, porque todas las personas lo est¨¢n utilizando, no solo una de un determinado pa¨ªs. El contenido en espa?ol est¨¢ menos representado.

P. ?C¨®mo se pueden mitigar los sesgos del modelo?

R. Lo fundamental es evaluar la calidad de los datos cuando se est¨¢ entrenando el modelo. Tambi¨¦n se puede ajustar al modelo una vez que ha aprendido esos datos. Se puede ajustar o no para que lo intente desaprender. Necesitamos de distintas disciplinas, los inform¨¢ticos solos no podemos trabajar en esto. Necesitamos fil¨®sofos, soci¨®logos, psic¨®logos, que nos ayuden a desarrollar este tipo de modelos para que sean m¨¢s inclusivos, m¨¢s ¨¦ticos, m¨¢s justos y responsables.

P. ?C¨®mo se promueve un entorno m¨¢s seguro en redes sociales?

R. Sobre todo con la investigaci¨®n para combatir el discurso de odio y la desinformaci¨®n. Si en Twitter se publican 1 mill¨®n de tuits al segundo, es imposible que lo trate una sola persona. Este tipo de m¨¢quina nos ayudan a detectarlos. Pueden saltar alertas diciendo que el tuit es ofensivo o que contiene desinformaci¨®n. La responsabilidad de generar las pol¨ªticas para ver cuando se elimina un tuit es responsabilidad de los moderadores de contenidos.

P. ?Puede la IA detectar si detr¨¢s de ese contenido hay alguien real o no?

R. Exacto. Con la IA se puede hacer un estudio de perfil de la persona, si publica muchos tuits ofensivos o muchos posts, y se puede trasladar a cualquier red social. Tambi¨¦n puede detectar bots o detectar spam, ya que son patrones ling¨¹¨ªsticos que estos modelos aprenden. Por ejemplo, los bots suelen, casi siempre, seguir determinados patrones ling¨¹¨ªsticos.

P. ?Son estructuras de frases parecidas?

R. S¨ª. Los modelos aprenden con los discursos de odio, le estamos ense?ando el texto que contiene insultos espa?oles, expresiones ofensivas, etc., Son patrones ling¨¹¨ªsticos que el modelo aprende. En mi tesis me centr¨¦ en desarrollar un modelo que no solo tenga en cuenta el discurso de odio, sino que tenga en cuenta que si la emoci¨®n es negativa, como el enfado, es m¨¢s posible que se d¨¦ un discurso de odio. La iron¨ªa y el sarcasmo es uno de los retos m¨¢s dif¨ªciles de detectar por estos modelos de lenguaje. ?Por qu¨¦? Porque incluso hasta a un humano le cuesta detectar cuando hay iron¨ªa o sarcasmo en un texto.

P. ?Qu¨¦ se puede hacer en otros entornos?

R. Sobre todo en la educaci¨®n, es muy importante que desde peque?os se les ense?e cu¨¢les son los riesgos de las redes sociales, todo lo que se puede encontrar en ellas ya no solo los delitos de odio. Un ejemplo es el ciberacoso, c¨®mo las redes sociales lo han promovido. Es muy importante la educaci¨®n tecnol¨®gica desde que somos peque?os porque vamos a estar en interacci¨®n continua con este tipo de tecnolog¨ªa en nuestra vida diaria. Para saber como utilizarla: cuando veo que una persona est¨¢ siendo atacada, para saber c¨®mo puedo avisar a la red social de que se est¨¢ pasando o si me est¨¢ pasando a m¨ª, y saber cu¨¢les son las soluciones y el apoyo que tengo. La red social, ?va a eliminar este mensaje que me est¨¢n atacando? O ?va a eliminar el perfil de la persona? Creo que es muy importante que esto se le transmita a la sociedad en general.

P. Si alguien es v¨ªctima de un delito de odio en redes, ?c¨®mo puede ayudar la IA?

R. Te puede ayudar detectando esos mensajes que te est¨¢n atacando. A los moderadores de contenidos de las redes les saltar¨¢ una alerta de que este contenido se est¨¢ generando y tendr¨¢n sus pol¨ªticas para ver c¨®mo combatirlo, c¨®mo eliminarlo o c¨®mo ponerse en contacto. Mi equipo de la Universidad de Ja¨¦n, con el que trabajaba durante mi doctorado, ahora est¨¢ desarrollando un tipo de investigaci¨®n en el que si alguien te ha comentado un mensaje ofensivo, genera una contranarrativa para hacer pensar al que est¨¢ generando ese odio. Por ejemplo, si es un mensaje sexista o xen¨®fobo, una contranarrativa ser¨ªa, por ejemplo: ¡°Tienes que pensar que todos los humanos tenemos los mismos derechos. No se puede discriminar por razones de g¨¦nero o de raza¡±.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.