El efecto de los sesgos LGBTIQ+ en la IA: ¡°Nos vemos obligados a evitar la palabra ¡®queer¡¯ en los mensajes¡±

Arjun Subramonian (Estados Unidos, 24 a?os) creci¨® por casualidad en California, un lugar conocido por el glamour de Hollywood y sobre todo por ser la meca de la innovaci¨®n tecnol¨®gica. El Estado Dorado es cuna de cientos de industrias inform¨¢ticas aglutinadas en Silicon Valley, un ambiente que le llev¨® a imaginar en su infancia c¨®mo los ordenadores impulsar¨ªan vanguardistas autom¨®viles que los humanos conducir¨ªan en el futuro. Pero algo cambi¨® en la percepci¨®n de Subramonian cuando cursaba la carrera de Ciencias de la Computaci¨®n en la Universidad de California. En esa ¨¦poca se declar¨® abiertamente gay y pensaba a diario en la marginaci¨®n del colectivo LGBTIQ+, que figura un 20% menos en el espacio tecnol¨®gico. ¡°Hay grandes modelos de lenguaje entrenados con informaci¨®n de Internet. Y todos sabemos, que si eres mujer, negro u homosexual, ese lugar ser¨¢ muy t¨®xico para ti¡±, reflexiona sobre los sesgos algor¨ªtmicos o de machine learning, una serie de prejuicios no deseados que afectan a los sistemas de inteligencia artificial (IA) generativa.

El aprendizaje autom¨¢tico no se libra de los resultados sesgados que provocan que cientos de distorsiones caigan como dardos contra grupos tradicionalmente excluidos de la sociedad, que al mismo tiempo, se encuentran subrepresentados en las disciplinas STEM, el acr¨®nimo en ingl¨¦s de la ciencia, tecnolog¨ªa, ingenier¨ªa y matem¨¢ticas. Subramonian es uno de los principales impulsores de Queer in AI, una organizaci¨®n que surgi¨® a mediados de 2020 para visibilizar la diversidad en la producci¨®n cient¨ªfica con activistas distribuidos en m¨¢s de 47 pa¨ªses del mundo. ¡°La censura es uno de los mayores da?os que veo a corto plazo¡±, advierte.

Subramonian recuerda que durante la pandemia, los activistas se reunieron en una plataforma de mensajer¨ªa llamada Rocket Chat. Cuando intentaban conversar entre s¨ª, se percataron que el t¨¦rmino queer, por alguna raz¨®n, no se estaba enviando. ¡°Nos ve¨ªamos obligados a evitar esa palabra porque imped¨ªa que se mandaran los mensajes¡±, cuenta. Esto ocurre, de acuerdo a Subramonian, porque existen listas de bloqueo que moderan el contenido generado por los usuarios para que cumplan con las pautas y pol¨ªticas de una plataforma. Se trata de un proceso digital que puede filtrar y administrar los datos de textos, im¨¢genes, videos e incluso transmisiones en vivo. A menudo se reutilizan para filtrar t¨¦rminos queer de los datos de entrenamiento de IA, como grandes modelos de lenguaje.

¡°A menudo se identifica a ciertas palabras como inapropiadas¡±, explica. Hasta 2012, por ejemplo, Google consideraba el t¨¦rmino bisexual como un tipo de pornograf¨ªa. Los datos son la materia prima de la IA y cuando es entrenada con informaci¨®n parcial, la m¨¢quina puede entregar respuestas bastante limitadas. Una situaci¨®n de este tipo le ocurri¨® a Ilia S. (Rusia, 29 a?os), una persona transg¨¦nero y activista por los derechos humanos asentada en Tailandia que dej¨® su pa¨ªs natal despu¨¦s de que estallara la guerra en Ucrania en 2022. ¡°Mi voz es muy andr¨®gina, a menudo el tono fluct¨²a y me confunden con una anciana y en algunos casos, con mi madre¡±, cuenta el abogado, que opta por no revelar su nombre completo para resguardar su seguridad.

El momento m¨¢s angustiante que ha experimentado con un sistema de IA fue con su banco, cuando viv¨ªa en Rusia. Deb¨ªa verificar una transacci¨®n que no se realiz¨®. El ejecutivo de la entidad bancaria comenz¨® a realizarle preguntas espec¨ªficas e inusuales como su lugar de nacimiento y cu¨¢nto saldo ten¨ªa disponible en la cuenta. ¡°No eres t¨²¡±, fue el mensaje que obtuvo, ya que esa era la conclusi¨®n del sistema de reconocimiento de voz con IA. Luego, el abogado recibi¨® una amenaza de bloqueo de tarjeta por fraude. ¡°Estaba casi llorando porque no pod¨ªa demostrar que era yo¡±, dice. ¡°Ahora est¨¢ la opci¨®n de hacer videollamadas para comparar tu cara con la foto, pero en muchas plataformas esto no es as¨ª¡±, aclara.

La censura de lo queer

Los sesgos en el contenido pueden provocar resultados perjudiciales y equivocados, intencionados o no, en Internet. Arjun Subramonian tuvo una experiencia de este tipo con su biograf¨ªa. En una ocasi¨®n se top¨® con un texto creado con IA generativa que recopil¨® toda su informaci¨®n en l¨ªnea. El problema fue que ten¨ªa los pronombres incorrectos, pues es una persona no binaria. El error se conoce como misgender, un fen¨®meno que afecta a la poblaci¨®n transg¨¦nero e intersexual. ¡°El contenido es monitoreado y est¨¢ fuera de tu control. Eso genera mucha censura con el aspecto queer de tu identidad¡±, reflexiona.

Para Ilia S., este es un problema universal que padecen las personas trans que sufren dificultades de este tipo. El jurista ruso lleva trabajando como activista desde 2013, mismo periodo en el que Vlad¨ªmir Putin promulg¨® la ley contra la propaganda LGBTIQ+. Desde que la medida est¨¢ vigente, la cantidad de contenido sobre estos temas en los sitios web rusos ha ido desapareciendo, algo que tambi¨¦n ha afectado a los sistemas de b¨²squeda de libros de las bibliotecas p¨²blicas. ¡°Si ingresas ciertos t¨¦rminos relacionados con contenido LGBTIQ+, no puedes encontrar nada porque se eliminaron los t¨ªtulos¡±, asegura.

Otras fallas detectadas por los expertos es en los sistemas de reconocimiento facial, que son herramientas capaces de asimilar el rostro de personas a trav¨¦s del g¨¦nero, edad y caracter¨ªsticas faciales. La cara de Ilia tampoco se lee correctamente con algunas de estas aplicaciones, como MidJourney. Se trata de un software que genera im¨¢genes a partir de texto y ahora con la funci¨®n Character Reference, tambi¨¦n puede hacerlo con fotos de rostros humanos. En una versi¨®n antigua de este programa, el rostro no pudo ser procesado.

¡°A veces estas aplicaciones leen mi cara como una persona mayor o generan monstruos. Cuando Midjourney introdujo la referencia de personajes, mejor¨® mucho¡±, asegura.

Ni buena ni mala

Aunque la IA es capaz de reproducir la homofobia, el machismo o el racismo ¨Dun estudio de la Universidad de Deusto ya alertaba de esto en 2023¨D, en realidad no es buena ni mala, opina Cristina Aranda (Madrid, Espa?a, 48 a?os), doctora en Ling¨¹¨ªstica Te¨®rica y cofundadora de Big Onion. ¡°Es como mi lavadora, yo decido qu¨¦ programa poner y la mayor¨ªa de las empresas que toman decisiones est¨¢n compuestas por hombres heterosexuales de mediana edad, educados en las mismas universidades y que probablemente celebran barbacoas juntos¡±, ironiza.

La experta, que trabaja con empresas para automatizar procesos con el lenguaje, cree que el sector tecnol¨®gico tambi¨¦n necesita perfiles de humanidades. ¡°No hay nada m¨¢s filol¨®gico que la palabra¡±, dice. En esa l¨ªnea, Adio Dinika (Zimbabue, 33 a?os), polit¨®logo e investigador en el Instituto de Investigaci¨®n sobre Inteligencia Artificial Distribuida (DAIR, por sus siglas en ingl¨¦s), piensa que ¡°no es una herramienta que inventa cosas¡±, sino m¨¢s bien un producto en el que prevalece la visi¨®n de un hombre blanco: ¡°Silicon Valley vino a determinar la agenda de la IA¡±.

Hace algunos a?os, Aranda hizo un curso sobre c¨®mo ayudar a las marcas a posicionarse en los buscadores cuando estaba en paro y ah¨ª tuvo una epifan¨ªa. ¡°No hab¨ªa reparado que cuando realizamos b¨²squedas en Internet escribimos palabras. Google no deja de ser un buscador un poco l¨¦xico-sem¨¢ntico¡±, cuenta. Aranda se refiere, en t¨¦rminos simples, al vocabulario, la jerarquizaci¨®n de los significados y la interpretaci¨®n de las palabras que realizan las plataformas.

El 80% de los datos que hay en Internet no son estructurados, como las publicaciones en redes sociales, la videovigilancia o los datos meteorol¨®gicos, y es importante que otros profesionales, como psic¨®logos o antrop¨®logos, tambi¨¦n se involucren en el proceso de clasificaci¨®n. ¡°Estos sistemas son listos, pero asombrosamente tontos porque les falta esta inteligencia social. ?Vamos! Les falta calle¡±, enfatiza Aranda.

Existe un feudalismo tecnol¨®gico y son las grandes compa?¨ªas las que ¡°est¨¢n decidiendo qu¨¦ se hace con esa inteligencia artificial¡±, agrega. Ilia, por su parte, cree que instaurar un marco regulatorio universal ¡°es muy dif¨ªcil¡± para evitar estos problemas. Por el contrario, los otros expertos consultados coinciden en que s¨ª deber¨ªan establecerse ciertos par¨¢metros para atajar estos sesgos.

¡°Gran parte de la tecnolog¨ªa que vemos la desarrollan corporaciones en funci¨®n del capitalismo de vigilancia. La poblaci¨®n est¨¢ siendo sujeta a las decisiones de estos sistemas y solo por eso creo que es muy importante¡±, concluye Arjun Subramonian.