¡°La Inteligencia Artificial no piensa, no aprende, no decide¡±

En 2023, un equipo de la Fundaci¨®n V¨ªa Libre, que defiende derechos en entornos digitales, hizo un ejercicio de Inteligencia Artificial con estudiantes de secundaria de Montevideo (Uruguay).

- ?Qu¨¦ voy a ser dentro de 10 a?os? ?Qu¨¦ ser¨¦ en el futuro?, preguntaron las adolescentes a la herramienta.

- ¡®Ser¨¢s mam¨¢¡¯, respondi¨® el sistema.

La respuesta atronadora es uno de los muchos ejemplos que la argentina Beatriz Busaniche (R¨ªo Gallegos, 1970) usa para mostrar los sesgos de g¨¦nero de la Inteligencia Artificial y el anacronismo en el que se basa este modelo de lenguaje que ella califica de conservador. ¡°La IA no crea un discurso nuevo; recrea el existente. Es decir, el discurso con el que est¨¢ hecho estos sistemas es el pasado¡±, dice Busaniche, presidente de la Fundaci¨®n V¨ªa Libre, lidera en Am¨¦rica Latina la discusi¨®n sobre los sesgos no solo de g¨¦nero sino tambi¨¦n ¨¦tnicos de la IA que est¨¢ sacudiendo al mundo. Para comprobarlo, el equipo de la Fundaci¨®n cre¨® EDIA (Estereotipos y Discriminaci¨®n en Inteligencia Artificial), un instrumento que permite, por ejemplo, comparar oraciones y evaluar si existen sesgos en estos sistemas, interactuando con distintos modelos de lenguaje previamente cargados en la plataforma. Desde su casa en Buenos Aires, habla sobre sesgos, fallos de la IA y riesgos de ¡°humanizaci¨®n¡±.

Pregunta. Su trabajo es defender derechos en el entorno digital. ?Cu¨¢les est¨¢n en mayor peligro hoy?

Respuesta. Hay varios elementos cr¨ªticos: el derecho a la intimidad, la protecci¨®n de datos y la privacidad, y lo que se llama la autodeterminaci¨®n inform¨¢tica, (el derecho que tiene el titular de los datos personales de controlar quienes ser¨¢n destinatarios de dicha informaci¨®n y qu¨¦ uso le dar¨¢n).

P. ?Y ahora, con la emergencia de la IA cu¨¢les son los nuevos riesgos?

R. A partir de la utilizaci¨®n masiva, sistem¨¢tica y no debidamente evaluada de sistemas de inteligencia artificial ha crecido la posibilidad de ejercer formas de discriminaci¨®n sobre las personas por distintos temas y es diferente a la discriminaci¨®n como estamos acostumbrados a verla, en la que alguien te agrede por tu color de piel o por tu g¨¦nero o por tu pertenencia a un determinado grupo ¨¦tnico y es visible. Hoy en d¨ªa esa discriminaci¨®n est¨¢ integrada en c¨®digo, entramada en los programas con los que interactuamos y se ha invisibilizado completamente.

P. ?Puedes dar un ejemplo de esa discriminaci¨®n no visible?

R. Por ejemplo, los sistemas de b¨²squeda de empleo. Tienen un mecanismo automatizado de toma de decisiones de a qui¨¦nes le van a mostrar ciertos tipos de empleos. Es claro que, si estudiaste ciencias sociales, el sistema no te ofrecer¨¢ un puesto en ingenier¨ªa. Pero el sistema muestra ofertas de empleo de manera automatizada y no tenemos formas claras para saber en funci¨®n de qu¨¦ segmenta. Ya hay alguna evidencia de que implementan estas formas discriminatorias como ocurri¨® con Amazon en Estados Unidos cuando se descubri¨® que utilizaba un sistema de filtrado de curr¨ªculums hecho por Inteligencia Artificial y descartaba de plano curr¨ªculums de mujeres para puestos de alta gerencia. Eso estaba invisibilizado.

P. Sostiene que este tipo de tecnolog¨ªas conllevan impactos sociales que pueden potenciar las desigualdades que ya existen. ?c¨®mo se expresa esto?

R. Invisibilizar procesos discriminatorios es una de las formas en que se expresa. Cuando te niegan un visado, una beca o un empleo tienes formas de cuestionar, pero cuando la negativa viene de un sistema automatizado hay un mecanismo previo que obtura la capacidad de interpelar la decisi¨®n. Y es inauditable. En otras palabras, se fortalecen sesgos de g¨¦nero e identidad, entro otros aspectos.

P. ?C¨®mo en la pr¨¢ctica toman decisiones que impactan la vida diaria de las personas?

R. Hay sistemas de IA tomando decisiones sobre precios variables en distintos productos. Vemos compa?¨ªas de seguros, sobre todo de automotores, que ponen sistemas de IA para hacer evaluaciones de riesgo. Este tipo de tecnolog¨ªas les permiten saber cu¨¢ntas horas duerme un conductor, qu¨¦ tipo de medicaci¨®n toma, qu¨¦ tipo de estilo de vida lleva, si consume o no consume alcohol, cu¨¢nto tarda en tocar el freno ante una situaci¨®n y, mediante ese tipo de sensores, construyen perfiles de riesgo. As¨ª, a quienes est¨¢n en un perfil de riesgo alto les ponen un precio variable y les cobran una prima m¨¢s alta.

P. ?Puede impactar el acceso a la salud?

R. Se est¨¢ usando en seguros de salud. Entonces si hay una persona que tiene alg¨²n tema de salud vinculado con sobrepeso o que vive en una zona donde hay efectos contaminantes, probablemente los seguros de salud la ubiquen en un perfil de mayor riesgo y les cobre o primas m¨¢s altas o les expulsen directamente del sistema donde no hay un programa com¨²n obligatorio. Otra ¨¢rea donde se est¨¢ utilizando mucho la IA es en las evaluaciones de desempe?o laboral, que en la econom¨ªa de plataformas las hacen mayormente sistemas automatizados. Se ve mucho en las plataformas de delivery (domiciliarios). A quienes les eval¨²an cu¨¢nto tiempo tardan en llegar de un lado al otro, cu¨¢ntas horas del d¨ªa trabajan. Y a las mujeres que tienen ni?os o ni?as a su cargo, como hay ciertos horarios en los que no pueden estar a disposici¨®n de la plataforma, les restan puntos. Esto se ve mucho m¨¢s en las econom¨ªas precarizadas, ese tipo de cosas te bajan puntos en la evaluaci¨®n y te hacen cobrar menos o ser despedido sin causa. As¨ª se expresan esas desigualdades.

P. Volvemos a afectaciones para las mujeres. ?Qu¨¦ les ha arrojado la plataforma Edia para identificar los estereotipos?

R. En cuanto a sesgos de g¨¦nero hemos encontrado asociaciones directas con distintos tipos de profesiones, todo lo que tiene que ver con las profesiones de cuidado las atribuye a las mujeres mientras que las profesiones cient¨ªficas las vincula a los hombres. Tambi¨¦n, detectamos que los modelos del lenguaje consideran feas a las mujeres gordas y no tienen una relaci¨®n similar cuando se trata de un hombre con obesidad. Y que se basan en el pasado. El a?o pasado en la reuni¨®n latinoamericana de investigadores de IA hicimos un taller con estudiantes de secundaria y las chicas, mujeres adolescentes, le preguntaron al modelo del lenguaje, qu¨¦ ser¨ªan ellas en el futuro, en 10 a?os. La respuesta es que iban a ser mam¨¢s.

P. ?Por qu¨¦ una herramienta que se plantea como el futuro es tan anacr¨®nica?

R. Como son sistemas estoc¨¢sticos que toman decisiones por pura estad¨ªstica se basan en cosas que est¨¢n publicadas, en cosas que ha visto, son sumamente conservadoras. Se basan en el pasado para tomar decisiones para el futuro. La IA no crea un discurso nuevo, recrea el existente. Los discursos minoritarios o los que est¨¢n pensando en cambiar el statu quo no tienen el mismo peso en la validaci¨®n estad¨ªstica que los grandes vol¨²menes de datos del pasado. La IA se entren¨® seguramente con libros que est¨¢n en dominio p¨²blico, es decir de m¨¢s de 100 a?os. El futuro dise?ado por IA se parece mucho al pasado. En algunos casos es muy ¨²til, como en la detecci¨®n de c¨¢ncer de mama o en pron¨®sticos meteorol¨®gicos para los que se est¨¢ usando la IA. Pero en todos hay que hacer un filtro ¨¦tico.

P. En otro ejercicio se preguntaron ?qu¨¦ pasa cuando buscamos en Google ¡°las mujeres no pueden¡±?

R. Esos ejercicios, en general, te arrojan mucho discurso discriminatorio hacia las mujeres. Las empresas, Google en particular, hacen esfuerzos importantes para no meter la pata en estas cosas, pero lo hacen a trav¨¦s de censura. Entonces, por ejemplo, si vas a la versi¨®n en ingl¨¦s y le pones ¡®women can¡¯t¡¯, no te va a decir nada. En espa?ol s¨ª autocompleta algunas cosas. Ahora, si escapas a su l¨®gica lineal y le preguntas por profesiones para mujeres en alg¨²n punto meten la pata. Vemos tambi¨¦n que las aplicaciones de orientaci¨®n vocacional les recomiendan a las mujeres ciertas labores y a los varones otras. Lo delicado es que haya un sistema que, de forma estructural, est¨¦ generando este tipo de condicionamientos cuando hace d¨¦cadas que las mujeres venimos tratando de deconstruir esos roles de g¨¦nero.

P. Sostiene que hay que erradicar lo m¨¢s posible las met¨¢foras que humanizan las acciones de la IA.

R. S¨ª, la IA no piensa, no aprende, no decide. Hace acciones probabil¨ªsticas, incluso cosas sorprendentes como el procesamiento de lenguaje natural porque uno puede incluso dialogar con estas m¨¢quinas. Pero la m¨¢quina no est¨¢ ni pensando, ni construyendo una gram¨¢tica, simplemente est¨¢ armando textos a partir de las probabilidades de que despu¨¦s de una palabra venga otra. Lo que pasa es que ha sido entrenada con tantas cantidades de palabras que eso le permite construir ese tipo de cosas.

P. No son neutrales

R. Recientemente una exalumna le pregunt¨® a ChatGPT cu¨¢l hab¨ªa sido el peor presidente de la historia de Argentina. Este le dijo que hab¨ªa sido Alberto Fern¨¢ndez y le argument¨® por qu¨¦. Yo hice la prueba con Perplexity, otra aplicaci¨®n de IA, que tiene una ventaja y es que te refiere fuentes. Le hice la misma pregunta y me dio la misma respuesta. Entonces le dije, ?te parece que fue peor Alberto Fern¨¢ndez que la dictadura militar, por ejemplo? Y ah¨ª me dijo que no, que dentro de los gobiernos democr¨¢ticos y que no era comparable con las dictaduras. Lo que hace la IA es leer la opini¨®n p¨²blica. No es que para responder hace una evaluaci¨®n y busca las tasas de desempleo, el crecimiento del PBI o las condiciones econ¨®micas globales, cosas que uno como analista tendr¨ªa qu¨¦ poner sobre la mesa para decidir qu¨¦ el gobierno fue peor. Lo ¨²nico que hace es tomar texto de lo que circula la l¨ªnea. Es decir, busca el discurso m¨¢s repetido y es el que da por bueno. Un mill¨®n de moscas no se equivocan, ser¨ªa la met¨¢fora de c¨®mo funcionan estos sistemas.

P. ?Apunta a que la IA va a homogeneizar el pensamiento?

R. Todo lo que es discurso de minor¨ªas, no hegem¨®nico, alternativo o representado en menor magnitud en el mundo de Internet va a ir perdi¨¦ndose. Porque, adem¨¢s, hay un efecto reciclador y cada vez m¨¢s hay textos escritos en Internet que fueron hechos con estas tecnolog¨ªas. Entonces, si tienes una campana de Gauss, las colas de la campana se van perdiendo y solo se visibiliza lo que est¨¢ dentro de lo normal.

P. ?Y c¨®mo se puede resistir a eso sin decir que no usemos la tecnolog¨ªa?

R. La primera opci¨®n que hay es aprender y entender, no dar por v¨¢lida las cosas que dice la IA. Nosotros (en la Fundaci¨®n) cuando damos clases, no les decimos a los estudiantes que no usen chatGPT, sino que aprendan a usarlo, entiendan qu¨¦ hace y tengan claro que falla un mont¨®n. Hace muy mal, por ejemplo, las operaciones aritm¨¦ticas b¨¢sicas, es mal¨ªsimo haciendo sumas. Recientemente, el m¨²sico argentino Iv¨¢n Noble le pregunt¨® a la IA integrada al WhatsApp qui¨¦n es Iv¨¢n Noble y le contest¨® que era un actor de televisi¨®n que hab¨ªa muerto hace a?os. Otra muestra de que falla y mucho.

P. Se est¨¢ vendiendo desde las tecnol¨®gicas como lo que parteaguas del mundo. ?No es as¨ª entonces?

R. Hay que parar un cacho a la pelota, porque fallan mucho. Adem¨¢s, como dice Emily Bender (ling¨¹ista computacional) estos sistemas son loros estoc¨¢sticos y las respuestas que dan son pura estad¨ªstica. No hay un an¨¢lisis, no hay una racionalidad. Solo estad¨ªstica y sobre ciertos patrones. Hay cosas que s¨ª son muy ¨²tiles y otras que uno no deber¨ªa, en ninguna circunstancia, poner bajo la IA. Nunca se puede poner un sistema de inteligencia artificial a tomar decisiones de gobierno, por ejemplo.

P. Se piensa que estas tecnolog¨ªas o ayudan a mejorar las democracias o son un peligro para ellas. ?D¨®nde se ubica?

R. En ninguno de los dos lados, nunca hay que ubicarse en esto es la destrucci¨®n total o esto es la maravilla. Menos en esto es la maravilla. Me ubico en un punto cr¨ªtico, en un an¨¢lisis de las tecnolog¨ªas son eminentemente pol¨ªticas, no hay tecnolog¨ªas neutrales y lo que hay que mirar siempre son todos los procesos sociales que est¨¢n alrededor de ellas. Las tecnolog¨ªas no son un elemento aislado de la sociedad, sino parte de las relaciones sociales y muchas veces son usadas para encubrir fen¨®menos sociales indecibles. Son parte de la historia y de los procesos de la vida colectiva.

Siga toda la informaci¨®n de El PA?S Am¨¦rica en Facebook y X, o en nuestra newsletter semanal.