Toju Duke: ¡°La inteligencia artificial amplifica injusticias sist¨¦micas que ya deber¨ªamos haber eliminado¡±

En Estados Unidos hay documentados al menos seis casos de detenci¨®n ilegal, todos ellos de personas negras, por culpa de sistemas autom¨¢ticos de reconocimiento facial que se equivocaron al identificar al sospechoso. En ese mismo pa¨ªs se abri¨® una investigaci¨®n contra la Apple Card, una tarjeta de cr¨¦dito disponible solo en EE UU, por ofrecer menor l¨ªmite de gasto a las mujeres que a los hombres con el mismo nivel de renta. En el Reino Unido, el algoritmo que determin¨® las notas de selectividad en plena pandemia para evitar ex¨¢menes perjudic¨® injustificadamente a estudiantes de centros m¨¢s modestos.

¡°Este es el mundo que nos espera si no actuamos¡±, dice Toju Duke tras citar esos tres casos de discriminaci¨®n algor¨ªtmica, o consecuencias indeseadas de la inteligencia artificial (IA) sobre la poblaci¨®n. Nacida en Nigeria hace 41 a?os, esta brit¨¢nica ha trabajado una d¨¦cada en Google, donde fue directora en Dubl¨ªn de su programa de IA responsable. Ahora se dedica a la divulgaci¨®n y ha fundado una ONG, Diverse AI, para fomentar la diversidad en esa disciplina. ¡°La explosi¨®n de la IA generativa aumentar¨¢ la magnitud del impacto de esta tecnolog¨ªa en la sociedad¡±, a?ade la experta. En Espa?a ya lo hemos comprobado, por ejemplo, con el caso de los deepfakes pornogr¨¢ficos de menores de Almendralejo. Atiende a EL PA?S tras su ponencia en Madrid de este martes en EnlightED, una conferencia mundial que a¨²na educaci¨®n, tecnolog¨ªa e innovaci¨®n.

Pregunta. En su experiencia, ?son realmente compatibles la ¨¦tica y la IA?

Respuesta. Tienen que serlo. Lo que llamamos IA responsable sigue un marco en el que se cuidan la equidad, la transparencia, la privacidad y la seguridad, la protecci¨®n de los derechos humanos, la ¨¦tica de los datos y otras consideraciones. As¨ª que hay una manera de hacerlo bien, no hay excusas. Podemos someter los modelos de IA a pruebas de imparcialidad. Podemos asegurarnos de que haya alg¨²n tipo de transparencia. Y podemos regular, como quiere hacer el Reglamento de IA de la UE. En t¨¦rminos de arquitectura algor¨ªtmica, no podemos codificar la ¨¦tica. Pero podemos hacer muchas pruebas y afinar los modelos, ajustarlos en funci¨®n de los resultados de las pruebas realizadas para asegurarnos de que producen mejores resultados. Si no lo hacemos, pueden pasar cosas como que un chatbot convenza a un joven de que asesine a la reina de Inglaterra o que un belga se suicide tras semanas de conversaci¨®n con otra aplicaci¨®n.

P. Todo depende de las personas que desarrollen los algoritmos.

R. Sin duda. Pero no quiero cargarles con toda la responsabilidad. La ciudadan¨ªa debemos presionar m¨¢s a los responsables pol¨ªticos para que regulen. Y, m¨¢s all¨¢ de la regulaci¨®n, necesitamos organismos estandarizados que realmente ayuden con este tipo de marcos de IA responsable y gu¨ªen a organizaciones como la UE para saber c¨®mo hacer esto correctamente.

P. ?C¨®mo se puede desarrollar IA responsable?

R. Es imposible hacerlo si en los equipos de desarrolladores no hay diversidad. Cultural, de g¨¦nero, de formaci¨®n, etc. El siguiente problema es la falta de conciencia. A muchos investigadores y compa?¨ªas, esto no les importa. Solo quieren tener una tecnolog¨ªa de vanguardia, y llegar los primeros. Desarrollar una IA responsable ralentiza el proceso de lanzamiento porque requiere hacer pruebas. Tu generador de im¨¢genes lo tiene que utilizar alguien de Malasia para ver si la m¨¢quina es capaz de representar las bodas malayas como all¨ª se celebran.

P. ?Cree que la discriminaci¨®n algor¨ªtmica va a ser un problema social importante en los pr¨®ximos a?os?

R. Ahora mismo ya lo es, lo que pasa es que no lo identificamos como tal. Se va a amplificar, especialmente con el auge de la IA generativa [los sistemas capaces de crear texto, im¨¢genes o m¨²sica]. Si le pides a un generador de im¨¢genes como Midjourney o Dall-E que pinte un CEO, representar¨¢ a un hombre, que seguramente ser¨¢ blanco. Le estamos mostrando a las nuevas generaciones que los puestos de m¨¢xima responsabilidad son predominantemente masculinos. Son injusticias sist¨¦micas que han existido en el mundo a lo largo de los a?os y que se supone que ya deber¨ªamos haber eliminado. Es muy sutil, est¨¢ muy oculto. Pero si no lo solucionamos hoy, la tecnolog¨ªa amplificar¨¢ esos problemas que ya estaban ah¨ª.

P. El uso policial que se hace en EE UU de los sistemas autom¨¢ticos de reconocimiento facial ha generado muchos problemas. ?Cree que eso se corregir¨¢?

R. Esa tecnolog¨ªa es una fuente de casos flagrantes de discriminaci¨®n, siempre contra afroamericanos. Este verano, una mujer embarazada de ocho meses fue detenida err¨®neamente por culpa de un sistema de reconocimiento facial que la identific¨® como la autora del robo con violencia de un coche, cuando era evidente que con esa barriga apenas pod¨ªa moverse. Esto sigue ocurriendo tres a?os despu¨¦s del caso de Robert Williams, el primero que se document¨®, y me frustra mucho. Si sabemos que estos problemas existen, ?por qu¨¦ no prestamos atenci¨®n para arreglarlos? Si entrenas el algoritmo de reconocimiento facial con una mayor¨ªa de rostros de hombres blancos, habr¨¢ m¨¢s probabilidades de que se equivoque, por ejemplo, con una mujer negra. Hace un par de a?os, alrededor de cinco estados dejaron de utilizar el reconocimiento facial. Pero dos a?os despu¨¦s, decidieron retomarlo. Ese es el t¨ªpico ciclo recurrente en EE UU.

P. No hay diversidad ni equipos multidisciplinares en las empresas que desarrollan esta tecnolog¨ªa. ?Por qu¨¦?

R. Los ejecutivos ven en la IA una fuente de mejora de la productividad; los pol¨ªticos, un medio para hacer crecer la econom¨ªa. Pero nadie piensa en serio en los desaf¨ªos que plantea a la sociedad. La gente no es consciente de los problemas de discriminaci¨®n e injusticia que trae la IA. El debate se ha centrado ¨²ltimamente en si la IA supone una amenaza existencial para la humanidad, cuando ese no es realmente el problema al que nos enfrentamos hoy. Tenemos cuestiones m¨¢s urgentes que tratar.

P. Usted trabaj¨® en LaMDA, un gran modelo de lenguaje experimental parecido a ChatGPT desarrollado por Google. ?C¨®mo trat¨® de que fuera responsable?

R. Trabaj¨¦ en lo que llamamos modelo de madurez de IA responsable, un proceso que consiste en asegurarse de que hemos identificado qu¨¦ tareas va a llevar a cabo ese modelo y c¨®mo las va a realizar. Una de las pruebas que hicimos se llama la ventana de referencia de g¨¦nero, que b¨¢sicamente pretende probar si cuando hablas de enfermera solo identifica a una mujer o tambi¨¦n a un hombre [el t¨¦rmino ingl¨¦s nurse sirve para ambos]. Tambi¨¦n quisimos asegurarnos de que cont¨¢bamos con un equipo diverso, con una representaci¨®n justa de personas de distinta orientaci¨®n sexual, g¨¦nero y etnia. Solo as¨ª podemos intentar conseguir que el modelo tenga en cuenta m¨¢s capas de realidad. Ralentizamos el proceso tres meses, pero todo el mundo qued¨® contento.

P. ?No cree que, por muchas capas y variables que se traten de tener en cuenta, jam¨¢s se lograr¨¢ una representaci¨®n justa? El mundo es terriblemente complejo y los modelos, reduccionistas por necesidad.

R. No puedes representar a todo el mundo. Pero al menos puedes decidir tener en cuenta a la gente del sur global, por ejemplo. A muchas compa?¨ªas siempre se les olvida este tipo de cosas. Una vez que se ejecuta una prueba, hay que pensar en el impacto que tiene sobre ciertas personas en la sociedad, especialmente las comunidades que por ley deben ser protegidas. Mujeres embarazadas, ni?os, personas que con discapacidad, minor¨ªas religiosas o ¨¦tnicas¡­ Trabajamos con un conjunto de datos y tenemos que saber qui¨¦n est¨¢ representado en ellos. Pero son datos anonimizados, por lo que se generan tensiones entre la privacidad y la equidad.

P. ?Qu¨¦ opina de ChatGPT? ?Pasar¨ªa su prueba?

R. Est¨¢ mejorando. Hace un a?o, cuando sali¨®, era una basura. Pod¨ªa inventar frases y predecir la siguiente palabra de cualquier texto, pero todav¨ªa era poco intuitivo. El principal problema que plantea es la desinformaci¨®n y las invenciones. Y eso no s¨¦ cu¨¢ndo se va a resolver. Para empezar, porque no sabemos por qu¨¦ sucede. Quiz¨¢ tengamos que pensar en c¨®mo volvemos a entrenar estos modelos, en las t¨¦cnicas que estamos usando. Pero sin duda es un buen paso en la direcci¨®n correcta. Sigo pensando que nos dirigimos hacia la IA general [la que iguale o supere a la del ser humano]. Sin duda, en el futuro veremos grandes avances.

P. Los modelos como ChatGPT se han entrenado con los contenidos de internet, que est¨¢n hechos por personas. Pero si la IA generativa sigue creciendo, puede que los pr¨®ximos modelos se entrenen con contenidos escritos por m¨¢quinas, que no son del todo fiables. ?C¨®mo podemos solucionar eso?

R. Es por eso que tenemos que ir m¨¢s despacio. Creo que ah¨ª es donde la regulaci¨®n tiene que entrar en juego. Hay que asegurarse de que hay un ser humano en el proceso de bucle y en cada fase del ciclo del modelo. En realidad ser¨ªa bueno generar datos a partir de datos generados por IA y construir modelos basados en ellos. Ahora bien, tenemos que ser capaces de comprobar los hechos y las fuentes. Tenemos que poder revisar estas cosas antes de lanzarlas. No podemos simplemente dejar que salgan. Eso es una locura.

P. ?Conf¨ªa en la IA?

R. No conf¨ªo en la IA como tecnolog¨ªa, pero s¨ª en su potencial. Creo realmente que nos puede ayudar a solucionar muchos de los grandes problemas del mundo. No conf¨ªo en ChatGPT. Si le pregunto algo, luego tengo que ir a Google a comprobar si es cierto, a buscar referencias y fuentes. Es posible que dentro de un par de a?os no tengamos este problema, pero ahora es as¨ª.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.