Gemma Gald¨®n, auditora de algoritmos: ¡°La inteligencia artificial es de muy mala calidad¡±

La inteligencia artificial no es solo cosa de ingenieros. Se puede ser de letras y, a la vez, una referencia en el debate mundial sobre las repercusiones sociales y ¨¦ticas de lo que hacen estos sistemas. Gemma Gald¨®n (Matar¨®, Barcelona, 47 a?os) se gradu¨® en Historia Contempor¨¢nea y se doctor¨® en pol¨ªticas p¨²blicas tecnol¨®gicas; es la fundadora y primera ejecutiva de ?ticas Research and Consulting, compa?¨ªa que examina los algoritmos para asegurar su uso responsable. ¡°Ser consciente de c¨®mo la sociedad ha resuelto problem...

La inteligencia artificial no es solo cosa de ingenieros. Se puede ser de letras y, a la vez, una referencia en el debate mundial sobre las repercusiones sociales y ¨¦ticas de lo que hacen estos sistemas. Gemma Gald¨®n (Matar¨®, Barcelona, 47 a?os) se gradu¨® en Historia Contempor¨¢nea y se doctor¨® en pol¨ªticas p¨²blicas tecnol¨®gicas; es la fundadora y primera ejecutiva de ?ticas Research and Consulting, compa?¨ªa que examina los algoritmos para asegurar su uso responsable. ¡°Ser consciente de c¨®mo la sociedad ha resuelto problemas antiguos me da una perspectiva ¨²til para trabajar con problemas nuevos¡±, cuenta en una cafeter¨ªa de Madrid. ¡°Hace 12 a?os, cuando me doctor¨¦, ¨¦ramos muy pocas las personas de las ciencias sociales que trabaj¨¢ramos con tecnolog¨ªa¡±. Su empresa asesora a organismos europeos y estadounidenses. Tiene la maleta hecha: enseguida regresa a Nueva York, donde reside y donde el jueves recibi¨® uno de los Hispanic Star Awards, premios a los agentes del cambio de la comunidad hispanohablante, en un acto en Naciones Unidas. Tuvo que mudarse, cuenta, porque en EE UU ¡°el mercado est¨¢ m¨¢s receptivo a la IA responsable¡±.

Pregunta. ?C¨®mo es eso de auditar algoritmos?

Respuesta. Pues es inspeccionar sistemas de inteligencia artificial para ver c¨®mo funcionan, pero en primer lugar para asegurar que sus impactos en la sociedad son justos, que no hay ninguna discriminaci¨®n. Y, adem¨¢s, que los sistemas hacen lo que dicen que hacen.

P. ?Y qu¨¦ problemas se encuentra?

R. Al principio estos sistemas son tan discriminatorios como la sociedad, pero al cabo de muy poco tiempo ya son mucho m¨¢s discriminatorios que la sociedad. Porque lo que hace la IA es coger muchos datos de entrenamiento y buscar un patr¨®n. Y el patr¨®n siempre es el hombre blanco con trabajo estable; en el caso de los bancos, ser¨¢ el cliente ideal. Cualquier perfil que sea minoritario o anecd¨®tico lo elimina de la muestra. Con lo cual una mujer tiene muchas menos posibilidades de que le diagnostiquen endometriosis mediante IA, porque hist¨®ricamente no hemos diagnosticado endometriosis.

P. Hay quien dice que no se puede examinar a fondo a la IA porque ni sus creadores entienden del todo c¨®mo funciona, sino que aprende sola.

R. Falso. Esa idea de la caja negra es un mito, puro marketing. Creo que hay cierta voluntad por parte del sector de la IA de que se la vea como algo m¨¢gico, que nos creamos que es algo que no podemos entender y quitarnos la capacidad de intervenir. Lo que hemos visto es que podemos auditar cuando nos contrata un cliente y nos ense?a pr¨¢cticamente todo, pero tambi¨¦n desde fuera podemos hacer ingenier¨ªa inversa y ver c¨®mo funciona un sistema en funci¨®n de sus impactos.

P. Ha asesorado a instituciones pol¨ªticas para regular la IA. ?Qu¨¦ es lo que pretenden?

R. Lo que ha pasado en los ¨²ltimos a?os es que el legislador, con muy buenas intenciones, ha generado una regulaci¨®n muy abstracta, muy basada en principios, y la industria se ha quejado de no tener pr¨¢cticas concretas. Tenemos una industria nacida al albur de Silicon Valley, acostumbrada a esa idea de ¡°mu¨¦vete r¨¢pido y rompe cosas¡±, sin ser consciente de que lo que pueda romper sean derechos fundamentales o leyes. A veces hay una cierta obsesi¨®n con pedir el c¨®digo o los modelos fundacionales. A m¨ª nunca me han sido ¨²tiles. Estamos pidiendo un nivel de transparencia que no es ¨²til para auditar, para inspeccionar los impactos. Si sabes que hay un momento de inspecci¨®n en el que te valoramos ciertas m¨¦tricas, tienes que empezar a hacer cambios. Con lo cual cambiamos los incentivos de la industria tecnol¨®gica para que tengan en cuenta el impacto y el sesgo, cualquier tipo de disfunci¨®n.

P. ?Le decepciona o le satisface la ley de IA que ha acordado la Uni¨®n Europea?

R. Me parece un paso de gigante en la regulaci¨®n: es la primera ley sobre estos temas en Occidente. Lo que me decepciona es el papel de Europa a la hora de ir m¨¢s all¨¢, de crear un mercado vinculado a la IA responsable. Tanto Estados Unidos como Asia y China se est¨¢n poniendo las pilas.

La Inteligencia Artificial General est¨¢ tan cerca como cuando Plat¨®n hablaba de las posibilidades de otros tipos de mundos

P. ?Es inteligencia artificial todo lo que se presenta como tal?

R. Estamos rodeados de inteligencia artificial de muy mala calidad. Ya no es un tema de sesgos, es que no hace lo que dice que hace, y toma decisiones que los humanos nunca tomar¨ªamos. Un ejemplo es el sistema que se implant¨® para valorar el desempe?o de los profesores en el sistema educativo de varios estados de EE UU. Algunos trabajadores que vieron c¨®mo su desempe?o cambiaba en la valoraci¨®n manual y en la algor¨ªtmica lo llevaron a los tribunales. El tribunal orden¨® una auditor¨ªa y se observa que los ¨²nicos inputs que se tienen en cuenta para decidir si eres buen profesor son los resultados de tus alumnos en matem¨¢ticas y en lengua. Es un Excel glorificado. Si a los directores de esas escuelas les hubieran ofrecido esto como una hoja de c¨¢lculo que apunta los resultados en matem¨¢ticas y en lengua, nunca se lo habr¨ªan vendido.

P. ?Se impondr¨¢ una IA responsable?

R. Soy optimista. Cuando auditamos, nos encontramos con sistemas sesgados que tambi¨¦n funcionan mal. La inteligencia artificial es de muy mala calidad y en alg¨²n momento la industria va a tener que hacerla mejor. Estos sistemas nacieron de herramientas de entretenimiento como Netflix, que pueden tener un margen de error elevado. Si la pel¨ªcula que te recomienda Netflix no es la que quieres ver despu¨¦s de otra, no pasa nada. Pero si la IA quiere trabajar en el ¨¢mbito m¨¦dico recomendando un tratamiento; o en la selecci¨®n de personal decidiendo a qui¨¦n contratamos o a qui¨¦n despedimos; o en la asignaci¨®n de recursos p¨²blicos... tiene que funcionar bien. Ahora mismo, la IA que aceptamos no solo es sesgada, sino que, adem¨¢s, no funciona bien. Lo bueno es que los dos problemas se resuelven a la vez. Cuando se aborda el problema del sesgo, se abordan tambi¨¦n las otras ineficiencias.

P. La salida y reincorporaci¨®n de Sam Altman como consejero delegado de OpenAI se han relacionado con un supuesto avance sensacional hacia la Inteligencia Artificial General (IAG), o superinteligencia, algo que amenaza a la humanidad. ?Se lo cree?

R. La Inteligencia Artificial General est¨¢ tan cerca como cuando Plat¨®n hablaba de las posibilidades de otros tipos de mundos y de vidas. La humanidad siempre ha so?ado con reproducir de manera autom¨¢tica la conciencia humana. Hemos sido capaces de so?ar futuros de ciencia ficci¨®n. Hay un debate sobre la IAG que no tiene nada que ver ahora mismo con las capacidades tecnol¨®gicas.

P. ?No van a superarnos las m¨¢quinas a los humanos?

R. La forma en que pensamos los humanos, la creatividad, lo nuevo, no tiene nada que ver con la IA. Un ejercicio muy sencillo: si le damos a un sistema toda la obra de Picasso antes de 1937 y le preguntamos: ?cu¨¢l va a ser la siguiente pintura de Picasso?, nos sacar¨¢ cualquier cosa. Y en 1937 ¨¦l pinta el Guernica. Las personas evolucionamos en nuestra forma de expresarnos, de amar, de trabajar, de escribir, de crear. Plantear que en alg¨²n momento un sistema de datos estad¨ªstico y matem¨¢tico va a dar un salto a la consciencia es una alucinaci¨®n.

P. Tambi¨¦n se llama alucinaci¨®n a lo que hace ChatGPT cuando se inventa respuestas a las preguntas. Es poco fiable, ?verdad?

R. Es el caso de un abogado que trabaja defendiendo a v¨ªctimas de pederastia y ChatGPT le hace una biograf¨ªa de pederasta. ?Por qu¨¦? Porque su nombre aparece con estas palabras la mayor¨ªa de veces o m¨¢s veces con estas palabras que con otra, con lo cual te asocia esta palabra y ya est¨¢.

En alg¨²n momento nos tenemos que plantear sacar tecnolog¨ªas contaminantes de la circulaci¨®n, como las criptomonedas

P. Usted estudia el impacto social de la IA. ?Y qu¨¦ hay del impacto ecol¨®gico? Porque los centros de datos se han convertido en grandes derrochadores de agua y energ¨ªa.

R. No tiene ning¨²n sentido que ahora mismo, cuando te hacen una auditor¨ªa ambiental en tu empresa, vengan a ver qu¨¦ tipo de bombillas tienes y no te miren d¨®nde est¨¢n los servidores y cu¨¢nto tiene que viajar la informaci¨®n. No ha habido ninguna voluntad de cuantificar el impacto ambiental de los procesos de datos y de incentivar que la industria tenga servidores cercanos al lugar de provisi¨®n de la informaci¨®n. Es un debate que a¨²n no hemos tenido. En la era del cambio clim¨¢tico no tiene sentido que casi todo el mundo hable de la tecnolog¨ªa como la soluci¨®n y no como uno de los problemas.

P. De criptomonedas, entonces, ni hablamos. Con lo que gastan.

R. Igual que estamos sacando coches contaminantes de la calle, en alg¨²n momento nos tenemos que plantear sacar tecnolog¨ªas contaminantes de la circulaci¨®n. Igual tenemos que empezar a prohibir arquitecturas blockchain cuando el valor social no se percibe. Lo que aportan las criptomonedas es una herramienta de especulaci¨®n, un mecanismo de inversi¨®n m¨¢s parecido a una estafa piramidal... Si estuvi¨¦ramos salvando vidas dir¨ªa: mira, pues igual se justifica.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.