Kate Crawford: ¡°Solo una regulaci¨®n compartida puede controlar los peligros de la inteligencia artificial¡±

Cuando Kate Crawford avis¨® en 2016 de que el dise?o de la inteligencia artificial propiciaba la discriminaci¨®n, pocos daban importancia al impacto social que aquello conllevar¨ªa. Por entonces, Crawford puso varios ejemplos, siendo el m¨¢s sonado el de la aplicaci¨®n de fotograf¨ªas de Google, que etiquetaba a los negros como gorilas. Aunque Google se disculp¨® p¨²blicamente, este tipo de errores garrafales se repiten una y otra vez en distintas empresas. Seg¨²n ella, el problema radica en los datos que se emplean y qu...

Cuando Kate Crawford avis¨® en 2016 de que el dise?o de la inteligencia artificial propiciaba la discriminaci¨®n, pocos daban importancia al impacto social que aquello conllevar¨ªa. Por entonces, Crawford puso varios ejemplos, siendo el m¨¢s sonado el de la aplicaci¨®n de fotograf¨ªas de Google, que etiquetaba a los negros como gorilas. Aunque Google se disculp¨® p¨²blicamente, este tipo de errores garrafales se repiten una y otra vez en distintas empresas. Seg¨²n ella, el problema radica en los datos que se emplean y que est¨¢n basados en prejuicios. Estos datos altamente discriminatorios son los que se utilizan para crear algoritmos y construir despu¨¦s modelos de sistema, que perpet¨²an una sociedad sexista, racista y clasista porque la inteligencia artificial (IA) refleja los valores de quienes la crean: sobre todo, hombres blancos.

Hoy, a sus 47 a?os, la australiana Kate Crawford es considerada una de las investigadoras m¨¢s respetadas en la industria de la IA. Ha dedicado toda su carrera profesional a estudiar las implicaciones pol¨ªticas y sociales del mal uso de los avances tecnol¨®gicos. Durante la era de Obama, moder¨® un simposio sobre el tema en la Casa Blanca y ha asesorado a la Comisi¨®n Europea y las Naciones Unidas, entre otros organismos. Ha sido, adem¨¢s, pionera de muchas iniciativas que ahora resultan cruciales. En 2017 fund¨® junto, a Meredith Whittaker, AI Now, una de las primeras instituciones dedicadas a analizar el impacto de la inteligencia artificial en el ¨¢mbito social. Y en 2019-2020 fue la primera persona en ocupar la c¨¢tedra visitante de IA y Justicia creada en la ?cole Normale Sup¨¦rieure de Par¨ªs.

En la actualidad, Crawford trabaja como investigadora principal s¨¦nior en Microsoft y, entre las muchas otras actividades sobresalientes que realiza en paralelo, escribe. Nos encontramos con ella para hablar de su ¨²ltimo libro, Atlas de Inteligencia Artificial (publicado en espa?ol por Nuevos Emprendimientos Editoriales), que ha sido considerado uno de los mejores libros de tecnolog¨ªa por el Financial Times. La cita es en el MoMA de Nueva York, donde est¨¢ una obra que Crawford realiz¨® en 2018 junto al artista Vladan Joler. Consiste en una infograf¨ªa que muestra el trabajo humano, los datos y los recursos que se requieren durante la vida ¨²til de tan solo un dispositivo, desde su fabricaci¨®n hasta que se de?secha, utilizando como ejemplo el Amazon Echo (Alexa). Aunque Anatom¨ªa de un sistema de IA forma parte de la colecci¨®n permanente del MoMA desde 2022, Crawford ha hecho cola para entrar al museo como una visitante m¨¢s. Nos la encontramos cuando se dispone a comprar su entrada. Viste c¨®moda; traje de chaqueta y zapatillas blancas. Se muestra relajada y accesible. Saluda con una c¨¢lida sonrisa que no la abandona durante todo el tiempo que dura la entrevista.

?Qu¨¦ la anim¨® a crear esta infograf¨ªa explicando el nacimiento, vida y muerte de una IA?

El arte para m¨ª ha de iluminar y provocar, y Anatom¨ªa de un sistema de IA lo consigue. Siempre he cre¨ªdo en el poder de la cartograf¨ªa cr¨ªtica y me parece muy interesante mostrar de forma gr¨¢fica algo tan complejo como el funcionamiento de un sistema. Me pas¨¦ dos a?os y medio investigando. Me desplac¨¦ a todos los lugares clave en la vida de una IA. Desde donde nacen hasta donde se desechan (Ghana, Pakist¨¢n). La pieza se exhibi¨® en 60 lugares antes de que el MoMA la comprara, ha tenido ¨¦xito. Pero es muy ligera en comparaci¨®n con mi ¨²ltima instalaci¨®n, Calculating Empires, que presentar¨¦ a finales de a?o. Consiste en cuatro mapas gigantes que rastrean la relaci¨®n entre la tecnolog¨ªa y el poder desde 1500, con el fin de ofrecer una forma diferente de ver la era tecnol¨®gica actual con profundidad hist¨®rica, mostrando las innumerables formas en que el poder y la tecnolog¨ªa se han entrelazado a lo largo de cinco siglos. Me llev¨® cuatro a?os de investigaci¨®n crearla.

Sus estudios y su doctorado no ten¨ªan nada que ver con la tecnolog¨ªa. ?C¨®mo acab¨® convirti¨¦ndose en una de las investigadoras de m¨¢s prestigio del mundo en el ¨¢mbito de la IA?

Siempre me han interesado las pol¨ªticas de la tecnolog¨ªa y el impacto que tienen en la transformaci¨®n social. De hecho, en 2002 fund¨¦ en la Universidad de S¨ªdney el primer curso del mundo de esta ¨ªndole, se llamaba La pol¨ªtica de los medios digitales. Y programo desde la adolescencia, porque ten¨ªa un d¨²o feminista de m¨²sica electr¨®nica llamado B(if)tek y cre¨¢bamos nuestros programas. Pero el gran cambio surgi¨® cuando trabajaba como directora de un centro de investigaci¨®n en S¨ªdney y el Massachusetts Institute of Technology (MIT) me invit¨® a trabajar con ellos como profesora visitante. Una vez en Boston visit¨¦ el laboratorio de investigaci¨®n de Microsoft y me ofrecieron un trabajo. Era el preciso momento en que Microsoft estaba emprendiendo el camino hacia el aprendizaje autom¨¢tico y me di cuenta de que era una oportunidad crucial de poder entender c¨®mo funciona internamente un sistema, pasar a analizar datos de gran escala.

Lleva 20 a?os estudiando la IA y dice que ahora estamos viviendo su punto de inflexi¨®n m¨¢s dram¨¢tico.

Ha habido momentos en la historia en que la IA era influyente, pero ha solido estar en un segundo plano. Ahora no: ChatGPT es la tecnolog¨ªa m¨¢s r¨¢pida de la historia de la humanidad hasta el momento.

Y a la vez est¨¢ explotando a los trabajadores y contaminando el planeta¡­

Exacto. Uno de los aspectos menos conocidos de la IA es la cantidad de empleados mal remunerados que se necesitan para construir, mantener y poner a prueba estos sistemas. Es lo que se llama ¡°el trabajo fantasma¡± o ¡°la automatizaci¨®n alimentada por humanos¡±, que se aplica desde la miner¨ªa hasta el crowdsourcing, pasando por el software. ChatGPT extrae sus respuestas de internet, que est¨¢ repleto de toxicidad. Se sabe que hay trabajadores en ?frica cobrando dos euros por hora por eliminar manualmente las frases violentas, sexuales y los discursos de odio. Es deshumanizante. Por otro lado, es un sistema que ocasiona grandes problemas medioambientales. Hacer 20 preguntas a ChatGPT equivale a desperdiciar medio litro de agua. Este tipo de bots se alojan en centros de datos que dejan una huella de carbono muy significativa, equivalente a 125 vuelos de ida y vuelta de Nueva York a Pek¨ªn. A lo que hay que a?adir el enorme coste de electricidad de los centros de servidores.

Su ¨²ltimo art¨ªculo, publicado junto a investigadores de Harvard y el MIT, se titula De qu¨¦ forma la IA nos ha fallado. ?C¨®mo se podr¨ªa mejorar la situaci¨®n?

La visi¨®n dominante concibe la inteligencia como aut¨®noma en lugar de social y relacional. Es una perspectiva improductiva y peligrosa, ya que se optimiza para m¨¦tricas artificiales de replicaci¨®n humana en lugar de para evolucionar. Tiende a concentrar el poder, los recursos y la toma de decisiones en una peque?a ¨¦lite del sector tecnol¨®gico. Nosotros planteamos una visi¨®n alternativa basada en la cooperaci¨®n social y la equidad. Wikipedia podr¨ªa ser un ejemplo. Mi esperanza es que m¨¢s organizaciones trabajen hacia el pluralismo pol¨ªtico y tecnol¨®gico, lo que implicar¨ªa una diversidad de enfoques y herramientas, protecciones regulatorias y beneficios compartidos por muchos.

?Cu¨¢l es la gran pregunta que debemos hacernos en relaci¨®n con la IA?

La pregunta m¨¢s importante es c¨®mo vamos a garantizar que los sistemas de inteligencia artificial generativa sean justos, que su interpretaci¨®n de la realidad sea la adecuada desde un punto de vista ¨¦tico y que no haya sesgo a consecuencia del poder. El mejor ejemplo hasta el momento es The AI Act, la propuesta de ley para regular la inteligencia artificial en la Uni¨®n Europea, pero cost¨® a?os llegar a un consenso. Y no es tan factible en Estados Unidos.

Estados Unidos es el pa¨ªs l¨ªder en IA generativa y, parad¨®jicamente, el m¨¢s permisivo desde el punto de vista de las regulaciones.

Estados Unidos tiene menos regulaciones incluso que China y es muy preocupante el uso que se est¨¢ haciendo de la IA. Mi amiga Laura Poitras [una de las m¨¢s prominentes documentalistas en la actualidad, ganadora de un Oscar y un Le¨®n de Oro, entre otros muchos reconocimientos] me permiti¨® acceder a los documentos que filtr¨® Edward Snowden y me impresion¨® mucho ver c¨®mo se aplica el aprendizaje autom¨¢tico para rastrear y vigilar a los ciudadanos, por ejemplo.

Lo que nos lleva a aquella famosa frase de Michael Hayden, agente de Seguridad Nacional de EE UU y exdirector de la CIA: ¡°Matamos a gente bas¨¢ndonos en los metadatos¡±.

Es algo que han practicado varios presidentes de gobierno ayud¨¢ndose de drones. Hablo de George Bush, pero tambi¨¦n de Obama. Se persigue a personas sospechosas de ser terroristas por su uso de metadatos. Y se las mata, antes de confirmar si lo son, dando por hecho que los datos son concluyentes. Es algo que atenta contra los derechos humanos. Y es especialmente grave teniendo en cuenta que la IA sufre alucinaciones.

Tambi¨¦n se vigila al resto de personas.

Los ciudadanos de a pie piensan que est¨¢n a salvo, creyendo que los gobiernos persiguen solo a los terroristas. Est¨¢n completamente equivocados. Mediante los programas de predicci¨®n de IA se vigila tanto a sospechosos de terrorismo como a civiles. Est¨¢ ocurriendo con los refugiados, a los que se juzga si son o no terroristas bas¨¢ndose ¨²nicamente en metadatos que pueden ser totalmente enga?osos o confusos. ?Y c¨®mo se van a poder defender estos refugiados de la injusticia? Son un colectivo muy vulnerable, que no dispone de ning¨²n recurso.

Ha tratado de ayudar a las minor¨ªas dedicando m¨¢s de una d¨¦cada de investigaci¨®n a denunciar la discriminaci¨®n que ejercen los sistemas de IA.

Es un problema conocido. Si uno pide a un sistema tipo Dolly, Midjourney o Stable Diffusion que muestre una imagen de un CEO [director ejecutivo], lo que ver¨¢ es una proliferaci¨®n de im¨¢genes de hombres blancos. Si se pide una imagen de educadores o personal de enfermer¨ªa, encontrar¨¢ im¨¢genes de mujeres blancas y, si se piden im¨¢genes de auxiliares de vuelo, abundar¨¢n las fotos de asi¨¢ticas. Ahora est¨¢n intentando abordar el problema con soluciones muy torpes. Por ejemplo, en una de cada diez im¨¢genes habr¨¢ una mujer o alguien negro o hispano. Todav¨ªa me sorprende la poca investigaci¨®n en torno a los fundamentos de IA y los datos de entrenamiento que se utilizan para que estos sistemas interpreten el mundo. Formo parte de un proyecto de investigaci¨®n, Knowing Machines, en la Universidad de Nueva York, en el que nos centramos en abordar este tema.

Los sistemas de IA tambi¨¦n influyen de forma discriminatoria a la hora de encontrar trabajo.

Como el caso que se dio en Amazon en 2014, en un intento de hacer la contrataci¨®n m¨¢s eficiente. Dise?aron un sistema de aprendizaje autom¨¢tico que valoraba curr¨ªcu?los del 1 al 5 y que, de entre un centenar, seleccionaba a los mejores candidatos. Implementaron el sistema con un conjunto de datos extra¨ªdos de los curr¨ªcu?los de empleados contratados en los 10 a?os previos. Pero dejaron de usarlo cuando descubrieron que el sistema no recomendaba a mujeres. Discriminaba a las que hubieran ido a una universidad femenina y a todos los curr¨ªcu?los que incluyeran la palabra ¡°mujer¡±. Este ejemplo muestra c¨®mo el sesgo est¨¢ presente. Si los datos que se utilizan est¨¢n basados en la hegemon¨ªa masculina, los modelos de futuro seguir¨¢n perpetu¨¢ndola.

Lo m¨¢s candente respecto a la discriminaci¨®n que produce la utilizaci¨®n de la IA es la clasificaci¨®n y toma de decisiones bas¨¢ndose en el reconocimiento emocional.

Es aterrador. Tenemos que remontarnos a 1967, cuando un psic¨®logo estadounidense llamado Paul Ekman lanz¨® la peligros¨ªsima hip¨®tesis de que todos los seres humanos compartimos un reducido n¨²mero de emociones ¡ªira, felicidad, sorpresa, asco, tristeza y miedo¡ª independientemente de factores hist¨®ricos, sociales, religiosos y culturales. En la actualidad, la aplicaci¨®n de herramientas de reconocimiento emocional es un absoluto desastre desde un punto de vista fundamental y cient¨ªfico. No hay evidencia confiable de que se pueda predecir con precisi¨®n el estado emocional de una persona a partir de su rostro. Y, sin embargo, se juzga y se toman decisiones bas¨¢ndose en ello.

Pasamos a la simplificaci¨®n: si est¨¢s contento, sonr¨ªes; si est¨¢s enfadado, est¨¢s serio¡­

En China se est¨¢ aplicando en colegios para evaluar a los ni?os, y se utiliza tambi¨¦n para atacar a los pol¨ªticos a modo de pol¨ªgrafos digitales. Y se ejecuta en procesos de selecci¨®n de personal. Por ejemplo, en una entrevista de trabajo, dependiendo de la expresi¨®n del rostro de una persona, el sistema decide si va a ser o no un buen empleado para la empresa. Muchas start-ups, as¨ª como las mayores empresas de tecnolog¨ªa (IBM, Microsoft, Amazon), cuentan con herramientas de reconocimiento emocional autom¨¢tico.

Tambi¨¦n puede derivar en error debido a la posibilidad de fingir.

Las herramientas de reconocimiento emocional autom¨¢tico son peligros¨ªsimas y deber¨ªan estar reguladas de forma estricta. Es m¨¢s, en mi opini¨®n, deber¨ªan estar completamente restringidas.

?Por qu¨¦ se siguen construyendo y aplicando herramientas de reconocimiento emocional autom¨¢tico si se ha constatado que son de poca ?fiabilidad?

Porque es un gran negocio, un sector muy lucrativo que promete millones de beneficios a las corporaciones.

Considerando los casos de Snowden y Timnit Gebru, ?sirve de algo advertir de las consecuencias de la mala gesti¨®n de la IA?

Esto prueba que la cultura de los whistleblowers [los trabajadores que denuncian desde dentro de una empresa] no funciona, como tampoco funcionan los intentos de autorregulaci¨®n interna, por mucho que las grandes corporaciones creen departamentos dedicados a aplicar la ¨¦tica en el dise?o de sus sistemas. Lo ¨²nico que puede solventar la situaci¨®n es crear una regulaci¨®n efectiva compartida.

Geoffrey Hinton, considerado el padrino de la IA, ha abandonado Google. Usted trabaja en Microsoft. ?Hasta qu¨¦ punto sus investigaciones y sus libros en paralelo no se ven afectados?

Creo que Geoffrey Hinton tuvo que abandonar su puesto de trabajo porque sent¨ªa que su contrato con Google mermaba su libertad de expresi¨®n. Es francamente una pena llegar a este punto. En mi caso, dispongo de total libertad para escribir y hablar de mis averiguaciones. Microsoft no revisa mis publicaciones y creo que as¨ª deber¨ªa ser siempre en todas las empresas. Si no disponemos de una cultura abierta aut¨¦ntica y real, las compa?¨ªas se convertir¨¢n en cajas negras y tendr¨¢ un impacto demoledor en la sociedad.

Usted tiene un hijo de 10 a?os, una edad delicada e interesant¨ªsima justo al borde de la preadoles?cencia. ?C¨®mo aborda el uso de las nuevas tecnolog¨ªas como ChatGPT con ¨¦l?

Me siento con ¨¦l y tratamos de analizar cr¨ªticamente las ventajas e inconvenientes de cada dispositivo o programa. Trato de que entienda c¨®mo funcionan, qu¨¦ nos aportan y cu¨¢les son los problemas que acarrean. Quiero ayudarlo a desarrollar su criterio para que ¨¦l mismo pueda juzgar cu¨¢ndo es conveniente usarlos y c¨®mo debe protegerse de ellos.