Kate Crawford: ¡°Los ricos temen la rebeli¨®n de las m¨¢quinas, no tienen otra cosa de la que preocuparse¡±

Su objetivo es acabar con las llamadas black boxes (cajas negras), sistemas automatizados y totalmente opacos que usan los gobiernos para decidir cuestiones fundamentales para la vida de las personas, como a qui¨¦n conceden ayudas a la dependencia. "Nadie sabe c¨®mo funcionan ni los criterios que se utilizan para entrenar a esas m¨¢quinas", denuncia la experta, a quien la Administraci¨®n Obama encarg¨® organizar unas jornadas sobre las implicaciones sociales de la inteligencia artificial en 2016.

M¨¢s informaci¨®n

Cinco aplicaciones para encontrar pr¨¢cticas, becas y primeros empleos

Las cuatro novedades que llegar¨¢n pronto a WhatsApp

Crawford particip¨® la semana pasada en el Conversatorio sobre Inteligencia Artificial y su Impacto en la Sociedad, organizado por el Ministerio de Energ¨ªa y Agenda Digital en Madrid, donde present¨® las conclusiones de su informe Algorithmic Impact Assesment, una gu¨ªa para detectar las injusticias y perfeccionar los algoritmos desde los poderes p¨²blicos.?

Pregunta.?El mundo digital est¨¢ reproduciendo las desigualdades del mundo real. ?De qu¨¦ fuentes se extraen los datos para el entrenamiento de los algoritmos?

Respuesta. Hay que entender c¨®mo funcionan los sistemas de inteligencia artificial. Para ense?arles a distinguir un perro de un gato le damos millones de im¨¢genes de cada uno de esos animales. Los entrenamos para que aprendan a identificar. El problema es que esos mismos sistemas, esos software, los est¨¢ usando la polic¨ªa en Estados Unidos para predecir cr¨ªmenes. Entrenan al algoritmo con fotos de procesados, con datos de los barrios en los que se registran m¨¢s delitos o en los que m¨¢s arrestos se han registrado. Esos patrones tienen un sesgo, reproducen estereotipos y el sistema de inteligencia artificial lo toma como ¨²nica verdad. Les estamos inyectando nuestras limitaciones, nuestra forma de marginar.?

P. ?Esos datos se recopilan de Internet de forma aleatoria??

R. Se usan bases de datos. Una de las m¨¢s populares y m¨¢s usadas por las tecnol¨®gicas es Image Net, que contiene 13.000 im¨¢genes. En el 78% de ellas aparecen hombres y el 84% de ellas, blancos. Esas son las referencias para cualquier sistema entrenado con ese kit. La forma en la que etiquetamos las im¨¢genes est¨¢ muy relacionada con nuestra cultura y nuestro constructo social. Image Net se cre¨® recopilando fotograf¨ªas de Yahoo News entre 2002 y 2004. La cara que m¨¢s aparece es la de George W. Bush, que era el presidente de Estados Unidos en ese momento. Hoy todav¨ªa es una de las bases de datos m¨¢s utilizadas. Los sistemas de inteligencia artificial parecen neutrales y objetivos, pero no lo son. Te cuentan una versi¨®n muy particular de la historia.

P. ?Qu¨¦ empresas est¨¢n interesadas en destinar recursos para analizar esos sesgos?

R.? En Microsoft lo hemos hecho. En nuestro estudio Man is to Computer Programmer as Woman is to Homemaker??detectamos que los hombres se asocian habitualmente con profesiones como pol¨ªticos o programadores, y las mujeres con modelo, ama de casa, madre... Analizando cientos de textos se extraen esos patrones, esos estereotipos sociales que despu¨¦s replican los algoritmos. Por eso si buscas en Google im¨¢genes la palabra m¨¦dico, te aparecer¨¢n fotos de hombres con chaquetas blancas. Si pones enfermero, solo ver¨¢s mujeres en hospitales. Cuando la gente ve eso autom¨¢ticamente se refuerzan las formas m¨¢s b¨¢sicas de sesgo. Hay que empezar a cuestionar c¨®mo se han construido esos sistemas.?

P. En Europa todav¨ªa no es tan habitual que los gobiernos empleen la Inteligencia Artificial para la toma de decisiones. ?Qu¨¦ impacto est¨¢ teniendo en Estados Unidos?

R.?Los medios publicaron el pasado marzo c¨®mo se est¨¢ usando por parte de la administraci¨®n un algoritmo para decidir en qu¨¦ casos una persona debe recibir atenci¨®n en el hogar.?De repente se cortaron muchas de esas ayudas, y ancianos que hab¨ªan estado recibiendo cuidados en casa durante a?os se quedaron sin ella. ?Qu¨¦ hab¨ªa cambiado? El algoritmo no ten¨ªa en cuenta el contexto y tomaba malas decisiones. Nadie hab¨ªa evaluado el sistema para ver cu¨¢nta gente se hab¨ªa quedado fuera. Fue un esc¨¢ndalo en Estados Unidos. Es un ejemplo de un sistema aplicado sin la suficiente investigaci¨®n. Las personas con menos recursos econ¨®micos y menos nivel educativo son las que lo est¨¢n sufriendo primero.?

P. ?Deber¨ªan los gobiernos hacer p¨²blicos esos algoritmos??

R. En uno de los informes que publicamos el a?o pasado en?AI Now Research Institute, lanzamos una recomendaci¨®n crucial: que los gobiernos dejen de usar sistemas algor¨ªtmicos cerrados. Tendr¨ªan que permitir a expertos independientes auditar esas f¨®rmulas para detectar d¨®nde est¨¢n las flaquezas, los sesgos. Esa parte es muy importante para asegurar la igualdad de oportunidades. Nos dimos cuenta de que hasta ese momento nadie hab¨ªa publicado ninguna investigaci¨®n sobre ese tema, no hab¨ªa ninguna gu¨ªa. Formamos un equipo de expertos en derecho, ingenier¨ªa, ciencias de la computaci¨®n, sociolog¨ªa y elaboramos un mecanismo para ayudar a los gobiernos a desarrollar un sistema transparente que permita a los ciudadanos conocer los detalles, si sus datos se han procesado de forma correcta. Si no, nunca sabr¨¢n c¨®mo se ha tomado una decisi¨®n que afecta directamente a su vida, a su d¨ªa a d¨ªa.?

P. ?Han probado ya su m¨¦todo contra los sesgos con alguna administraci¨®n?

R. Lo estamos probando con el ayuntamiento de Nueva York, es la primera ciudad en implementarlo de Estados Unidos. Estamos midiendo c¨®mo afectan los algoritmos a los ciudadanos. Tambi¨¦n lo hemos presentado en la Comisi¨®n Europea y en Espa?a, donde en un mes se publicar¨¢ el primer informe sobre las consecuencias de la IA encargado por el Ministerio a un comit¨¦ de expertos. Espero que si finalmente se produce el cambio de Gobierno, salga adelante (esta entrevista se realiz¨® antes de la moci¨®n de censura a Mariano Rajoy). Europa ha llegado tarde al juego y por eso tiene que aprender de los errores de Estados Unidos y China, pa¨ªses en los que m¨¢s avanzada est¨¢ la aplicaci¨®n de la IA a la toma de decisiones p¨²blica.?

P. Y las empresas como Facebook, ?deber¨ªan estar obligadas a hacerlos p¨²blicos?

R. Mirar los algoritmos de Facebook o Google no nos ayudar¨ªa. Son sistemas masivos y complejos con cientos de miles de algoritmos operando al mismo tiempo, y est¨¢n protegidas por el secreto industrial. Los gobiernos no van a usar esos algoritmos, van a crear sistemas p¨²blicos y por eso deben ser abiertos y transparentes. Igual no para el p¨²blico en general, pero s¨ª para comisiones independientes de expertos.

P.?La inteligencia artificial est¨¢ cada vez m¨¢s presente en los procesos de selecci¨®n de las empresas. ?A qu¨¦ tipo de perfiles perjudica esta tecnolog¨ªa?

R. En Estados Unidos hay una nueva empresa, Hirevue, que recluta nuevos perfiles para compa?¨ªas como Goldman Sachs o Unilever usando inteligencia artificial. Durante la entrevista te graban y monitorizan 250.000 puntos de tu rostro para despu¨¦s analizar tus expresiones. Con esos datos determinan si ser¨¢s un buen l¨ªder o si ser¨¢s o no honesto. Tambi¨¦n estudian el tono de tu voz y sacan patrones de comportamiento.?No podemos asumir que sabemos c¨®mo es alguien por sus expresiones, no existe una base cient¨ªfica. En el siglo diecinueve se populariz¨® la?frenolog¨ªa, que se basaba en descifrar aspectos de la personalidad con el an¨¢lisis del rostro. Otro punto peligroso es que las empresas buscan personas que se parezcan a sus actuales empleados, y el impacto que eso tiene en la diversidad es tremendo. Est¨¢n creando monoculturas.?

P. ?Cree que ha llegado el momento de desmitificar algunas creencias sobre la inteligencia artificial, como que las m¨¢quinas podr¨¢n tener conciencia? ?Cu¨¢nto da?o est¨¢n haciendo algunos gur¨²s?

R. Es una terrible distracci¨®n de los verdaderos problemas que genera hoy la IA. Habitualmente, son los m¨¢s ricos y poderosos hombres de Silicon Valley los que m¨¢s temen la Singularidad, la hipot¨¦tica rebeli¨®n de las m¨¢quinas, porque no tienen otra cosa de la que preocuparse, de la que sentir miedo. Para el resto de nosotros, los temores van sobre c¨®mo consigo un empleo, c¨®mo llego a final de mes y pago mi alquiler, o c¨®mo pago mi seguro m¨¦dico. Pensar que las m¨¢quinas van a tener sentimientos es un malentendido, es no tener idea de c¨®mo funciona la conciencia humana, que es imposible que una m¨¢quina replique.Tenemos cuerpo, unas conexiones muy complejas, que no son solo impulsos cerebrales.Ssomos cuerpos en un espacio, viviendo en comunidad y en una cultura. La gente ve la palabra inteligencia artificial y piensa que estamos creando inteligencia humana, cuando lo que estamos haciendo es dise?ar patrones de reconocimiento y automatizaci¨®n. Si lo llam¨¢semos automatizaci¨®n artificial, el debate cambiar¨ªa totalmente.