Cuando el algoritmo se equivoca

Catherine Taylor, residente en Arkansas, recibi¨® una carta de la Cruz Roja que cambi¨® su vida. Su solicitud para trabajar all¨ª, dec¨ªa el escrito, hab¨ªa sido rechazada por el hecho de haber sido condenada por ¡°intentar vender y elaborar metanfetamina¡±, lo que no casaba con los valores de la organizaci¨®n. Parec¨ªa una broma. Pero, como comprob¨® tras investigar el asunto, los cargos penales eran reales. Solo que contra otra Catherine Taylor, que casualmente hab¨ªa nacido el mismo d¨ªa que ella. Todo podr¨ªa haberse quedado en un simple malentendido, pero el calvario de Taylor no hab¨ªa hecho m¨¢s que empezar. Los cargos hab¨ªan sido err¨®neamente incorporados a su expediente por ChoicePoint, un data broker. As¨ª se conoce a las empresas que recopilan datos digitales de los usuarios para hacer perfilados sobre ellos y despu¨¦s vender esas fichas a terceros, en este caso la Cruz Roja. Tras comunicarle el error, ChoicePoint lo corrigi¨®, pero ya hab¨ªa vendido el expediente de Taylor a otras muchas empresas. Ese error formaba ya parte del sistema. Se esforz¨® en limpiar su repu?taci¨®n, pero la tarea le result¨® inabarcable. ¡°No puedo ser el perro guardi¨¢n todo el tiempo¡±, dijo a The Washington Post, que public¨® su historia en 2011. Tard¨® cuatro a?os en encontrar empleo, un tiempo inusitado para los est¨¢ndares de Estados Unidos. Se le denegaron cr¨¦ditos, que tuvo que pedir bajo el nombre de su marido. Acab¨® viviendo en casa de su hermana porque no encontr¨® quien le alquilara un apartamento. Y el estr¨¦s generado por la situaci¨®n empeor¨® sus problemas de coraz¨®n.

Por cada Catherine Taylor hay otros miles de personas que quiz¨¢ piensen que est¨¢n gafadas cuando en realidad su nombre est¨¢ escrito con letras rojas en alg¨²n dosier digital. Esos dosieres son m¨¢s importantes de lo que parece. Los datos que contienen son procesados por algoritmos a los que se les encargan tareas cada vez m¨¢s relevantes. Los algoritmos se usan de manera sistem¨¢tica para filtrar curr¨ªculos en la contrataci¨®n de personal o para calcular la solvencia crediticia de las personas. Tambi¨¦n para determinar si un reo merece o no la libertad condicional. O hasta para calcular las posibilidades de que un reci¨¦n nacido vaya a sufrir malos tratos durante sus primeros cinco a?os de vida.

Las m¨¢quinas cometen errores. A veces, como en el caso de Taylor, procesan mal los datos que se les da. El equivalente a un error administrativo. En otras ocasiones, los datos que tienen no son incorrectos, pero los interpretan de forma poco satisfactoria. Como cuando Google proces¨® las im¨¢genes de tres j¨®venes afroamericanos etiquet¨¢ndolos como gorilas. O como cuando Word2Vec, la red neuronal de Google Brain que durante un tiempo fue puntera, aprendi¨® que ¡°hombre es a rey lo que mujer a reina¡±, pero tambi¨¦n que ¡°padre es a m¨¦dico lo que madre a enfermera¡± o que ¡°hombre es a programador lo que mujer a ama de casa¡±.

Sesgo algor¨ªtmico y sesgo social

Esos son los llamados sesgos algor¨ªtmicos. Como los datos, por definici¨®n, hablan del pasado (no hay registros de lo que todav¨ªa no ha sucedido), los modelos que se construyan con ellos por fuerza reproducir¨¢n lo que ya fue, incluyendo los sesgos que tenga la sociedad. En palabras de la cient¨ªfica de datos Cathy O¡¯Neil, los algoritmos son ¡°opiniones encerradas en matem¨¢ticas¡±. Un algoritmo es una f¨®rmula matem¨¢tica que le dice a un sistema c¨®mo procesar los datos que tiene. Su invenci¨®n se sit¨²a en el siglo IX y se atribuye al sabio persa Al Juarismi, que dio nombre al ¨¢lgebra. El c¨¢lculo de las pensiones, que llevan m¨¢s de 100 a?os entre nosotros, se apoya en algoritmos. El concepto adquiri¨® una nueva dimensi¨®n de la mano de la inform¨¢tica, que aport¨® la capacidad para aplicar esas f¨®rmulas a ingentes cantidades de datos, y de la irrupci¨®n de la inteligencia artificial.

El t¨¦rmino ¡°inteligencia artificial¡± se acu?¨® en 1955 en la Conferencia de Dartmouth, un taller de dos meses organizado por los profesores Marvin Minsky y John McCarthy. Estos matem¨¢ticos se propusieron explorar las ideas de Alan Turing, que defend¨ªa que las m¨¢quinas llegar¨ªan a ser capaces de pensar por s¨ª solas. Si es posible describir todas las caracter¨ªsticas de la mente humana, pensaron Minsky y McCarthy, se le podr¨ªa ense?ar a una m¨¢quina a simularlas. Para eso necesitaban un grupo diverso e interdisciplinar de expertos que abarcaran las distintas dimensiones del saber. Convocaron a 47 cient¨ªficos, entre los que se contaban algunos de los m¨¢s reputados ingenieros, cient¨ªficos sociales, inform¨¢ticos, psic¨®logos, bi¨®logos o f¨ªsicos del momento.

Todos los invitados, a excepci¨®n de la mujer de Minsky, Gloria, eran hombres. Todos eran blancos, aunque en esa ¨¦poca ya hab¨ªa cient¨ªficos negros que destacaban en las disciplinas que se trataron en la conferencia. Los fundadores de la inteligencia artificial, quienes pretend¨ªan entender c¨®mo funciona la mente humana y desarrollar algo que se le pareciera, incorporaron los sesgos a los algoritmos desde el minuto cero.

Esa endogamia sigue existiendo hoy. Quienes desarrollan los algoritmos de las principales empresas tecnol¨®gicas no solo son hombres blancos de clase media o alta, sino que adem¨¢s estudian en las mismas universidades y a menudo viven cerca los unos de los otros. Se conocen entre ellos, piensan igual. Y si su visi¨®n del mundo est¨¢ sesgada, los algoritmos tambi¨¦n lo estar¨¢n. ¡°Los sesgos no tienen soluci¨®n¡±, opina Ramon L¨®pez de M¨¢ntaras, profesor de investigaci¨®n en el CSIC y director del Instituto de Investigaci¨®n en Inteligencia Artificial (IIIA). ¡°Es absolutamente imposible que las m¨¢quinas no tengan, porque nosotros los tenemos. De hecho, el problema somos nosotros, no los algoritmos¡±.

La investigadora afroamericana del MIT Joy Buolam?wini lo comprob¨® de primera mano hace unos a?os. Al ir a usar un sistema de reconocimiento facial, vio que este no detectaba su cara. Pocas semanas despu¨¦s, de viaje en Hong Kong por motivos acad¨¦micos, le pas¨® lo mismo. Se le ocurri¨® ponerse una careta de color blanco. Dej¨® de ser invisible para la m¨¢quina. ¡°Si tu rostro se desv¨ªa demasiado de los patrones que le has dado al sistema para que aprenda, no te reconocer¨¢, como me pas¨® a m¨ª¡±, cuenta en una charla TED colgada en YouTube que acumula casi mill¨®n y medio de visualizaciones. ¡°Los algoritmos, como los virus, pueden propagar sesgos a escala masiva y a un ritmo acelerado¡±, a?ade en la grabaci¨®n.

Buolamwini decidi¨® tomar cartas en el asunto. Cre¨® la asociaci¨®n Algorithmic Justice League, que se dedica a concienciar sobre el impacto de la inteligencia artificial en la sociedad. Su historia se ha llevado recientemente a una pel¨ªcula documental, Coded Bias (2020), y la investigadora se ha convertido en uno de los puntales del movimiento que aboga por la retirada de los sistemas de reconocimiento facial por parte de la polic¨ªa. El caso de Robert Williams, un hombre afroamericano que fue detenido err¨®neamente por culpa de un algoritmo que le confundi¨® con otra persona, ha sido uno de los detonantes del creciente rechazo social hacia esta tecnolog¨ªa. Hay estudios que demuestran que el reconocimiento facial es 100 veces m¨¢s proclive a fallar en la detecci¨®n de rostros de personas negras que de personas blancas. El motivo, una vez m¨¢s, est¨¢ en la tribu: los sistemas se entrenaron con caras blancas. No en un acto deliberadamente racista, sino simplemente porque la gente que sus desarrolladores ten¨ªan a mano para probar el sistema eran, como ellos, hombres blancos.

Adem¨¢s de reproducir su entorno y sus ideas en los algoritmos, los desarrolladores tienden a ser endog¨¢micos desde el punto de vista intelectual. Lorena Jaume-Palas¨ª, experta en ¨¦tica de los algoritmos, asesora del Parlamento Eu?ropeo y miembro del Consejo Nacional de la Inteligencia ?Artificial, describe: ¡°Los ingenieros, que no saben de todo, incursionan en distintas disciplinas y, en vez de preguntar a los expertos, desarrollan sus propias teor¨ªas, siempre de manera que sea f¨¢cil de computar¡±. Eso hace que en ocasiones tomen como v¨¢lidas teor¨ªas que quedaron totalmente obsoletas. Se ha reportado en algunos sistemas de reconocimiento facial el uso de la frenolog¨ªa, una pseudociencia que pretende interpretar los sentimientos y las aptitudes de las personas midiendo la distancia entre determinados rasgos faciales.

?Se puede describir a un ser humano con n¨²meros? Eso es lo que piensan quienes dise?an algoritmos que intervienen en cuestiones sociales. La mec¨¢nica es aparentemente as¨¦ptica, o eso nos ha prometido la tradici¨®n cartesiana europea: todo se deber¨ªa poder medir. Por ejemplo, hay modelos que contemplan 20 tipos de emociones. Una simplificaci¨®n tremenda si tenemos en cuenta que en los m¨®viles tenemos m¨¢s de 200 emojis. ¡°La ambig¨¹edad humana no se puede traducir en categor¨ªas matem¨¢ticas¡±, reflexiona Jaume-Palas¨ª. ¡°El esencialismo en este tipo de contextos, el concepto de racionalidad europeo y el foco antropoc¨¦ntrico es lo que crea el sesgo¡±.

Reducir la gente a n¨²meros

Los sistemas de puntaje, como el que conden¨® a Catherine Taylor a cuatro a?os sin empleo, son el culmen de esta tendencia a cuantificarlo todo. El problema no es solo que con los n¨²meros se pierdan los matices, sino que adem¨¢s no sabemos qu¨¦ m¨¦todos usan las compa?¨ªas para elaborar sus algoritmos. ?Qu¨¦ tienen en cuenta y qu¨¦ no? Frank Pasquale, profesor de la Brooklyn Law School y experto en derecho de la inteligencia artificial, abord¨® la falta de transparencia del sector en su libro The Black Box Society (La sociedad de la caja negra). ¡°Tratar de reducir a la gente a n¨²meros siempre es un error. Hay quien cree que todo se puede trasladar a una puntuaci¨®n. El sistema de cr¨¦dito social chino es un buen ejemplo de hacia d¨®nde nos pueden llevar los sistemas de puntaje¡±, explica por tel¨¦fono desde Nueva York.

Tal y como describe Virginia Eubanks en su libro La automatizaci¨®n de la desigualdad, hay un sistema operando en Pensilvania que analiza 132 variables para estimar si hay que mandar a un trabajador social a una vivienda porque los inquilinos presumiblemente pueden tratar mal a los ni?os en sus primeros cinco a?os de vida. El modelo se import¨® de Nueva Zelanda, donde las autoridades lo retiraron tras comprobar que se equivocaba en el 70% de las predicciones. Pronto se comprob¨® que penalizaba m¨¢s a los pobres, lo que en el contexto estadounidense lleva a una sobrerrepresentaci¨®n de negros y latinos. La explicaci¨®n: se nutr¨ªa de datos recogidos de registros p¨²blicos, y en EE UU los pobres interact¨²an mucho m¨¢s con las instituciones p¨²blicas. ¡°Estas herramientas, construidas supuestamente para eliminar las desigualdades y lograr la neutralidad, lo que realmente hacen es amplificar las desigualdades que tenemos en la sociedad¡±, explic¨® recientemente la polit¨®loga en una entrevista con EL PA?S.

Los algoritmos aplicados a la gesti¨®n de recursos p¨²blicos no son solo cosa de EE UU. Tambi¨¦n los hay en Europa, y hasta han tumbado gobiernos. El Ejecutivo de Holanda dimiti¨® en bloque el pasado mes de enero tras reconocer una serie de errores en un programa de subsidios para el cuidado de menores. El Gobierno exigi¨® a 26.000 familias la devoluci¨®n de las ayudas que recibieron entre 2013 y 2019, que en algunos casos ascend¨ªan a 100.000 euros, tras ser acusadas de fraude. Una investigaci¨®n determin¨® que las acusaciones eran infundadas y que se hab¨ªa discriminado a las familias de origen marroqu¨ª y turco, mucho m¨¢s escrutadas que el resto. Detr¨¢s del esc¨¢ndalo, un algoritmo dise?ado para comprobar que no se concedieran ayudas a candidatos que no los merecieran.

Corregir lo intangible

Los sistemas de inteligencia artificial no son infalibles. Cometen errores que, en ocasiones, pueden hundir la vida de las personas. Solo hay una forma de minimizar sus posibles efectos negativos: con m¨¢s transparencia. Hay que derribar la caja negra de la que habla Pasquale.

Los sesgos algor¨ªtmicos tienen tres tipos de fuentes: los datos con los que trabajan, que son facilitados por personas; el sistema inform¨¢tico que los procesa, que en el caso del machine learning o aprendizaje autom¨¢tico (el propio sistema aprende a sacar sus conclusiones a partir de un banco de datos) puede estar aprendiendo y adquiriendo sesgos adicionales; y la interacci¨®n entre la persona y el sistema mismo. ¡°Hay tres formas cl¨¢sicas de combatir los sesgos: mitigarlos en la entrada de los datos, hacer que el sistema sea consciente del sesgo y lo vaya aprendiendo a resolver o eliminar t¨² el sesgo en el resultado¡±, se?ala Ricardo Baeza-Yates, profesor del Instituto de Inteligencia Artificial Experiencial de la Northeastern University en Silicon Valley (Palo Alto, California) y catedr¨¢tico de la Universitat Pompeu Fabra de Barcelona.

Para ello hace falta revisar los sistemas algor¨ªtmicos antes de que entren en acci¨®n y durante su puesta en marcha. Eso est¨¢ contemplado desde un punto de vista legal por la propuesta de reglamento europeo sobre inteligencia artificial presentada en abril por la Comisi¨®n Europea. Mois¨¦s Barrio, letrado del Consejo de Estado y asesor en la elaboraci¨®n de dicho documento, subraya que ¡°destaca el r¨¦gimen de gobernanza que se ha proyectado, con la creaci¨®n de un Comit¨¦ Europeo de Inteligencia Artificial que ser¨¢ una pieza clave para la coordinaci¨®n de las autoridades nacionales de control¡±.

En Espa?a, las empresas que automatizan decisiones est¨¢n obligadas por ley a auditar sus algoritmos. ¡°Pero la ley no se cumple¡±, se queja Gemma Gald¨®n, directora general de ?ticas, una consultora que realiza este tipo de investigaciones. ¡°Los sesgos se pueden corregir entrando en los algoritmos, entendiendo cu¨¢les son los colectivos que pueden ser perjudicados por la calidad de los datos y mejorando esa situaci¨®n a trav¨¦s del c¨®digo del algoritmo¡±.

Pero analizar los aspectos t¨¦cnicos de los algoritmos es solo una parte del viaje. La otra tiene que ver con c¨®mo se usan. ¡°Hay estudios que han demostrado que la gente se esconde detr¨¢s del algoritmo cuando le conviene y al mismo tiempo es capaz de rechazar sus sugerencias cuando no cuadran con sus prejuicios. Un juez racista en EE UU quiz¨¢ no haga caso del sistema si le dice que el negro que tiene delante no tiene riesgo de reincidencia¡±, ilustra Jaume-Palas¨ª. Por otra parte, los algoritmos, ante dos situaciones iguales, siempre tomar¨¢n la misma decisi¨®n. Eso no pasa con los humanos: se sabe que haber dormido bien, tener el est¨®mago lleno o el estado de ¨¢nimo influyen en c¨®mo enfocamos los problemas. En ese sentido, las m¨¢quinas son m¨¢s justas que las personas. ¡°En mis conferencias suelo presentar el siguiente dilema¡±, dice Baeza-Yates: ¡°?Qui¨¦n prefieres que te juzgue, un algoritmo sesgado o un juez que, adem¨¢s de sus sesgos, puede tener un mal d¨ªa?¡±.