Los algoritmos tendenciosos tienen arreglo (t¨² no)

Dice el refr¨¢n que ning¨²n camello se ve su joroba. Esto tambi¨¦n es verdad cuando hablamos los sistemas de decisi¨®n basados en aprendizaje autom¨¢tico, que, por supuesto, ignoran sus defectos. Un conjunto de algoritmos modelado para reconocer caras no tiene -en principio- manera de percatarse de que est¨¢ clasificando peor los rostros de personas de ciertas minor¨ªas ¨¦tnicas. Nos corresponde a nosotros arreglarlo, y estamos trabajando en ello.

Pero el refr¨¢n no lo inventamos pensando en los algoritmos. Esa invisible joroba es el retrato de un defecto puramente humano. ?Qu¨¦ pasa cuando el sesgo est¨¢ en nosotros? ¡°Cambiar algoritmos es m¨¢s f¨¢cil que cambiar personas: el software de los ordenadores puede actualizarse; el entramado de nuestros cerebros ha demostrado ser mucho menos d¨²ctil¡±, se?ala el investigador Sendhil Mullainathan en una columna que firma recientemente en The New York Times.

Mullainathan, profesor de Ciencias del Comportamiento y la Computaci¨®n en la Universidad de Chicago, conoce bien las dos jorobas. Analiz¨® la nuestra hace m¨¢s de 15 a?os y public¨® un estudio sobre la de los algoritmos el pasado mes de octubre. Su conclusi¨®n es que las cajas negras no son exclusivas de los sistemas de aprendizaje autom¨¢tico. ¡°Los humanos son inescrutables de un modo en que los algoritmos no lo son. Las explicaciones para nuestro comportamiento son cambiantes y se construyen despu¨¦s de los hechos¡±, explica.

M¨¢s informaci¨®n

Cinco maneras en que el ¡®machine learning¡¯ puede complicarte la vida

Las redes neuronales tienen derecho a no poner la mano en el fuego

• Algoritmos jorobados

Empecemos por el final, revoluci¨®n tecnol¨®gica mediante, con el trabajo m¨¢s reciente del profesor de la Universidad de Chicago. En este estudio, Mullainathan evalu¨® el rendimiento de un sistema de evaluaci¨®n dise?ado para determinar el nivel de enfermedad y asignar los recursos correspondientes a cada caso. ?Resultado? El n¨²mero de pacientes de color seleccionados para recibir cuidados adicionales se ve¨ªa reducido en m¨¢s de un 50% con respecto a los pacientes blancos que ten¨ªan asignado id¨¦ntico nivel de riesgo.

La fuente de este desequilibrio, explica el profesor, est¨¢ en los datos empleados para medir ese nivel de enfermedad: el gasto en cuidados sanitarios. ¡°Como la sociedad gasta menos en los pacientes de color que en los blancos, el algoritmo infravalor¨® las necesidades reales de los pacientes negros¡±. Seg¨²n las estimaciones de los autores de la investigaci¨®n, este sesgo podr¨ªa haber afectado a unos 100 millones de personas solo en Estados Unidos.

Desde el punto de vista de Miquel Segur¨®, profesor de la UOC y autor del libro La vida tambi¨¦n se piensa, nos ha tra¨ªdo hasta aqu¨ª el mito de la neutralidad y la justicia en el c¨¢lculo. ¡°Como raz¨®n procede de ratio en lat¨ªn, y eso significa c¨¢lculo, creemos que los c¨¢lculos son en s¨ª mismos perfectos, inalterables y compactos¡±, se?ala. "El algoritmo es una manera de intentar acercarnos a la realidad para tener una fotograf¨ªa o una especie de control alrededor de una disparidad de situaciones y de casos que siempre escapar¨¢n al control m¨¢ximo".

• El sesgo que vive en ti

?Son Emily y Greg m¨¢s empleables que Lakisha y Jamal? Este es el t¨ªtulo y la cuesti¨®n central del estudio que Mullainathan public¨® en American Economic Review en septiembre de 2004. Despu¨¦s de enviar curr¨ªculos ficticios a distintas ofertas de trabajo comprobaron que los nombres blancos recib¨ªan un 50% m¨¢s de llamadas para entrevistas que los afroamericanos. El fen¨®meno, adem¨¢s, era com¨²n a todas las industrias, ocupaciones y envergaduras de las empresas.

Aqu¨ª no hay algoritmos, sino humanos inescrutables. ¡°Llegar a descubrir cu¨¢l es el inter¨¦s que tenemos e intentar fotografiar de manera objetiva, neutra y as¨¦ptica todo lo que podemos llegar a pensar o desear est¨¢ bien como programa, digamos, para generar un conocimiento. Pero no s¨¦ si es alcanzable en s¨ª mismo¡±, razona Segur¨®.

• La caja negra eres t¨²

Al mirar atr¨¢s, Mullainathan est¨¢ de acuerdo en que la habilidad para tomar decisiones injustas -y el potencial de estas para generar da?os- es un rasgo que tenemos en com¨²n con los algoritmos, pero subraya que ah¨ª acaba la lista de parecidos razonables: "Una diferencia entre ambos estudios es el trabajo que fue necesario para descubrir el sesgo".

En 2004 necesit¨® meses de trabajo para desarrollar los curr¨ªculos, enviarlos y esperar las respuestas. Lo de este a?o lo resume como un simple "ejercicio estad¨ªstico": "El trabajo fue t¨¦cnico y de repetici¨®n, sin exigir sigilo ni recursos". Y lo mismo con las soluciones. Para el algoritmo, ya existe un prototipo de herramienta que tendr¨ªa que neutralizar el sesgo detectado en el sistema. En el caso de los humanos, el cambio lleva m¨¢s tiempo. "Nada de esto busca menospreciar los obst¨¢culos y medidas necesarias para corregir el sesgo algor¨ªtmico, pero comparado con la intransigencia del sesgo humano, s¨ª parece bastante m¨¢s sencillo".