Los algoritmos que calculan qui¨¦n va a reincidir discriminan a los negros (y no es f¨¢cil corregirlos)

Los algoritmos de momento no dictan sentencias en ning¨²n Estado de derecho. Pero s¨ª ayudan a los jueces de varios pa¨ªses a tomar decisiones. El sistema m¨¢s conocido de este tipo es Compas, muy extendido en EE UU, que informa a los togados de las probabilidades de reincidencia de los presos a la hora de concederles la libertad condicional y permisos o beneficios penitenciarios. Ahora, un an¨¢lisis del MIT Technology Review ha concluido que esta herramienta discrimina a determinadas minor¨ªas, concretamente a los negros. El informe coincide en este punto con estudios anteriores, pero apunta adem¨¢s otra conclusi¨®n inquietante: que es pr¨¢cticamente imposible corregir los sesgos del sistema.

Compas, el sistema elaborado por la empresa Northpointe que se aplica en los Estados de Nueva York, California, Florida o Wisconsin, entre otras jurisdicciones, emplea el aprendizaje autom¨¢tico (machine learning), una t¨¦cnica de inteligencia artificial que se basa en perfeccionar el algoritmo seg¨²n va aprendiendo de los datos que procesa. Los perfiles de los sujetos analizados por Compas se conforman a partir de un cuestionario que consta de 137 preguntas, que van desde si se ha sufrido maltrato familiar o se tienen antecedentes penales hasta si el sujeto se ha saltado clases alguna vez o si se siente desanimado. Algunas cuestiones las rellena el funcionario con datos de la Administraci¨®n; otras las debe contestar el aludido. Las respuestas se ponderan de acuerdo con una serie de criterios y al final queda una nota de 0 a 10. Si es mayor de siete, el riesgo de reincidencia es alto. En Catalu?a opera un sistema similar, RisCanvi, aunque en su caso no recurre a la inteligencia artificial, sino a t¨¦cnicas estad¨ªsticas como la regresi¨®n m¨²ltiple.

Una investigaci¨®n de ProPublica publicada en 2016 sembr¨® la duda en torno a Compas. El experimento compar¨® las evaluaciones de riesgo de m¨¢s de 7.000 detenidos en un condado de Florida con la frecuencia con la que realmente reincidieron o no despu¨¦s. Sus conclusiones fueron demoledoras: la tasa de acierto del sistema era similar independientemente de si se aplicaba sobre una persona blanca o negra, pero los fallos penalizaban m¨¢s a los negros, que ten¨ªan casi el doble de posibilidades que los blancos de ser clasificados err¨®neamente como potenciales reincidentes.

El impacto del estudio de ProPublica todav¨ªa resuena hoy. Tras ese trabajo vinieron otros que arrojaron resultados similares, coloc¨¢ndolo como un ejemplo de manual de los llamados sesgos algor¨ªtmicos (las equivocaciones de las m¨¢quinas que discriminan a grupos de poblaci¨®n concretos). Tambi¨¦n se evalu¨®, dejando de lado la cuesti¨®n racial, su capacidad de acierto. Y se vio que no es mejor que la de los seres humanos: la del algoritmo y la de los funcionarios ronda el 65% (es decir, que se equivocan el 35% de las veces).

El nuevo an¨¢lisis del MIT Technology Review vuelve a examinar la base de datos usada por ProPublica (7.200 perfiles en el condado de Broward calificados por Compas entre 2013 y 2014), centr¨¢ndose esta vez en una muestra aleatoria de 500 acusados blancos y negros. Las conclusiones son las mismas: ¡°En el umbral predeterminado de Compas entre 7 y 8 [riesgo alto de reincidencia], el 16% de los acusados negros que no son arrestados nuevamente han sido encarcelados innecesariamente, mientras que lo mismo ocurre con solo el 7% de los acusados blancos. Existe una diferencia similar en muchas jurisdicciones en EE UU, en parte debido a la historia del pa¨ªs, donde la polic¨ªa apuntaba desproporcionadamente a las minor¨ªas¡±, escribe Karen Hao, autora del an¨¢lisis.

?Puede ser justo un algoritmo?

?Es racista entonces el algoritmo? O, mejor dicho, ?es racista quien lo program¨®? No tiene por qu¨¦. Las predicciones que hace Compas reflejan los datos que se han utilizado para elaborarlas. Si la proporci¨®n de acusados negros que acaba siendo arrestada es mayor que la de los blancos, es normal que los arrestos previstos que proyectar¨¢ el algoritmo tambi¨¦n sean mayores para ese colectivo. ¡°Tendr¨¢n puntuaci¨®n de riesgo m¨¢s alta de media, y un mayor porcentaje de ellos ser¨¢n evaluados de alto riesgo, tanto correcta como incorrectamente¡±, a?ade Hao.

El an¨¢lisis de esta investigadora se?ala tambi¨¦n que cambiar el algoritmo no ayuda a corregir la sobrerrepresentaci¨®n de poblaci¨®n negra entre los que tienen m¨¢s probabilidades de ser evaluados con riesgo alto de reincidencia. A no ser que se altere el sistema para tener en cuenta la raza, lo que en EE UU (y en muchos pa¨ªses) es ilegal. Conclusi¨®n: no hay forma de que los algoritmos act¨²en con justicia.

Para Antonio Pueyo, catedr¨¢tico de Psicolog¨ªa de la Violencia de la Universitat de Barcelona y director del grupo de investigaci¨®n que desarroll¨® RisCanvi, esta afirmaci¨®n no tiene demasiado sentido. ¡°Tanto las decisiones humanas como las algor¨ªtmicas tienen sesgos. Las razones son variadas: porque los humanos alimentan al algoritmo con datos inadecuados, porque no se ha programado bien el algoritmo o porque se incluyen en este criterios sesgados, como los puntos de corte diferenciales para grupos determinados¡±.

Las propias preguntas que se formulan para rellenar Compas son de todo menos inocentes. Una de ellas, por ejemplo, alude a si el sujeto ha sido identificado por la polic¨ªa alguna vez. Cualquier ciudadano negro que se haya criado en Estados Unidos en un barrio de mayor¨ªa negra seguro que ha vivido esa experiencia, cosa no tan frecuente entre ciudadanos blancos criados en barrios mayormente blancos. Estos mismos problemas suelen aflorar tambi¨¦n en los llamados algoritmos policiales, los usados por las fuerzas de seguridad para predecir d¨®nde se va a delinquir.

?Qu¨¦ pasa con el uso que se hace del informe que produce Compas? Lorena Jaume-Palas¨ª, experta en ¨¦tica de los algoritmos y asesora del Parlamento Eu?ropeo y del Gobierno de Espa?a, entre otros, cree tan importante analizar el algoritmo como el uso que se hace luego de ¨¦l. Tal y como cont¨® a EL PA?S, hay estudios que muestran que los jueces de EE UU que usan Compas no siempre hacen caso del riesgo de reincidencia que arroja el sistema. Puede que el algoritmo le diga que el sujeto tiene riesgo bajo y, al ser un negro (y el juez racista), no le conceda igualmente la condicional.

Otra de las cr¨ªticas que suele recibir el sistema Compas es que se desconocen las tripas del algoritmo: qu¨¦ baremos tienen las respuestas a qu¨¦ preguntas, c¨®mo es el proceso que desemboca en la valoraci¨®n final de cada individuo. No es una peculiaridad exclusiva de los algoritmos dedicados a la justicia. Frank Pasquale, profesor de la Brooklyn Law School y experto en derecho de la inteligencia artificial, abord¨® la falta de transparencia del sector en su libro The Black Box Society ya en 2015.

?Qu¨¦ hay que hacer entonces con los algoritmos aplicados a la justicia? ?Erradicarlos? ?Mantenerlos? ?Perfeccionarlos? Pueyo se posiciona en esta ¨²ltima opini¨®n. ¡°Las t¨¦cnicas estad¨ªsticas o de inteligencia artificial son eso, t¨¦cnicas, y por tanto se pueden mejorar. Pretender eliminarlas de la pr¨¢ctica profesional por prejuicios ideol¨®gicos no es razonable, ya que en el d¨ªa a d¨ªa demuestran que sus ventajas superan a las limitaciones¡±.

Hao, autora del an¨¢lisis del MIT, no comparte esa visi¨®n. En el art¨ªculo cita la llamada proporci¨®n de Blackstone, en referencia al jurista ingl¨¦s William Blackstone, que dej¨® escrito a finales del siglo XVIII que es preferible dejar que 10 personas culpables escapen a que un inocente sufra. Bajo ese prisma, no hay algoritmo que valga.

Puedes seguir a EL PA?S TECNOLOG?A en Facebook y Twitter o apuntarte aqu¨ª para recibir nuestra newsletter semanal.