El algoritmo que ¡®adivina¡¯ los delitos futuros falla tanto como un humano

?Podr¨¢n las m¨¢quinas predecir un delito antes de que se produzca? Esa premisa futurista, de pel¨ªcula de ciencia-ficci¨®n, est¨¢ presente en los juzgados de EE UU desde 1998, cuando se empez¨® a usar un programa llamado COMPAS. Su algoritmo revisa 137 par¨¢metros distintos del sujeto para determinar sus posibilidades de reincidir en el futuro. Este sistema de apoyo, comercializado por la compa?¨ªa Northpointe, ha revisado hasta hoy el historial de un mill¨®n de convictos. Y falla como una escopeta de feria. O, al menos, tanto como fallar¨ªa una persona cualquiera escogida aleatoriamente y sin especiales conocimientos judiciales o de criminal¨ªstica.

COMPAS ya estuvo en entredicho cuando se descubri¨® que su algoritmo ten¨ªa un sesgo racista que le hac¨ªa equivocarse especialmente en contra de ciudadanos negros. Se equivocaban m¨¢s que con los blancos en casos de falsos positivos, asegurando que muchos negros reincidir¨ªan m¨¢s de lo que realmente lo hac¨ªan. Y tambi¨¦n les perjudicaban con falsos negativos, augurando a los blancos menos reincidencias de las reales, como demostr¨® ProPublica. COMPAS, que no tiene acceso a informaci¨®n racial, la deduce por otros par¨¢metros y termina mostrando un sesgo racista, como otros muchos programas.

La m¨¢quina y los humanos acertaron en un porcentaje similar, en torno al 65%, a la pregunta de si un convicto reincidir¨ªa en los dos pr¨®ximos a?os

Visto este resultado, un equipo de investigadores de la Universidad de Darmouth decidi¨® analizar su acierto: no tanto si se desv¨ªa contra determinados colectivos, sino su eficacia real en general. Se trata de una herramienta extendida en numerosos juzgados de EE UU, pero los investigadores quer¨ªan comprobar su eficacia. Para ello, establecieron una base de datos de un millar de convictos para comparar la capacidad predictiva de la m¨¢quina frente a la de los humanos. Algo as¨ª como Gari Kasp¨¢rov contra Deep Blue, pero con el futuro judicial de la gente en juego. Afortunadamente solo era un experimento, vistos los resultados.

La m¨¢quina y los humanos acertaron en un porcentaje similar, en torno al 65%, a la pregunta de si un convicto reincidir¨ªa en los dos pr¨®ximos a?os. Es decir, la inteligencia de silicio no mejora a la intuici¨®n humana convencional. Y lo peor es eso: los humanos contra los que se bati¨® el programa especializado eran casi quinientas personas reclutadas para una encuesta online, sin preparaci¨®n espec¨ªfica para la tarea, ni conocimientos de derecho o criminolog¨ªa. Adem¨¢s, aunque COMPAS dice analizar 137 aspectos del sujeto, los participantes en el experimento solo vieron siete caracter¨ªsticas: edad, sexo, n¨²mero de delitos siendo menor, n¨²mero de faltas siendo menor, n¨²mero de delitos siendo adulto, cargo y grado del delito. Aun as¨ª, acertaron tanto como la m¨¢quina. Y se mostraron igual de racistas que la m¨¢quina: tanto si se les mostraba la raza del acusado como si no.

Sus predicciones con 137 par¨¢metros son las mismas que si solo tiene en cuenta dos de ellos, la edad y el n¨²mero de delitos previos

"Los reclamos que afirman que herramientas de datos secretas y aparentemente sofisticadas son m¨¢s precisas y justas que los humanos simplemente no son compatibles con los hallazgos de nuestra investigaci¨®n", asegura la investigadora Julia Dressel, que realiz¨® la investigaci¨®n como parte de su tesis.

Las flaquezas del algoritmo no acaban ah¨ª. Tambi¨¦n se propusieron desentra?ar el funcionamiento de la m¨¢quina para tratar de entender qu¨¦ tiene en cuenta en sus valoraciones y cu¨¢nto peso tienen ese centenar largo de catacter¨ªsticas que analiza. Tras revisar los datos que estudiaba y los resultados que ofrec¨ªa, llegaron a una espeluznante conclusi¨®n: sus predicciones con 137 par¨¢metros son las mismas que si solo tiene en cuenta dos de ellos, la edad y el n¨²mero de delitos previos. "Northpointe no revela los detalles del funcionamiento interno de COMPAS, comprensiblemente, por sus intereses comerciales", asegura el estudio, y sin embargo, "podemos concluir razonablemente que COMPAS no usa nada m¨¢s sofisticado que un predictor lineal o su equivalente".

Probablemente nunca tengamos una definici¨®n simple y universalmente aceptada de lo que hace que un algoritmo sea justo. Esta pregunta no es estrictamente t¨¦cnica, es ¨¦tica", asegura O'Neil

"Al considerar el uso de un software como COMPAS para tomar decisiones que afectar¨¢n significativamente las vidas y el bienestar de los acusados", concluyen, "es importante preguntar si pondr¨ªamos estas decisiones en manos de personas al azar que responden a una encuesta en l¨ªnea porque, al final, los resultados de estos dos enfoques parecen ser indistinguibles". Los resultados del estudio se publican en la revista Science Advances.

La matem¨¢tica Cathy O'Neil ha analizado los problemas de un algoritmo como COMPAS en su libro Armas de destrucci¨®n matem¨¢tica (Capit¨¢n Swing). "Probablemente nunca tengamos una definici¨®n simple y universalmente aceptada de lo que hace que un algoritmo sea justo. Pero gracias a Dios finalmente estamos teniendo esta conversaci¨®n", asegura. "Esta pregunta no es estrictamente t¨¦cnica, es ¨¦tica. Y exige la participaci¨®n de una amplia gama de individuos, incluidos los que se ver¨ªan afectados por el algoritmo en cuesti¨®n", expone. "En el caso del algoritmo de riesgo de reincidencia, tendr¨ªamos que comparar el da?o de un falso positivo ¡ªalguien a quien se le da falsamente una calificaci¨®n de alto riesgo y se lo encierra injustamente¡ª contra el da?o de un falso negativo ¡ªalguien a quien equivocadamente se suelta con la posibilidad de cometer un crimen¡ª", escribe O'Neil, que public¨® estas reflexiones sin conocer este estudio.

El trabajo de los investigadores de Darmouth, por tanto, echa m¨¢s le?a al fuego de la necesaria rendici¨®n de cuentas de estos algoritmos que ya est¨¢n afectando a la vida de las personas, desde los seguros hasta las finanzas, pasando por la espera que sufriremos al tel¨¦fono al llamar a un call center. Activistas, especialistas en inteligencia artificial y autoridades reclaman fiscalizar el contenido de estas cajas negras, programas inform¨¢ticos de los que desconocemos su funcionamiento y cuyas decisiones pueden tener consecuencias irreversibles. Esencialmente por saber c¨®mo funcionan y si realmente son tan sofisticados como aseguran, pero tambi¨¦n por conocer qu¨¦ tipo de fallos podr¨ªan cometer (o estar cometiendo).