El algoritmo que eval¨²a la peligrosidad de los presos catalanes funciona de forma ¡°azarosa¡±

El sistema penitenciario catal¨¢n lleva 15 a?os usando un algoritmo, RisCanvi, que supuestamente ayuda a los jueces a tomar decisiones sensibles, como conceder el tercer grado o la libertad condicional. Una auditor¨ªa inversa (realizada sin acceso a datos oficiales) concluye que la contribuci¨®n de este programa al proceso es cuestionable. ¡°El sistema que hemos auditado parece comportarse de forma azarosa, en el sentido de que combinaciones similares de factores y comportamientos [de presos] pueden derivar en la asignaci¨®n de niveles de riesgo muy distintos¡±, lee el informe elaborado por Eticas Foundation, al que ha tenido acceso EL PA?S.

Cuando un recluso solicita en Espa?a ciertos permisos penitenciarios, el juez que debe autorizar o denegar la petici¨®n recibe un informe sobre el interno. Ese documento, elaborado por profesionales del centro en el que est¨¢ alojado, aporta elementos sobre los que sostener la decisi¨®n (historial, conducta, etc). En Catalu?a, parte de ese informe lo elabora RisCanvi, que calcula el riesgo de reincidencia de los sujetos en funci¨®n de una serie de variables a las que otorga distintos pesos. Esta informaci¨®n clave, la estructura del algoritmo, no es p¨²blica.

Pese a lidiar con un tema tan sensible como los permisos penitenciarios, RisCanvi no ha sido sometido a un proceso de evaluaci¨®n de impacto, tal y como obliga el Reglamento Europeo de Inteligencia Artificial. ¡°Aunque el algoritmo de RisCanvi no usa inteligencia artificial (IA), sino que es actuarial, al tratarse de un proceso t¨¦cnico que toma decisiones vinculadas a temas de alto riesgo, como justicia criminal y asuntos penitenciarios, entra dentro de la definici¨®n amplia de IA que hace el reglamento, y, por tanto, est¨¢ sometido a la normativa¡±, subraya Gemma Galdon, fundadora y consejera delegada de Eticas.ai, firma especializada en auditor¨ªas algor¨ªtmicas en la que se enmarca Eticas Foundation.

Tras rechazar la Generalitat la oferta de una auditor¨ªa convencional gratuita, el equipo de Galdon se propuso hacer una auditor¨ªa inversa. Este tipo de an¨¢lisis toma el nombre de la ingenier¨ªa inversa, el proceso llevado a cabo para conocer informaci¨®n de los componentes y proceso de fabricaci¨®n de un producto a partir de un ejemplar acabado. En el caso de RisCanvi, los investigadores de Eticas empezaron preguntando a seis expresos a quienes se les ha aplicado el algoritmo, as¨ª como a dos educadores sociales familiarizados con ¨¦l, tres psic¨®logos especializados, cuatro juristas y un activista. Asimismo, analizaron datos p¨²blicos de 3.600 individuos que salieron de prisiones catalanas en 2015. Con esa informaci¨®n, trataron evaluar los efectos del algoritmo para intentar comprender c¨®mo funciona.

¡°RisCanvi es un sistema desconocido por aquellos a quienes impacta, los reclusos; que no es de confianza para muchos de los que trabajan con ¨¦l, que tampoco est¨¢n formados sobre su funcionamiento y pesos; que es opaco y que no se ha adherido a la regulaci¨®n vigente sobre el uso de sistemas de toma de decisiones automatizadas en Espa?a, donde se exigen auditor¨ªas de IA desde 2016¡å, se?ala la auditor¨ªa. ¡°Pero, sobre todo, nuestros datos demuestran que RisCanvi puede no ser justo ni fiable, y que no ha conseguido (...) estandarizar los resultados y limitar la discrecionalidad. En consonancia con estudios anteriores, no consideramos que RisCanvi sea fiable, ya que esto requerir¨ªa una relaci¨®n clara entre los factores de riesgo, las conductas de riesgo y las puntuaciones de riesgo¡±.

¡°Estas son las conclusiones a las que hemos llegado analizando los datos que hemos podido recoger. Si el Departamento de Justicia tiene otros datos, estaremos encantados de verificarlos y compararlos¡±, indica Galdon, que se queja de la poca cooperaci¨®n de la Generalitat. Su equipo lleva dos a?os trabajando en este proyecto. ¡°Cuando Justicia supo que est¨¢bamos haciendo este trabajo, prohibi¨® a los trabajadores vinculados a las instituciones penitenciarias que respondieran a la primera consulta de informaci¨®n que hicimos¡±, explica. Pararon la investigaci¨®n porque la Conselleria se comprometi¨® a hacer una auditor¨ªa interna. ¡°Cuando pasaron seis meses sin tener noticias de ning¨²n movimiento en ese sentido, retomamos el trabajo¡±, dice Galdon.

Uno de los psic¨®logos entrevistados para elaborar el informe dice que muy pocos internos saben que est¨¢n siendo evaluados por RisCanvi. ¡°No saben que este algoritmo decide la calidad y circunstancias de los beneficios penitenciarios que disfrutar¨¢n¡±, refleja la auditor¨ªa. ¡°No creo que una herramienta pueda predecir el comportamiento humano. Aunque, recoja mucha informaci¨®n y el resultado que arroja sea aparentemente objetivo, estamos hablando de personas¡±, sostiene un abogado consultado por el equipo de Eticas.

Lo que se sabe sobre RisCanvi

RisCanvi se actualiza cada seis meses con datos aportados al sistema por los funcionarios, que introducen en el ordenador los informes que van haciendo de los reclusos. Primero se aplica una versi¨®n corta del sistema (RisCanvi Screening), que consta de diez ¨ªtems, desde el historial violento del recluso (si lo hubiere) o la edad a la que delinqui¨® por primera vez hasta si ha tenido o tiene problemas con las drogas o el alcohol o si dispone de recursos y apoyo familiar.

El resultado que arroja el algoritmo puede ser riesgo bajo o riesgo alto. En caso de que sea alto, se activa la versi¨®n extendida de RisCanvi, compuesta por 43 elementos y para cuya elaboraci¨®n hace falta tambi¨¦n que un funcionario realice una entrevista pautada con el interno. En la versi¨®n completa de RisCanvi se tienen en cuenta cuestiones como la distancia entre su domicilio y la c¨¢rcel, la historia criminal de su entorno, el nivel educativo, dificultades de socializaci¨®n, cociente intelectual, des¨®rdenes de personalidad, si el interesado es la principal fuente de ingresos de la familia o su nivel de impulsividad e inestabilidad emocional. Cada uno de estos elementos es ponderado autom¨¢ticamente y su peso var¨ªa dependiendo del sexo, la edad y la nacionalidad. El veredicto final del algoritmo puede ser riesgo bajo, medio o alto.

Sin embargo, el peso que se le asigna a cada una de estas variables en la f¨®rmula, una informaci¨®n clave para saber c¨®mo funciona el algoritmo, no es p¨²blico. Algunos de los defensores de esta herramienta argumentan que, si se dieran a conocer, los reclusos sabr¨ªan qu¨¦ hacer para tratar de adulterar el resultado de la evaluaci¨®n de RisCanvi con peque?as acciones para que favorezca a sus intereses. Galdon no entiende esa cr¨ªtica. ¡°Saber en funci¨®n de qu¨¦ se te est¨¢ juzgando es una norma b¨¢sica de los Estados de derecho. Plantear que eso es un problema es no entender en qu¨¦ se basan cosas muy fundamentales de nuestro sistema jur¨ªdico¡±, explica.

Una evaluaci¨®n insuficiente

Hay expertos que consideran in¨²til hacer una auditor¨ªa algor¨ªtmica, o que incluso ejecutar algo as¨ª supone legitimar una forma de funcionar que lleva lustros en entredicho. ¡°Sobre el m¨¦todo actuarial se han escrito r¨ªos de tinta explicando por qu¨¦ contradice el concepto de justicia de nuestra cultura legal, que es metodol¨®gicamente individualista, pero se vale de un m¨¦todo gen¨¦rico estad¨ªstico (y con ello no individual) para evaluar a una persona¡±, sintetiza Lorena Jaume-Palas¨ª, experta en ¨¦tica algor¨ªtmica y asesora del Parlamento Eu?ropeo, entre otras instituciones.

¡°El algoritmo intenta hacer a todos iguales. Pretende ayudar a los profesionales a que su trabajo sea m¨¢s eficiente, pero no es vinculante¡±, ha dicho en una entrevista Antonio Andr¨¦s Pueyo, catedr¨¢tico de Psicolog¨ªa de la Violencia de la Universitat de Barcelona y director del grupo de investigaci¨®n que desarroll¨® RisCanvi.

¡°No es vinculante, pero es obligatorio¡±, responde Jaume-Palas¨ª. La experta cree que va siendo hora de explicar cu¨¢l es la tarea de la justicia ¡°y por qu¨¦ este tipo de sistemas no constituyen un cambio en el proceso administrativo, sino que son un m¨¦todo antiguo que simplemente se ha digitalizado para seguir haciendo lo que se ha hecho siempre¡±.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.