La inteligencia artificial se asoma a la justicia pero despierta dudas ¨¦ticas

Una mujer se persona en la mesa de entradas de un juzgado de Buenos Aires, Argentina. Son las 10 de la ma?ana de un lunes fr¨ªo de agosto de 2018. Llega acompa?ada por sus tres hijos, que se sientan en el suelo a jugar, mientras su madre conversa con el empleado. ¡°Vengo a presentar un amparo para cobrar el subsidio por situaci¨®n de calle¡±, desliza la mujer con algo de verg¨¹enza. Despu¨¦s de unas pocas preguntas, cuyas respuestas van a parar a un formulario de papel, el empleado le solicita su carnet de identidad y se adentra en la oficina. La se?ora decide sentarse a esperar. Est¨¢ cansada y sabe que pasar¨¢n meses antes de que esta peque?a bola de nieve que acaba de empujar se convierta en la posibilidad de dormir bajo techo.

Lo que desconoce es que, si su expediente no se resuelve en primera y segunda instancia, intervendr¨¢, como ¨²ltimo recurso, el Ministerio P¨²blico Fiscal. Y all¨ª, a diferencia de las instancias anteriores, las causas se resuelven en minutos. ?C¨®mo es posible? Porque trabajan con un sistema inform¨¢tico que utiliza inteligencia artificial (IA). Su nombre es Prometea.

Cuando un oficial de justicia del mencionado ministerio tome en sus manos el expediente, solo deber¨¢ responder, hablando o escribiendo, las preguntas de un chat como WhatsApp. Y, en exactamente cuatro minutos, habr¨¢ obtenido el dictamen, adem¨¢s de la estad¨ªstica relevante para el caso y links de inter¨¦s para ilustrar la decisi¨®n. Luego, los juristas del organismo solo revisan el procedimiento, imprimen y firman. Habr¨¢n completado en media hora un trabajo que suele llevar meses.

Un modelo que interesa en Espa?a

En octubre de 2019, autoridades del ¨¢rea de modernizaci¨®n del Ministerio de Justicia espa?ol visitaron las oficinas del Ministerio P¨²blico Fiscal de la Ciudad de Buenos Aires. El objetivo era conocer Prometea, el sistema inform¨¢tico que se utiliza en la capital argentina para resolver casos de diversa materia pero sencilla resoluci¨®n: infracciones menores, accidentes de tr¨¢fico o pol¨ªticas sociales, entre otros.

Sof¨ªa Duarte Dom¨ªnguez, directora general del ¨®rgano antes llamado Modernizaci¨®n de la Justicia de Espa?a ¡ªen enero de 2020 pas¨® a ser Transformaci¨®n Digital de la Administraci¨®n de Justicia¡ª, hizo declaraciones al respecto en la prensa argentina: ¡°Nos hemos estudiado todo acerca de Prometea, sabemos que es un sistema fabuloso y queremos ver si podemos llevarlo a Espa?a. Incluso el [entonces] secretario de Estado de Justicia, Manuel Dolz, nos dio carta blanca para avanzar con esto que es, sin dudas, el futuro de la justicia¡±.

El tema no deber¨ªa tomarnos por sorpresa. Unos d¨ªas antes de la visita de la comitiva espa?ola al organismo porte?o, el profesor de Derecho y Ciencia Pol¨ªtica de la Universitat Oberta de Barcelona (UOC) David Mart¨ªnez explicaba, en un art¨ªculo publicado por La Vanguardia, que la IA bien podr¨ªa ser utilizada en Espa?a en casos ¡°de f¨¢cil respuesta jur¨ªdica¡±, con lo que se lograr¨ªa descongestionar el tr¨¢fico de expedientes judiciales. A pesar de que Duarte Dom¨ªnguez subraye que la digitalizaci¨®n de todo el Ministerio resulta suelo f¨¦rtil para automatizar la justicia, ella misma advierte de que uno de los principales obst¨¢culos al proceso reside en la resistencia de los trabajadores judiciales, que creen que la inform¨¢tica les quitar¨¢ el empleo.

A favor de automatizar la justicia

Las observaciones de Mart¨ªnez est¨¢n en consonancia con lo que piensan algunos expertos argentinos, comprometidos con la tarea de hacer una justicia inteligente. Es el caso del juez de la Corte Suprema de Justicia de la provincia de Mendoza, Mario Adaro, que aplica Prometea diariamente y particip¨® recientemente en la primera Cumbre Iberoamericana de Inteligencia Artificial, en la sede del MIT (Boston). ¡°La IA tiene una capacidad de procesamiento de informaci¨®n en grandes vol¨²menes que acorta los plazos burocr¨¢ticos en una medida nada desde?able porque, habitualmente, a mayor cantidad de causas y pocos decisores, m¨¢s tiempo por caso¡±, se?ala a EL PA?S RETINA. ¡°Utilizando procesos autom¨¢ticos, el juez tiene mayor capacidad de an¨¢lisis¡±.

El fiscal general adjunto de Buenos Aires, Juan G. Corval¨¢n, cre¨® Prometea tras haber detectado que, en la mitad de las causas en las que interviene el personal judicial, la mayor parte del tiempo se usa para constatar datos personales, informaci¨®n que se reitera, etc¨¦tera. Adaro lo ilustra con el ejemplo de causas tributarias, se?alando que ¡°son sentencias seriadas, de amplio volumen, donde las decisiones son agrupables en conjuntos claros y todo es bastante mec¨¢nico y predecible. Al utilizar IA para ese tipo de problemas, Prometea hace que la cantidad de errores en la carga de datos, tipeo y redundancia baje sensiblemente¡±, asegura el juez mendocino.

¡°La IA puede procesar informaci¨®n en grandes vol¨²menes, lo que acorta los plazos burocr¨¢ticos¡±

El origen: Estados Unidos

Hay tres casos emblem¨¢ticos de aplicaci¨®n de IA en la justicia, adem¨¢s de Prometea. El m¨¢s famoso es el programa Compas (Correctional Offender Management Profiling for Alternative Sanctions), que se usa en varios Estados de Estados Unidos. Se trata de un software que se utiliza desde 1998 para analizar, seg¨²n los antecedentes penales de un acusado, sus probabilidades de reincidir. El programa plantea un cuestionario al acusado. Una vez que este responde todas las preguntas, el sistema calcula el riesgo de reincidencia, por lo que el juez define, por ejemplo, si conviene o no otorgar la libertad condicional mientras se completa el proceso judicial.

Compas salt¨® a la fama con el caso Loomis, de 2013. Acusado de huir de la polic¨ªa y usar un veh¨ªculo sin autorizaci¨®n de su due?o, a Eric Loomis le cayeron seis a?os de prisi¨®n y cinco de condicional porque Compas estim¨® un riesgo alto de reincidencia. Loomis recurri¨®, alegando que su defensa no pod¨ªa rebatir los m¨¦todos de Compas porque el algoritmo no era p¨²blico. La Corte Suprema del Estado de Wisconsin desestim¨® el recurso. A?os m¨¢s tarde, en 2018, se supo que el sistema analiza 137 aspectos de cada imputado. Pero, al contrastar el nivel de ¨¦xito entre las predicciones de Compas y las de juristas de carne y hueso, se constat¨® que el nivel de acierto de la IA no es superior, o incluso, quedan en evidencia errores graves.

¡°Los promedios estad¨ªsticos dicen algo sobre los patrones de comportamiento com¨²n en un colectivo. No describen perfiles individuales y son incapaces de captar la singularidad del ser humano¡±, explica Lorena Jaume- Palas¨ª, experta en ¨¦tica y tecnolog¨ªa y fundadora de Algorithm Watch y The Ethical Tech Society. ¡°Con ello podemos entender colectivos con una mirada un poco m¨¢s arquitect¨®nica, pero tambi¨¦n incurrimos en el riesgo de meter a individuos en est¨¢ndares en los que no cuadran¡±.

Para aclarar si es viable juzgar a alguien penalmente usando IA hay que comprender con qu¨¦ criterios act¨²a el algoritmo (lo que reclam¨® la defensa de Loomis). Jaume-Palas¨ª sostiene que, a fin de cuentas, el Derecho es un algoritmo que se aplica desde mucho antes de que existiera la inform¨¢tica. ¡°[Con el caso Loomis] todos han puesto el ojo en el sistema inform¨¢tico y se escandalizaron por el racismo, pero Compas nos permiti¨® enterarnos de los sesgos que tienen los jueces, porque el sistema lo crearon humanos que ven¨ªan trabajando y decidiendo con esos sesgos que luego evidenci¨® el programa¡±.

¡°Los promedios estad¨ªsticos ayudan a comprender colectivos, pero son incapaces de captar la singularidad del ser humano¡±

?Es Prometea como Compas?

Adem¨¢s de su cargo en la Justicia, Juan G. Corval¨¢n es director del Laboratorio de Innovaci¨®n e Inteligencia Artificial de la Facultad de Derecho de la Universidad de Buenos Aires. En 2017, cre¨® junto con sus colaboradores el software de Prometea.

Corval¨¢n destaca, entre las cualidades del sistema, que ¡°Prometea no utiliza t¨¦cnicas de IA de caja negra, o lo que se conoce como deep learning; es decir, todo el proceso del algoritmo es abierto, auditable y trazable¡±. Compas, en cambio, aplica dos redes neuronales cuyo funcionamiento resulta una inc¨®gnita porque ¡°fue desarrollado por una empresa privada que ostenta los derechos de propiedad intelectual del algoritmo¡±.

El software argentino, sostiene Corval¨¢n, no hace sino reproducir el proceder de la magistratura del pa¨ªs. ¡°Las predicciones de Prometea se basan en el an¨¢lisis del historial de lo que los jueces han decidido, son ellos quienes entrenan al sistema. Por ejemplo, en la Corte Constitucional de Colombia [pa¨ªs en el que tambi¨¦n se aplica el programa] son los propios magistrados quienes llevan adelante el permanente ajuste de las predicciones de Prometea, con nuestra asistencia t¨¦cnica, por supuesto¡±.

Bases de datos y sesgos

No hay IA que valga sin datos. Y al hablar de datos, aparece el fantasma de los sesgos, como el racismo del que se ha acusado a Compas. Los n¨²meros construyen un discurso de objetividad que impide, a veces, cuestionar decisiones. ¡°Los algoritmos no son m¨¢s que opiniones encerradas en matem¨¢ticas¡±, dej¨® escrito Cathy O¡¯Neil en su c¨¦lebre Armas de destrucci¨®n matem¨¢tica.

¡°Lo que indudablemente permiten los algoritmos es estandarizar las decisiones. Es decir, uniformar criterios para que no se brinden dos respuestas diferentes ante el mismo problema¡±, opina Pablo Mlynkiewicz, licenciado en Estad¨ªstica y exresponsable de la Direcci¨®n General de Ciencias de la Informaci¨®n de Buenos Aires. ¡°Pero, claro, para que eso se traduzca en un avance real en la justicia, la base de datos debe poseer representaci¨®n de todos los colectivos. Si no, habr¨¢ errores¡±.

Mlynkiewicz coincide, de este modo, con Jaume-Palas¨ª y con Adaro al destacar un punto fuerte a favor de la automatizaci¨®n de procesos judiciales: evitan dar dos respuestas distintas ante un mismo problema. Es decir, se aporta consistencia argumental en los fallos. Aun siendo la m¨¢s cr¨ªtica con estos sistemas, la fil¨®sofa mallorquina admite que automatizar procesos judiciales basados en estad¨ªstica puede ayudar a corregir errores que hoy la justicia se niega a aceptar. ¡°Hace tiempo que sabemos que los jueces y el sistema judicial que conocemos no son muy consistentes. Poder hacer trazabilidad y estad¨ªstica de las decisiones judiciales gracias a la IA no est¨¢ nada mal¡±, enfatiza.

Los jueces robots en China

En octubre de 2019 se present¨® en Beijing el Tribunal de Internet, definido como un ¡°centro de litigios en l¨ªnea¡±. Seg¨²n la informaci¨®n oficial, se trata de una plataforma en la que las partes cargan los datos del problema a resolver y la IA hace el resto: busca jurisprudencia, analiza la tem¨¢tica, contrasta pruebas y dicta sentencia.

El sistema no tiene grandes diferencias t¨¦cnicas con el de Estonia, donde tambi¨¦n se est¨¢ apostando fuerte por la automatizaci¨®n de la justicia: no hay intervenci¨®n humana en todo el proceso. Pero entre ambos pa¨ªses hay una gran distancia en est¨¢ndares democr¨¢ticos. En el peque?o pa¨ªs b¨¢ltico, considerado el m¨¢s avanzado del planeta en materia digital, quien dirige el proyecto es el joven Ott Velsberg, quien pretende que las demandas que se presenten ante el tribunal digital no superen los 7.000 euros como cantidad reclamada por da?os.

All¨ª todo fluye, porque se trata de una sociedad con altos est¨¢ndares en materia c¨ªvica. Pero al hablar del gigante asi¨¢tico, las cosas cobran otro tenor. ¡°El desarrollo de los jueces virtuales o cibern¨¦ticos en China ha seguido la misma l¨ªnea que el Sistema de Cr¨¦dito Social: de abajo hacia arriba¡±, explica Dante Avaro, especialista en el modelo de control gubernamental chino, en referencia al controvertido mecanismo de puntuaci¨®n de los ciudadanos puesto en marcha por Beijing para determinar si son o no fiables. ¡°Ambos comenzaron a principios del nuevo milenio. En el caso de la IA en la justicia, se experiment¨® en ciudades como Shandong, luego en Hengezhou, Beijing y Guangzhou. El objetivo fue aportar eficiencia a los procesos judiciales en temas de comercio electr¨®nico, pagos virtuales, transacciones en la nube y disputas sobre propiedad intelectual¡±, ilustra.

El detalle es que, en manos de un Estado no democr¨¢tico que pretende ordenar a la sociedad trabajando transversalmente un scoring que Avaro denomina ¡°trazabilidad ciudadana¡±, la aplicaci¨®n de IA en la justicia es peligrosa porque queda vinculada con el Sistema de Cr¨¦dito Social y el sistema de reconocimiento facial Yitu Dragonfly Eye. ¡°Se est¨¢ construyendo un descomunal aparato de vigilancia estatal¡±, concluye Avaro