Pa¨ªses Bajos veta un algoritmo acusado de estigmatizar a los m¨¢s desfavorecidos

Un tribunal neerland¨¦s ha decidido que SyRI (acr¨®nimo de System Risk Indication), un sistema de an¨¢lisis para rastrear posibles fraudes al Estado utilizado por el Gobierno, ¡°no respeta la privacidad del ciudadano y vulnera el art¨ªculo 8 de la Convenci¨®n Europea de Derechos Humanos¡±, relativo al derecho a la vida privada. Con SyRI ¡ªno confundir con Siri, el asistente de Apple¡ª el Ministerio de Asuntos Sociales y Empleo estudia desde 2014 datos sobre ingresos, pensiones, seguros, tipo de casa, impuestos, multas, integraci¨®n, educaci¨®n, deudas o subsidio de desempleo de los contribuyentes para calcular luego a base de algoritmos qui¨¦n tiene m¨¢s probabilidades de defraudar a la Administraci¨®n. En octubre, el australiano Philip Alston, relator especial de la ONU sobre pobreza y derechos humanos, remiti¨® un informe al tribunal criticando que SyRI ¡°se?ala a los ciudadanos con menos renta y a grupos de poblaci¨®n de origen inmigrante¡±.

El fallo de la justicia neerlandesa sobre SyRI sienta un precedente legal que puede tener repercusiones a escala internacional

Esta sentencia, in¨¦dita en Europa contra el uso por un Gobierno de algoritmos predictivos, es tambi¨¦n un intento m¨¢s de parar los pies a unas tecnolog¨ªas cada vez m¨¢s presentes en la toma de decisiones sobre las vidas de los ciudadanos cuyos datos escrutan: desde los contenidos que consumen hasta su aptitud para recibir un pr¨¦stamo hipotecario. En Filadelfia y otras ciudades estadounidenses, un algoritmo lleva un lustro calculando posibilidades de reincidencia de delincuentes. A lo largo y ancho de EE UU y Europa, las autoridades recurren a estos sistemas para distribuir patrullas policiales y dictar sentencias de c¨¢rcel. Bristol tiene su propio sistema para identificar a los j¨®venes m¨¢s propensos a delinquir, recoge The New York Times.

El fallo sobre SyRI sienta un precedente legal que puede tener repercusiones en el exterior y supone una gran victoria para los demandantes, una coalici¨®n de ocho grupos civiles locales, entre ellos organizaciones de abogados, activistas de derechos humanos y el sindicato mayoritario FNV. SyRI se ha usado hasta la fecha en las ciudades de R¨®terdam, Eindhoven, Haarlem y Capelle aan den Ijssel.

El Tribunal de Distrito de La Haya (de primera instancia) anunci¨® el d¨ªa 5 de febrero su fallo, en el que reconoce ¡°el objetivo leg¨ªtimo y de gran relevancia social de evitar un delito¡±. Sin embargo, a?ade que ¡°el modelo de riesgo elaborado en estos momentos por SyRI puede tener efectos no deseados, como estigmatizar y discriminar a la ciudadan¨ªa, por la ingente cantidad de informaci¨®n que recoge¡±. El caso retrata dos caras que se enfrentan constantemente en el debate de si es l¨ªcito depositar nuestra confianza en algoritmos que por su dise?o o entrenamiento pueden presentar sesgos ocultos.

Sobre el papel, estas herramientas est¨¢n llamadas a reducir la presi¨®n sobre departamentos cuyas cargas de trabajo parecen inversamente proporcionales al personal que tienen disponible para abordarlas. Se reducen as¨ª los costes para el Gobierno y, en el extremo m¨¢s optimista, se eliminan de la ecuaci¨®n los sesgos inherentes a la naturaleza humana. Sobre los ciudadanos, los algoritmos se vuelven armas de doble filo de cuyos riesgos advierte hasta la ONU. ¡°Los Estados de Bienestar digitales se arriesgan a convertirse en caballos de Troya para la hostilidad neoliberal hacia la protecci¨®n social y la regulaci¨®n¡±, se?alaba recientemente Philip Alston, relator especial sobre pobreza extrema y derechos humanos en la organizaci¨®n.

SyRI se utilizaba en especial en barrios que el Ejecutivo considera problem¨¢ticos. Para calcular posibles irregularidades, los algoritmos enlazan todos los datos personales de sus residentes almacenados por instancias gubernamentales. Esos datos se comparan luego con el perfil de riesgo creado a partir de la informaci¨®n de otros ciudadanos que s¨ª han delinquido. Observadas las similitudes, se confecciona una lista de nombres que las autoridades pueden conservar hasta dos a?os.

Los municipios deben pedir permiso al citado ministerio si sospechan del posible abuso de las ayudas econ¨®micas, u otras actuaciones ilegales, para poder analizar la informaci¨®n. La Agencia Tributaria, la inspecci¨®n de Asuntos Sociales y Empleo, o el Banco de la Seguridad Social disponen de acceso a SyRI, y el ciudadano puede consultar el informe a su nombre. Pero no es informado de forma autom¨¢tica de la investigaci¨®n, seg¨²n explica la coalici¨®n demandante en la web que cre¨® para trabajar en el caso.

El ministerio aleg¨® al tribunal que ¡°el sistema solo liga datos que el Estado ya posee, y dibuja con ellos un ¨¢rbol de decisi¨®n [un modelo de predicci¨®n], de modo que no se usa la inteligencia artificial ni tampoco algoritmos de autoaprendizaje¡±. Por el contrario, el fallo se?ala que dicha afirmaci¨®n ¡°no se puede comprobar, porque la legislaci¨®n que permite el uso de SyRI no es lo bastante transparente¡±. Los jueces se?alaron que no hab¨ªan recibido suficiente informaci¨®n sobre el sistema, ¡°ya que el Estado mantiene en secreto la forma de calcular la posibilidad de fraude¡±.

En su reacci¨®n oficial al fallo, el ministerio hace hincapi¨¦ en la necesidad ¡°de comprobar si los servicios y prestaciones de la seguridad social acaban en las manos adecuadas¡±, para evitar abusos. En un comunicado, a?ade que el fallo ser¨¢ ¡°estudiado a fondo¡± para ver si cabe un recurso de apelaci¨®n. Maxim Februari, un conocido columnista holand¨¦s que figuraba entre los demandantes, ha se?alado: ¡°El Parlamento deber¨¢ pensarlo mejor a partir de ahora, porque si aplicas una nueva tecnolog¨ªa debes fijarte bien en la protecci¨®n legal del ciudadano¡±.