Discriminados por los algoritmos

Tiene 63 a?os, es empleada del hogar y desde 2014 sufre un enfisema pulmonar a pesar de que nunca ha fumado. Sufre por ello episodios frecuentes de bronquitis y ahogo que requieren un tratamiento cada vez m¨¢s caro. El ¨²ltimo invierno ha pagado un promedio de 80 euros mensuales en la farmacia, lo que para unos ingresos de 850 euros al mes, es una cantidad enorme. Trat¨¢ndose de una enfermedad cr¨®nica, estaba exenta del copago del 40% del precio de los f¨¢rmacos, pero nadie la inform¨® ni revis¨® sus recetas electr¨®nicas. Alguien se hab¨ªa equivocado al introducir los datos en el sistema. Tampoco salt¨® ninguna alarma en los ocho a?os en que alguien tan vulnerable como ella ha estado pagando de m¨¢s.

Es sabido que las barreras culturales dificultan el acceso de los m¨¢s desfavorecidos a los servicios y ayudas sociales. Se ha visto con el Ingreso M¨ªnimo Vital. El Gobierno hab¨ªa previsto que la ayuda llegara a 800.000 hogares, pero un a?o y medio despu¨¦s apenas la recib¨ªan 377.000 familias, y no por falta de dinero. Ha tenido que recurrir a las ONG, cuyos radares est¨¢n mucho m¨¢s a ras de suelo, para que las ayudas lleguen a sus destinatarios. No es un problema menor: alrededor del 30% de los ciudadanos desfavorecidos de la Uni¨®n Europea no reciben las ayudas sociales a las que tienen derecho porque no saben que existen.

A esta brecha cultural y social se suma ahora la tecnol¨®gica. Los algoritmos aplicados a las pol¨ªticas sociales permiten agilizar los tr¨¢mites y gestionar grandes contingentes de ayudas de forma r¨¢pida y eficiente. A condici¨®n de que est¨¦n bien dise?ados, cosa que no siempre ocurre. Desde 2017, las familias m¨¢s vulnerables tienen derecho a un descuento en la factura de la luz. Quien eval¨²a si los solicitantes re¨²nen los requisitos es el programa inform¨¢tico Bosco. La organizaci¨®n Civio, una entidad preocupada por la calidad democr¨¢tica, comprob¨® que se hab¨ªan denegado ayudas a solicitantes que reun¨ªan los requisitos. El Gobierno hab¨ªa estimado que en 2019 tendr¨ªan derecho al bono social unos 5,5 millones de hogares, pero solo lo hab¨ªan solicitado 1,1 millones. ?En qu¨¦ momento se perdieron todos los dem¨¢s? El programa fue revisado cuando Civio pidi¨® revisar el algoritmo, el Gobierno se lo deneg¨® y un tribunal le ha dado ahora la raz¨®n.

?Qui¨¦n vigila al vigilante? Esta es una cuesti¨®n clave porque cada vez son m¨¢s los algoritmos que se utilizan en pol¨ªticas sociales. El programa VioGen, por ejemplo, determina el riesgo de que una mujer maltratada vuelva a ser agredida, algo de lo que muchas veces depende su vida. Desde 2007 se ha aplicado en 800.000 casos. La Fundaci¨®n ?ticas cuestion¨® su fiabilidad y la revisi¨®n puso de manifiesto un problema en la recogida de datos, unas veces por falta de formaci¨®n de los funcionarios, otras por el estado psicol¨®gico de la mujer.

Un algoritmo es tambi¨¦n el que ayuda a los jueces de vigilancia penitenciaria a evaluar el riesgo de reincidencia de los presos a la hora de concederles permisos. Aunque muchos de estos programas est¨¢n dotados de mecanismos de revisi¨®n y autoaprendizaje, reproducen con facilidad los sesgos sociales. Un an¨¢lisis del Instituto Tecnol¨®gico de Massachussetts (MIT) demostr¨® que el programa Compas, uno de los programas de evaluaci¨®n del riesgo de reincidencia m¨¢s utilizado en Estados Unidos, discriminaba a los negros. No era de extra?ar. Uno de los datos a incorporar en el sistema era cu¨¢ntas veces el preso hab¨ªa sido identificado por la polic¨ªa. Y los negros lo son en mucha mayor proporci¨®n por un sesgo racial de la propia polic¨ªa. El MIT concluy¨® que el algoritmo comet¨ªa el mismo porcentaje de errores de apreciaci¨®n que la evaluaci¨®n humana: alrededor del 35%. Lo cual plantea una cuesti¨®n importante, a la que todav¨ªa no se ha dado respuesta: ?tienen derecho los ciudadanos a conocer y evaluar los algoritmos de los que dependen los derechos y hasta la vida de muchas personas?