Cuando el algoritmo que avisa a Asuntos Sociales cree que las familias negras son disfuncionales

El Gobierno de Nueva Zelanda encarg¨® hace una d¨¦cada a dos economistas desarrollar un modelo estad¨ªstico para calcular las posibilidades de que un reci¨¦n nacido sufriera maltratos durante sus primeros cinco a?os de vida. El programa se hizo p¨²blico en 2014. Un grupo de investigadores revel¨® que se equivocaba en el 70% de los casos. El plan se par¨® en 2015, antes de que se aplicase sobre una muestra de 60.000 reci¨¦n nacidos. Para entonces, los desarrolladores de ese sistema ya hab¨ªan conseguido un contrato para crear un modelo de predicci¨®n de riesgos similar en el condado de Allegheny (Pensilvania, EE UU).

El sistema asignaba a cada embarazo una puntuaci¨®n a partir del an¨¢lisis de 132 variables, como el tiempo que hac¨ªa que se recib¨ªan ayudas p¨²blicas, la edad de la madre, si el ni?o hab¨ªa nacido en el seno de una familia monoparental o la salud mental y los antecedentes penales de los progenitores. Cuando el valor que arrojaba el algoritmo era alto, los asistentes sociales recib¨ªan un aviso: hay que comprobar que todo est¨¦ en orden en esa familia. Aunque fuese una falsa alarma, cada visita domiciliaria queda registrada en un pa¨ªs en el que se puede retirar la custodia de un ni?o por no tener la nevera llena.

La polit¨®loga Virginia Eubanks (Nueva York, 1972) ha investigado el uso de esta herramienta y concluye que su uso perjudica especialmente a las clases trabajadoras y a los pobres, lo que en el contexto estadounidense significa una robrerrepresentaci¨®n de negros y latinos. Y lo cuenta en su libro La automatizaci¨®n de la desigualdad, que Capit¨¢n Swing saca a la venta en castellano este lunes. Su edici¨®n inglesa recibi¨® premios, elogios de autores como Naomi Klein o Cathy O¡¯Neil y buenas cr¨ªticas de medios como The New York Times.

Uno de los motivos de ese efecto es que los datos de los que se nutre el algoritmo para puntuar el riesgo de maltrato se recogen de registros p¨²blicos, y en EE UU solo los pobres interact¨²an con las instituciones p¨²blicas. El resultado de las puntuaciones ser¨ªa muy distinto si el sistema incluyese tambi¨¦n datos privados: si los padres recurren a ni?eras (y por tanto est¨¢n ausentes), historiales de psic¨®logos y psiquiatras de pago, asistencia a Alcoh¨®licos An¨®nimos o centros de desintoxicaci¨®n de lujo...

Eubanks desmenuza este y otros dos ejemplos de usos de algoritmos en la toma de decisiones de instituciones p¨²blicas en su libro. Los casos de estudio elegidos, todos ellos de Estados Unidos, demuestran que tecnolog¨ªa no es sin¨®nimo de eficacia as¨¦ptica, sino m¨¢s bien de lo contrario. ¡°Estas herramientas, construidas supuestamente para eliminar las desigualdades y lograr la neutralidad, lo que realmente hacen es amplificar las desigualdades que tenemos en la sociedad¡±, explica la autora por videollamada a EL PA?S.

Criminalizar la pobreza

Adem¨¢s del modelo predictivo de maltrato de Allegheny, Eubanks analiza un sistema aplicado en Indiana para automatizar la elegibilidad (esto es, qui¨¦n puede ser beneficiario) de los programas de asistencia social. El problema es que estaba dise?ado de tal manera que, cuando hab¨ªa alg¨²n error en el proceso o papeleo, siempre se le atribu¨ªa al solicitante. El resultado fue la denegaci¨®n de un mill¨®n de prestaciones. No tardaron en salir a la luz casos especialmente sangrantes de potenciales beneficiarios a los que se les denegaron las ayudas, como ni?as de seis a?os de familias humildes o abuelas hospitalizadas por problemas de coraz¨®n a las que se les retir¨® el servicio m¨¦dico gratuito (Medicaid). Se acab¨® cancelando, pero el gasto en prestaciones sociales es hoy m¨¢s bajo que nunca.

El otro caso de estudio es un sistema computerizado que decide qui¨¦nes de los 60.000 sin techo que hab¨ªa en el condado de Los ?ngeles en 2017 deb¨ªan recibir ayuda, sabiendo que 25.000 que se quedar¨ªan sin ser atendidos. Seg¨²n los dise?adores del sistema, este ayudar¨ªa a ponderar de forma objetiva los casos m¨¢s acuciantes para asignarles recursos. ¡°Existe otro modo de entenderlo¡±, escribe Eubanks al respecto: un an¨¢lisis de costes y beneficios. ¡°Es m¨¢s barato proporcionar viviendas de apoyo a la reinserci¨®n a las personas desamparadas m¨¢s vulnerables y en una situaci¨®n cronificada que mantenerlas en las salas de urgencias, en las instalaciones de salud mental o en las c¨¢rceles. Y es m¨¢s barato proporcionar a las personas sin techo menos vulnerables un realojo r¨¢pido que comporte una inversi¨®n reducida y limitada en el tiempo que dejar que se conviertan en personas desamparadas cronificadas¡±.

El nexo com¨²n de los casos que pormenoriza Eubanks en el libro es, en su opini¨®n, que en todos ellos el punto de partida es la criminalizaci¨®n de los menos favorecidos. Y eso tiene que ver con la concepci¨®n estadounidense de los menos pudientes. ¡°Hay que romper la idea tan arraigada que tenemos en EE UU de que la pobreza es el resultado del fracaso moral¡±, apunta la profesora de Ciencia Pol¨ªtica de la Universidad de Albany. Los defensores del uso de algoritmos en la gesti¨®n de servicios p¨²blicos, dice, aseguran que el big data revoluciona las r¨ªgidas burocracias, estimula las soluciones innovadoras e incrementa la transparencia. ¡°Pero si nos centramos en programas especialmente dirigidos a los pobres y la clase trabajadora, el nuevo r¨¦gimen de an¨¢lisis de datos es m¨¢s una evoluci¨®n que una revoluci¨®n. Es una expansi¨®n y continuaci¨®n de las estrategias de gesti¨®n moralista y punitiva de la pobreza que nos acompa?an desde 1820¡±, sentencia.

Aires de cambio

La pandemia ha demostrado que el trato discriminatorio hacia los m¨¢s pobres existe. Cuando la covid-19 irrumpi¨® en Estados Unidos, los sistemas inform¨¢ticos que tramitan y conceden los subsidios de desempleo se vieron superados por la demanda. ¡°Como respuesta, muchos Estados relajaron los requisitos para demostrar que necesitas la ayuda. Es decir: cuando la crisis afecta a las clases medias, de repente ya no necesitamos esas reglas tan complejas para acceder a beneficios sociales¡±, ilustra Eubanks.

Ampliar el n¨²mero de usuarios de los sistemas automatizados de prestaciones sociales no es la ¨²nica novedad que ha tra¨ªdo la pandemia. La acad¨¦mica cree que en la sociedad estadounidense se est¨¢ empezando a generar un debate acerca del uso de la tecnolog¨ªa en distintos ¨¢mbitos de la sociedad. ¡°Ahora hay mucha gente que est¨¢ pensando de forma m¨¢s cr¨ªtica qu¨¦ significa y qu¨¦ efecto tiene en sus vidas las herramientas de vigilancia digital como el reconocimiento facial o el hecho de que la polic¨ªa lleve c¨¢maras encima¡±, se?ala. Esta reflexi¨®n est¨¢ liderada por movimientos sociales liderados por j¨®venes afroamericanos, indica Eubanks. ¡°Es el fruto de una combinaci¨®n entre la preocupaci¨®n por el funcionamiento de algoritmos opacos, el legado racista de la polic¨ªa estadounidense y el enfrentarse de repente a un sufrimiento econ¨®mico tremendo. Eso crea un momento de cierto alineamiento social que permite revisarlo todo¡±.

M¨¢s all¨¢ de Estados Unidos

Para que los algoritmos dejen de decidir si se le puede retirar la custodia de un ni?o a sus padres, opina Eubanks, hay que interiorizar que estos programas no son neutrales. ¡°Si queremos construir mejores herramientas tenemos que hacerlo con mejores valores desde el principio, porque si no acaban teniendo los que ya tenemos, y por tanto no deber¨ªamos sorprendernos de que produzcan los mismos resultados una y otra vez¡±, reflexiona.

Los sistemas descritos en el libro no tienen por qu¨¦ circunscribirse a Estados Unidos. La profesora trabaja ahora de hecho en estudiar los patrones que sigue la aplicaci¨®n de algoritmos en el ¨¢mbito de las decisiones p¨²blicas que tienen que ver con prestaciones sociales.

¡°La infraestructura para que estos sistemas funcionen est¨¢ lista en muchos sitios del mundo¡±, asegura. ¡°Lo que cambian son los reg¨ªmenes pol¨ªticos, la austeridad moral o los momentos en los que se mira hacia otro lado. Las empresas hacen estas herramientas y las agencias gubernamentales las tratan como soluciones a la austeridad. No creo que desaparezcan solas¡±.

Puedes seguir a EL PA?S TECNOLOG?A en Facebook y Twitter.