Virginia Eubanks: ¡°La tecnolog¨ªa nos ofrece una excusa para no afrontar problemas sociales cada vez m¨¢s cr¨ªticos¡±

Donde otros ven cifras, ella ve historias personales. As¨ª puede resumirse la aportaci¨®n de la polit¨®loga Virginia Eubanks al debate sobre la gobernanza algor¨ªtmica. Todo lo que hab¨ªa le¨ªdo esta tejana de 50 a?os sobre el uso de la inteligencia artificial en la gesti¨®n de recursos p¨²blicos era demasiado te¨®rico, as¨ª que decidi¨® ponerle rostro. En su libro Automating Inequality, traducido por Capit¨¢n Swing como La automatizaci¨®n de la desigualdad, Eubanks demuestra que el uso de estos sistemas por parte de la Administraci¨®n a menudo perpet¨²a las desigualdades y castiga a los pobres. Lleg¨® a esa conclusi¨®n estudiando en profundidad tres casos en Estados Unidos y haciendo algo que, por obvio que parezca, nadie hab¨ªa hecho antes: escuchar a quienes hab¨ªan sufrido en primera persona lo injusta que llega a ser la automatizaci¨®n de los servicios.

Comprob¨® que el algoritmo que se usa en un condado de Pittsburgh para anticipar si un ni?o sufrir¨¢ malos tratos durante sus primeros cinco a?os de vida penaliza m¨¢s a los afroamericanos que a los cauc¨¢sicos. Retrat¨® el absurdo de que una m¨¢quina elija qui¨¦nes de los 60.000 sin techo que hab¨ªa en Los ?ngeles en 2017, cuando public¨® el libro, tienen derecho a una vivienda social, sabiendo que 25.000 se quedar¨ªan en la calle. Mostr¨® c¨®mo un sistema inform¨¢tico que automatizaba en Indiana la admisi¨®n de solicitudes de asistencia social acab¨® denegando un mill¨®n de ayudas por supuestos errores en la tramitaci¨®n que resultaron no ser tales. Los programas inform¨¢ticos se han colado en la Administraci¨®n y parecen remar en una misma direcci¨®n: austeridad y marginaci¨®n de los menos pudientes.

¡°Lo que me resulta m¨¢s interesante es pensar qu¨¦ dice de nosotros como sociedad el haber decidido que cuestiones como estas se automaticen¡±, reflexiona la profesora de Ciencia Pol¨ªtica en la Universidad de Albany, Nueva York. El discurso de Eubanks destaca precisamente por su mirada humanista, alejada de la frialdad de los cient¨ªficos de datos e ingenieros que suelen monopolizar estos debates. Tiene claro que la tecnolog¨ªa se usa en este contexto como herramienta pol¨ªtica, sirvi¨¦ndose del supuesto halo de eficiencia ideol¨®gicamente as¨¦ptica que se le suele atribuir a los ordenadores.

?Cree que hay una agenda pol¨ªtica detr¨¢s de la aplicaci¨®n de los algoritmos que describe en su libro?

Se alinean notablemente con la doctrina de la austeridad y el hipercapitalismo. Particularmente con algunas ideas muy populares en Estados Unidos, como que la Administraci¨®n nunca tendr¨¢ recursos suficientes para todos y que habr¨¢ que buscar el modo de tomar decisiones dif¨ªciles para ver qui¨¦nes pueden disfrutar de esos recursos y qui¨¦nes no. El algoritmo usado en Los ?ngeles para determinar a qu¨¦ sin techo se le asigna una vivienda, por ejemplo, nos permite evitar tener una conversaci¨®n muy dif¨ªcil en torno al hecho de que en 2021 haya 67.000 personas sin hogar en la ciudad. Supera en 17.000 personas la poblaci¨®n de Troy, la localidad en la que vivo. Estamos hablando de una tragedia de derechos humanos. Estas herramientas se usan en cierta medida para encubrir pol¨ªticas que no quieres que se consideren como tal. Pol¨ªticas negativas, de hecho, de cuya responsabilidad te eximes: yo no tom¨¦ esa decisi¨®n, lo dijo el ordenador. ?Est¨¢ bien que miles de personas vivan en tiendas de campa?a en Los ?ngeles, veamos c¨®mo acomodamos a los que podamos!

Dice que es peligroso que se crea que estas herramientas son apol¨ªticas; que se piense que no toman decisiones, sino que mueven informaci¨®n y mejoran procesos.

Exacto. Eso pas¨® con el algoritmo de monitorizaci¨®n de familias del condado de Allegheny [Pensilvania]. Se crey¨® que los ordenadores procesan mejor la informaci¨®n que los asistentes sociales, as¨ª que por qu¨¦ no delegar en ellos la decisi¨®n de d¨®nde actuar. ?Eso denota una gran desconfianza en la Administraci¨®n! Rhema ?Vaithianathan [la economista que lo dise?¨®] es muy buena cient¨ªfica de datos, pero no es polit¨®loga. Decidir si unos padres son aptos o no para criar a sus hijos es un proceso realmente importante y muy diferente de mover informaci¨®n de un lado a otro. La pol¨ªtica no es una ciencia, es algo terriblemente humano. Esta dimensi¨®n deber¨ªa estar presente siempre que se tomen decisiones, haya o no algoritmos en el proceso.

El caso del algoritmo de Allegheny resulta llamativo. El Gobierno de Nueva Zelanda del conservador John Key le encarg¨® a Vaithianathan y su equipo desarrollar un modelo estad¨ªstico para estimar qu¨¦ ni?os tienen mayores posibilidades de sufrir malos tratos o abandono a partir de datos recogidos sobre los padres que interact¨²an con los servicios sociales, con protecci¨®n a la infancia y con el sistema penal. El c¨¢lculo se hac¨ªa antes de que nacieran los peque?os, analizando el historial de los progenitores. Fue un fracaso. Un grupo de investigadores revel¨® que el programa se equivocaba en el 70% de los casos y el proyecto se par¨® en 2015, antes de que se aplicase sobre una muestra de 60.000 reci¨¦n nacidos.

Para entonces, los desarrolladores de ese sistema ya hab¨ªan conseguido un contrato para crear un modelo de predicci¨®n de riesgos similar en el condado estadounidense de Allegheny. Se crey¨® que asignar a cada embarazo una puntuaci¨®n a partir del an¨¢lisis de 132 variables, que ten¨ªa en cuenta desde la edad de la madre o si el ni?o viv¨ªa en una familia monoparental hasta los antecedentes penales de los padres o si estos recib¨ªan ayudas p¨²blicas, permitir¨ªa hacerse una idea de d¨®nde estaban los progenitores conflictivos. Si la calificaci¨®n final era alta, los asistentes sociales se pasaban a comprobar que todo estuviera en orden. Aunque fuera una falsa alarma, cada visita domiciliaria queda registrada en el sistema, lo que puede ser un agravante en un futuro.

La investigaci¨®n de Eubanks demuestra que el sistema perjudica claramente a los m¨¢s pobres, que en EE UU suelen ser negros y latinos, porque interact¨²an m¨¢s que el resto con el sistema p¨²blico. Y el algoritmo se nutre de datos aportados exclusivamente por el registro p¨²blico, con lo que las clases medias y altas, que cuentan con coberturas privadas, pr¨¢cticamente no figuran ah¨ª. Lejos de haberse retirado del funcionamiento, el ASFT (as¨ª se llama el algoritmo de Allegheny) sigue operativo y se ha replicado en varias poblaciones del pa¨ªs.

Usted subraya que programas como este tienen cabida en EE UU debido a la concepci¨®n que se tiene all¨ª de la pobreza.

As¨ª es. En mi pa¨ªs predomina una forma muy particular de ver la pobreza en la que manda el discurso de la culpabilidad: quien est¨¢ en esa situaci¨®n lo est¨¢ por su inacci¨®n o incompetencia. Hay un cierto rechazo a enmarcar la discusi¨®n como un asunto de derechos humanos, no existe la idea que se tiene en Europa de que hay un nivel por debajo del cual no es tolerable que alguien est¨¦. No puedes tomar una decisi¨®n lo suficientemente mala como para que merezcas vivir en una tienda en medio de la calle durante una d¨¦cada. O perder la custodia de tus hijos porque no puedas afrontar el pago de un medicamento que necesiten. Cuando cuentas a un europeo que los pobres en EE UU tienen que demostrar que son seleccionables para recibir asistencia m¨¦dica gratuita te miran como si estuvieras loca. En mi pa¨ªs bebemos de las estrategias de gesti¨®n moralista y punitiva de la pobreza que nos acompa?an desde 1820, cuando ser pobre era sin¨®nimo de maleante o vago y se encerraba a quienes no eran capaces de mantenerse en los asilos para menesterosos. Afortunadamente parece que hay alg¨²n atisbo de cambio con el presidente Joe Biden, como se ha visto con la acogida de ni?os que cruzan la frontera de M¨¦xico, algo que por otra parte es completamente normal en las democracias avanzadas.

La aplicaci¨®n de algoritmos a pol¨ªticas sociales se alinea con la doctrina de la austeridad y con el hipercapitalismo

Virginia Eubanks

Han pasado cinco a?os desde que public¨® el libro y este tipo de algoritmos siguen siendo adoptados por las administraciones.

La pregunta entonces es por qu¨¦. Sospecho que la tecnolog¨ªa nos ofrece una excusa para no hacer nada por solucionar problemas sociales cada vez m¨¢s cr¨ªticos. Y creo que eso es incre¨ªblemente atractivo. Volvamos al caso de los sin techo de Los ?ngeles. Los funcionarios tienen decenas de solicitudes de alojamiento cada d¨ªa y solo una o dos plazas que dar. No envidio estar en esa posici¨®n. El algoritmo al final es una forma de eximirnos de las consecuencias humanas de las decisiones pol¨ªticas. Es atractivo, ahorra dinero y es pol¨ªticamente muy viable. Pero en cierto sentido abunda sobre algo mayor: toda la ciudad est¨¢ construida para no ver esa realidad. Los pobres usan el transporte p¨²blico mientras que el resto se mueve en coche, las tiendas de campa?a est¨¢n apartadas de los vecindarios¡­

?Hay alg¨²n ejemplo que no incluyera en el libro que le llame especialmente la atenci¨®n?

Me interesan mucho ahora los sistemas que identifican los supuestos sobrepagos del Estado en forma de asistencia p¨²blica, luego los convierten en deuda y finalmente la cargan sobre familias trabajadoras pobres. En Illinois, por ejemplo, la Administraci¨®n enviaba unas 23.000 notificaciones de este tipo al a?o. Las cartas te dicen que te pagaron de m¨¢s en 1985, que ya no se puede recurrir y que nos debes tal cantidad de dinero: nos lo puedes pagar de golpe, entrar en un plan de pagos o afrontar penas civiles o criminales. Las deudas son de 400 a 20.000 d¨®lares y penden sobre personas vulnerables. La mayor¨ªa de las que yo contact¨¦ eran mayores sin recursos. La gente est¨¢ aterrorizada: no saben qu¨¦ hacer, no se acuerdan de qu¨¦ hicieron en 1985. En Australia vi algo parecido, el Robodebt, pero era m¨¢s visible al tratarse de una medida federal. En EE UU es m¨¢s dif¨ªcil de ver porque cada Estado funciona por libre. Seg¨²n mis estimaciones, puede haber centenares de miles de familias afectadas. Ves a gente de 75 a?os llegando a acuerdos para pagar cinco d¨®lares al mes durante el resto de su vida. Es una extorsi¨®n intolerable e innecesaria, el tipo de cosas que es posible gracias a los algoritmos: todas las bases de datos est¨¢n conectadas ahora, as¨ª que alguien pens¨® que estar¨ªa bien desarrollar un software que identifique supuestos errores y mande cartas para que se corrijan.

Esto tiene que ver con lo que usted llama discriminaci¨®n racional.

S¨ª. No es que haya un grupo de trajeados decidiendo a qui¨¦n perjudicar. No es intencionadamente discriminatorio, pero la forma en que los datos, las agencias y los programas est¨¢n estructurados crean este sistema con impactos incre¨ªblemente discriminatorios sobre ciertos colectivos.

?En qu¨¦ est¨¢ trabajando ahora?

Desde que publiqu¨¦ La automatizaci¨®n de la desigualdad ha habido una explosi¨®n en torno a la conversaci¨®n sobre gobernanza algor¨ªtmica, sesgos algor¨ªtmicos y otros temas relacionados. Ha sido muy estimulante ver c¨®mo proliferaban los libros sobre esta tem¨¢tica. Pero todav¨ªa me parece que en este debate faltan cosas importantes. Una de ellas es escuchar las voces de las personas que se ven afectadas m¨¢s directamente por esas tecnolog¨ªas y herramientas, y no tanto a los ingenieros, acad¨¦micos e investigadores que hablan de ellas. Y la otra es una perspectiva global: esto no es cosa de EE UU o de Espa?a, est¨¢ sucediendo en todas partes, hay una agenda que quiere colocar estos sistemas. As¨ª que mi nuevo proyecto, en el que trabajo junto a Andrea Quijada, de la Universidad de Nuevo M¨¦xico, consiste en recoger historias orales de 12 pa¨ªses para asegurarnos de que se representa en la conversi¨®n el testimonio de la gente que se ve directamente afectada por estos algoritmos. Y en conectarlas entre ellas para sacar patrones. De hecho, una de las razones por las que he viajado a Espa?a es para recoger algunas de esas historias. Sobre el ingreso m¨ªnimo vital y algunas otras cosas que prefiero no contar todav¨ªa. Esto nos llevar¨¢ unos dos a?os y pensamos escribir un libro con ello.

?Tiene alguna conclusi¨®n preliminar?

El contexto en el que trabaja cada algoritmo es muy importante. Esto no funciona desplegando una herramienta en un sitio cualquiera y ya est¨¢. Por ejemplo, en Australia se ha hecho una prueba a ra¨ªz de la pandemia para transferir todas las prestaciones sociales a una tarjeta de cr¨¦dito. Te dan fondos, pero solo los puedes gastar en lugares aprobados por el Estado. Y eso es un problema si eres una persona pobre de clase trabajadora, ya que en ese caso tienes que ser muy flexible en la manera en la que gastas. Hay gente a la que no le da para un piso y solo alquila una habitaci¨®n o vive en una casa de hu¨¦spedes; en ambos casos, a ojos del sistema, no tienes un contrato de alquiler. El resultado es perverso: no puedes gastar esos fondos aunque te los hayan dado. Tambi¨¦n puede suceder que tengas un peque?o negocio y no puedas comprar suministros en Etsy o Ebay, que son m¨¢s baratos, porque la tarjeta no te deja en esos sitios.

?Es factible sacar patrones globales de herramientas con efectos tan locales?

El contexto local y pol¨ªtico es muy importante. No quiero ser una determinista tecnol¨®gica y decir que cuando aparece una de estas herramientas todo cambia para mal. Pero el algoritmo de monitorizaci¨®n de familias de Allegheny, que fue retirado de Nueva Zelanda, se ha extendido a otros 12 lugares de EE UU. Estas herramientas viajan. Y creo que es muy interesante verlas en distintos pa¨ªses, tanto para comprobar si se aplican de la misma forma como para ver en qu¨¦ cambian. Si ese mismo algoritmo aterriza en Portugal y su efecto es distinto, ser¨ªa interesante ver por qu¨¦. Quiz¨¢s podamos ayudar a que quienes tratan de proteger los derechos humanos de la gente que se ve coartada por el Estado de bienestar digital puedan ver c¨®mo funcionan estos mecanismos en otros lugares y establecer conexiones. O que si esta herramienta se intent¨® instaurar en Nueva Zelanda y la gente dijo no, ?por qu¨¦ no hacer lo mismo en Pittsburgh?

Esto no es cosa de Estados Unidos o de Espa?a, est¨¢ sucediendo en todas partes. Hay una agenda que quiere colocar estos sistemas

Virginia Eubanks

?Hay forma de que quienes sufren los efectos negativos de los algoritmos puedan evitarlos?

Estas herramientas cambian cada vez que la clase obrera pobre siente su poder. Creo que en EE UU estamos en un momento ahora mismo en el que lo sienten, o al menos lo tienen. Se est¨¢ hablando por ejemplo sobre si se deber¨ªan recibir subsidios por desempleo m¨¢s generosos de los que se dieron durante la pandemia. Habr¨¢ una buena lucha en torno a este debate.

?C¨®mo se puede luchar contra la proliferaci¨®n de la automatizaci¨®n en la gesti¨®n de servicios sociales?

Creo que en los ¨²ltimos tiempos estamos viendo muchos m¨¢s desaf¨ªos directos a este tipo de herramientas, la mayor¨ªa relacionadas con la justicia criminal y con el uso por parte de las fuerzas de seguridad de sistemas apoyados en la inteligencia artificial. En Los ?ngeles hay una campa?a contra los drones policiales. Tambi¨¦n hay otra iniciativa contra el uso del reconocimiento facial por parte de la polic¨ªa que est¨¢ triunfando en varias ciudades del pa¨ªs. Es importante no asumir que los cambios que se derivan de la aplicaci¨®n de nuevas tecnolog¨ªas son inevitables.

Es dif¨ªcil que la gente proteste contra un algoritmo que gestiona recursos p¨²blicos si ni siquiera sabe que existe.

Es un tanto intrigante que cuando pensamos en tecnolog¨ªas amenazantes para nuestras vidas nos fijemos m¨¢s en herramientas policiales que en las que se usan en la administraci¨®n del Estado de bienestar, cuando lo segundo no es menos importante. Alguien me dijo una vez que diferenciamos inconscientemente en funci¨®n de si es un servicio de apoyo o punitivo, independientemente de que los resultados de las pol¨ªticas en cada caso puedan ser igualmente negativas. En cuanto a c¨®mo visibilizar esta realidad, me parece que todos ganar¨ªamos si se tuviera m¨¢s en cuenta a quienes sufren las consecuencias de un algoritmo que le deniega prestaci¨®n m¨¦dica a su hija de seis a?os con discapacidad y dependiente por no rellenar una documentaci¨®n que se le envi¨® telem¨¢ticamente. Quiz¨¢s ser¨ªa m¨¢s f¨¢cil ver a qu¨¦ nos enfrentamos escuchando a quienes lo han vivido que tratando de buscar modelos filos¨®ficos justos.