?Qui¨¦n vigila que los algoritmos no sean racistas o sexistas?

Imagine que se pudieran saber las probabilidades de que un reci¨¦n nacido vaya a ser maltratado durante sus primeros cinco a?os de vida. ?Merecer¨ªa la pena invertir recursos para tener esa informaci¨®n? Ciertamente, ser¨ªa de ayuda para los servicios de asistencia social: contar con una lista de los ni?os con mayor riesgo permitir¨ªa monitorizar su situaci¨®n.

Esa visi¨®n fue la que impuls¨® el desarrollo en Nueva Zelanda de un sistema que, basado en 132 variables (edad de los padres, salud mental, historial delictivo, receptores o no de ayudas¡­), daba una puntuaci¨®n de las posibilidades que ten¨ªan los reci¨¦n nacidos de sufrir maltratos. El programa se hizo p¨²blico en 2014 y se par¨® al a?o siguiente, gracias a una investigaci¨®n que demostr¨® que el sistema se equivocaba en el 70% de los casos.

El motor de ese programa era un algoritmo, es decir, una receta o set de instrucciones que se aplica sobre un conjunto de datos de entrada para resolver un problema. Puede que crea que lo m¨¢s cerca que est¨¢ en su vida diaria de un algoritmo es cuando hace una b¨²squeda en Google. O cuando Spotify le descubre una banda que encaja en sus gustos musicales. Nada de eso: nadamos entre ellos. Un algoritmo a menudo decide si se es merecedor o no de una oferta de trabajo interesante. O si a un banco le conviene darle un cr¨¦dito.

M¨¢s informaci¨®n

Seis cosas que quiz¨¢ no sab¨ªas de los algoritmos

En realidad, ?qu¨¦ [...] es exactamente un algoritmo?

Los algoritmos est¨¢n en todas partes. El ejemplo de Nueva Zelanda pone sobre la mesa dos cuestiones de peso. Primero, no solo los usan las empresas privadas: las instituciones p¨²blicas tambi¨¦n recurren a ellos para tomar decisiones relevantes. Segundo, los algoritmos se equivocan, y esos errores pueden arruinarle la vida.

La matem¨¢tica y activista Cathy O¡¯Neil dice que los algoritmos son ¡°opiniones encerradas en matem¨¢ticas¡±. Dependiendo de qui¨¦n construya esos modelos, qu¨¦ variables tenga en cuenta y con qu¨¦ datos se les nutra, dar¨¢n uno u otro resultado. ¡°Solemos pensar que los algoritmos son neutros, pero no es as¨ª. Los sesgos son estructurales y sist¨¦micos, tienen poco que ver con una decisi¨®n individual¡±, explica Virginia Eubanks, profesora de Ciencias Pol¨ªticas de la Universidad de Albany (Nueva York) y autora de Automating inequality, un libro que bucea en los sesgos socioecon¨®micos de los algoritmos con un subt¨ªtulo significativo: C¨®mo las herramientas tecnol¨®gicas perfilan, controlan y castigan a los pobres.

Eubanks habla en su libro del mencionado sistema de Nueva Zelanda y de otros tantos que funcionan en Estados Unidos. Uno de ellos determina qui¨¦nes de los 60.000 sin techo de Los ?ngeles tienen derecho a recibir o no alguna ayuda p¨²blica; otro, supuestamente dise?ado para otorgar beneficios sociales de manera objetiva en Indiana, tuvo que ser cerrado cuando se descubri¨® que fomentaba recortes en la Administraci¨®n, que casualmente atravesaba estrecheces presupuestarias, al dejar fuera del sistema a contribuyentes que reun¨ªan los requisitos para recibir las ayudas.

Hay otros ejemplos m¨¢s llamativos. En el condado de Allegheny (Pittsburgh, Pensilvania), un algoritmo de la Oficina de Ni?os, J¨®venes y Familias trata de predecir el comportamiento futuro de los padres para evitar abusos o maltratos. Lo hace especulando qu¨¦ es probable que hagan los sujetos analizados bas¨¢ndose en los patrones de comportamiento que mostraron individuos similares en el pasado.

Todo ello a partir de datos p¨²blicos, lo que, tal y como demuestra la autora, supone ya una importante discriminaci¨®n socioecon¨®mica (en EE UU quienes recurren al sistema p¨²blico son quienes no pueden pagarse el privado). Colegio p¨²blico, oficina de vivienda, servicio de desempleo, polic¨ªa del condado¡­ Las personas que se relacionan con estas instituciones son m¨¢s pobres que ricas, desde luego. Y en EE UU, entre los pobres hay una sobrerrepresentaci¨®n de negros, latinos y otras minor¨ªas ¨¦tnicas.

Los algoritmos tienen prejuicios: ellos son inform¨¢ticos y ellas, amas de casa

Las familias ricas, explica Eubanks, tambi¨¦n pueden ser disfuncionales, pero el sistema del condado de Allegheny no lo reconocer¨ªa: las cl¨ªnicas de desintoxicaci¨®n o los psiquiatras, por ejemplo, no est¨¢n dentro del sistema p¨²blico y por tanto no computan para el algoritmo. ¡°?Es correcto que el sistema castigue desproporcionadamente a los m¨¢s vulnerables? ?Tolerar¨ªan los m¨¢s ricos que se usasen sus datos de este modo? Evidentemente no¡±, estalla indignada la neoyorquina. ¡°Debemos reflexionar sobre lo que estamos haciendo, qu¨¦ dice de nosotros como sociedad que se automatice la decisi¨®n de si unos padres cuidan bien o mal de sus hijos¡±, a?ade.

¡°En los niveles m¨¢s altos de la econom¨ªa, son los seres humanos los que toman las decisiones, aunque utilicen los ordenadores como herramientas ¨²tiles. Pero en los niveles intermedios, y especialmente en los m¨¢s bajos, gran parte del trabajo est¨¢ automatizado¡±, escribe O¡¯Neil en Armas de destrucci¨®n matem¨¢tica. Si a un licenciado en la facultad de Derecho de Stanford le dicen en la entrevista de un prestigioso bufete de abogados que su nombre figura en el sistema asociado a un arresto por crear un laboratorio de metanfetaminas, el entrevistador se reir¨¢, pensando que la m¨¢quina se ha equivocado, y continuar¨¢ con la entrevista. Si un algoritmo determina que un padre no es suficientemente responsable, los riesgos que corre son de todo menos anecd¨®ticos.

• Ciudadanos solventes

A quien vive en EE UU, hay algoritmos que le clasifican como ciudadano solvente o no en funci¨®n de las probabilidades de que devuelva un pr¨¦stamo, calculadas a partir de su historial crediticio, nivel de ingresos y otros datos. Su puntuaci¨®n determinar¨¢ el tipo de inter¨¦s que le ofrezcan los bancos, lo que en el caso de una hipoteca puede significar miles de d¨®lares al a?o. Incluso puede afectar a sus oportunidades laborales, en tanto que hay empresas que no se f¨ªan de quienes tienen deudas.

Los sofisticados modelos que sopesan la calificaci¨®n crediticia de las personas son opacos. ¡°Esta herramienta es demasiado determinante en el ¨¦xito o fracaso de las personas como para funcionar envuelta en el secretismo¡±, espeta Frank Pasquale. Este jurista, profesor de Derecho en la Universidad de Maryland, public¨® en 2015 The black box society. The secret algorithms that control money and information, un libro que indaga en la opacidad de los algoritmos que m¨¢s afectan a nuestras vidas.

Las filtraciones de Edward Snowden demostraron que la NSA usa datos de empresas como Google o Facebook para vigilar a los ciudadanos. Y estas empresas, que disfrutan de una posici¨®n cuasi monopol¨ªstica en el mercado, lo saben casi todo de nosotros. ¡°Puede que no podamos frenar la recolecci¨®n de datos sobre nosotros mismos, pero s¨ª podemos regular c¨®mo se usan¡±, asevera Pasquale. ¡°Hay compa?¨ªas que hacen un cierto dibujo de las personas y sobre ¨¦l estructuran oportunidades para cada individuo. Por ejemplo, sabemos que hay ciertos productos inmobiliarios, financieros o m¨¦dicos que se ofrecen a las personas m¨¢s vulnerables con mensajes a veces fraudulentos¡±, explica.

¡°Estamos construyendo una vasta representaci¨®n 3D y en tiempo real del mundo. Un registro permanente de nosotros mismos. Pero, ?qu¨¦ significado tienen estos datos?¡±, se preguntaba en 2015 el profesor de medios digitales Taylor Owen en su art¨ªculo La violencia de los algoritmos?(en Foreign Affairs). La respuesta es perturbadora. Muchos de los fallos que tienen los algoritmos aplicados a cuestiones sociales tienen que ver con un error de base: los algoritmos trabajan sobre probabilidades, no con certezas. A menudo se confunden ambas cosas.

• Reglas claras

Si no se establecen reglas claras en torno a la utilizaci¨®n de datos, pronto nos podremos llevar alguna sorpresa desagradable. Por ejemplo, una vez que las empresas hayan acumulado ingentes cantidades de informaci¨®n sobre la salud de sus empleados, se pregunta O¡¯Neil en su libro, ?qu¨¦ les impedir¨¢ elaborar calificaciones de salud y usarlas para filtrar a los candidatos a un puesto de trabajo? Muchos de los datos sustitutivos que pueden usar en esa tarea, como los pasos dados en un d¨ªa o los patrones de sue?o, no est¨¢n protegidos por la ley y es legal usarlos. Si las empresas rechazan a aspirantes por su calificaci¨®n crediticia, tiene sentido que lo hagan tambi¨¦n por su salud.

Pero no adelantemos acontecimientos. Lo que sabemos hoy es que los algoritmos demuestran tener prejuicios raciales y de g¨¦nero cuando se les encomienda la selecci¨®n de personal. Ante la avalancha de curr¨ªculums que suelen recibir muchas de las grandes multinacionales estadounidenses, es muy com¨²n que cada compa?¨ªa desarrolle lectores de CV para hacer un primer filtrado. Y estos cribados no son neutros. Un grupo de investigadores del MIT envi¨® en 2002, cuando estos sistemas todav¨ªa no estaban generalizados, 5.000 curr¨ªculums a ofertas de trabajo publicadas en peri¨®dicos. La mitad de los perfiles inventados ten¨ªan nombres t¨ªpicamente blancos, como Emily Wash, y la otra mitad nombres t¨ªpicamente negros, como Jamaal Jones.

Los resultados fueron significativos: los perfiles blancos recibieron un 50% m¨¢s de llamadas. Los sesgos por g¨¦nero tambi¨¦n son habituales en la selecci¨®n de personal. O¡¯Neil explica en su libro c¨®mo la introducci¨®n de biombos en las audiciones de m¨²sicos multiplic¨® por cinco la presencia femenina en las orquestas que apostaron por esta pr¨¢ctica.

En un art¨ªculo ya cl¨¢sico firmado por un grupo de profesores de la Universidad de Boston, los autores demostraron que los sistemas de machine learning tienen sesgos sexistas porque en la fuente de datos m¨¢s habitual, esto es, Internet, abundan asociaciones de conceptos que llevan a la m¨¢quina a establecer correlaciones como ama de casa-ella o genio-¨¦l. O dicho de otro modo: el algoritmo reproduce los sesgos que de hecho existen en los registros.

• Robots sociales

La ingeniera inform¨¢tica estadounidense de origen gan¨¦s Joy Buolamwini se dio cuenta un buen d¨ªa cuando estudiaba en el MIT de que un robot en el que trabajaba no era capaz de reconocer su rostro. Meses despu¨¦s le pas¨® lo mismo con un robot social que prob¨® durante una visita en Hong Kong. Cuando se pon¨ªa una m¨¢scara blanca, la cosa cambiaba.

?Casualidad? Resulta que ambos sistemas hab¨ªan usado el mismo software de reconocimiento facial basado en machine learning. ¡°Si tu rostro se desv¨ªa demasiado de los patrones que le has dado al sistema para que aprenda, no te detectar¨¢, como me pas¨® a m¨ª¡±, cuenta en una charla TED colgada en Youtube que acumula m¨¢s de un mill¨®n de visualizaciones. ¡°Los algoritmos, como los virus, pueden propagar sesgos a escala masiva y a un ritmo acelerado¡±, a?ade en la grabaci¨®n. Este tipo de errores son demasiado comunes.

Sin ir m¨¢s lejos, Google etiquet¨® hace unos a?os a tres j¨®venes negras como gorilas. La investigadora decidi¨® tomar cartas en el asunto: fund¨® la Algorithmic Justice League para denunciar los sesgos de los algoritmos, servir de altavoz para que la gente exponga casos de abuso y desarrollar c¨®digos de buenas pr¨¢cticas en el dise?o de estos sistemas. En Europa tambi¨¦n tenemos organizaciones que monitorizan los algoritmos.

Dos de las m¨¢s importantes han sido fundadas por Lorena Jaume-Palas¨ª. Fil¨®sofa de formaci¨®n, a la mallorquina hace tiempo que le interesa la dimensi¨®n ¨¦tica de la automatizaci¨®n y la digitalizaci¨®n. Es cofundadora de AlgorithmWatch, una organizaci¨®n afincada en Berl¨ªn (donde reside) que analiza la ¨¦tica de los procesos algor¨ªtmicos. Recientemente abandon¨® la ONG y ha fundado otra, The Ethical Tech Society, que se centra m¨¢s en la relevancia social de los sistemas autom¨¢ticos. ¡°La conversaci¨®n que tenemos desde hace a?os sobre los sistemas algor¨ªtmicos est¨¢ basada m¨¢s en el miedo que en riesgos reales. Hac¨ªa falta crear una ONG que lanzase posiciones normativas fundadas en hechos¡±, explica.

Buena parte de los errores se podr¨ªan detectar y solucionar f¨¢cilmente. Como los equipos que desarrollan los algoritmos no son interdisciplinares (no entienden de derecho, sociolog¨ªa o ¨¦tica), crean sistemas que, bajo su punto de vista, est¨¢n muy bien hechos. Aunque operen sobre campos en los que no est¨¢n formados y tan complejos como la educaci¨®n, la sanidad u otros servicios p¨²blicos. ¡°Las m¨¦tricas para evaluar estos sistemas est¨¢n desarrolladas por la misma gente que los ha creado, con lo que tienes un c¨ªrculo vicioso: est¨¢n midiendo lo que creen que tienen que medir¡±, se?ala. Jaume-Palas¨ª quiere desarrollar est¨¢ndares de buenas pr¨¢cticas, ayudar a que la tecnolog¨ªa cumpla su cometido y no estorbe. En The Ethical Tech Society trabaja en nuevos m¨¦todos para evaluar estos sistemas. ¡°He desarrollado un test de penetraci¨®n ¨¦tico. Los hackers usan tests de penetraci¨®n para entender cu¨¢l es la integridad o vulnerabilidad de un sistema; a m¨ª me sirven para ver si hay alg¨²n tipo de laguna o conflicto ¨¦tico¡±.

?Contribuir¨¢ a evitar que se desarrollen m¨¢s algoritmos como los denunciados por Eubanks? Quiz¨¢s. ?Estamos a salvo en Europa de ese tipo de algoritmos, presentes en EE UU y, en grado superlativo, en China? No. ¡°He encontrado un caso alarmante en Espa?a, un sistema que emplean instituciones estatales¡±, alerta Jaume-Palas¨ª. ¡°Estoy negociando con ellos para que lo paren. Si no me hacen caso, sabr¨¦is de ello¡±.