¡°Los privilegiados son analizados por personas; las masas, por m¨¢quinas¡±

Cathy O'Neil (Cambridge, 1972), doctora en matem¨¢ticas por la Universidad de Harvard, cambi¨® el mundo acad¨¦mico por el an¨¢lisis de riesgo de inversi¨®n de la banca. Pensaba que esos fondos eran neutros desde el punto de vista ¨¦tico, pero su idea no tard¨® en derrumbarse. Se dio cuenta de "lo destructivas" que pueden ser las matem¨¢ticas, y dio un cambio radical: se sum¨® al grupo de banca alternativa del movimiento Occupy Wall Street ¡ªnacido en 2011 en Nueva York para protestar contra los abusos del poder financiero¡ª y comenz¨® su lucha para concienciar sobre?c¨®mo el big data "aumenta" la desigualdad y "amenaza" la democracia.

M¨¢s informaci¨®n

Los renegados de Silicon Valley que ahora quieren frenar a las tecnol¨®gicas

¡°Los ricos temen la rebeli¨®n de las m¨¢quinas, no tienen otra cosa de la que preocuparse¡±

La autora del libro?Armas de destrucci¨®n matem¨¢tica (Capit¨¢n Swing, 2017), que tambi¨¦n asesora a startups, defiende que los algoritmos generan injusticias porque se basan en modelos matem¨¢ticos dise?ados para replicar prejuicios, equivocaciones y sesgos humanos. "La crisis financiera dej¨® claro que las matem¨¢ticas no solo est¨¢n involucradas en muchos de los problemas del mundo, sino que los agravan", considera.

O'Neil, que particip¨® hace unas semanas en un foro sobre el impacto de los algoritmos en las democracias, organizado por Aspen Institute Espa?a y la Fundaci¨®n Telef¨®nica, contest¨® a las preguntas de EL PA?S.?

Pregunta.?Afirma en su libro que las matem¨¢ticas son m¨¢s importantes que nunca en los asuntos humanos.

Respuesta. No creo que sean las matem¨¢ticas, sino los algoritmos. Ese es parte del problema; estamos trasladando nuestra confianza en las matem¨¢ticas a unos modelos que no entendemos c¨®mo funcionan. Detr¨¢s, siempre hay una opini¨®n, alguien que decide qu¨¦ es importante. Si miramos las redes sociales, hay sesgos. Por ejemplo, se ordenan los contenidos en funci¨®n de qui¨¦n habla m¨¢s en Twitter o Facebook. Eso no son matem¨¢ticas, sino discriminaciones hechas por humanos. La persona que dise?a el algoritmo define qu¨¦ es el ¨¦xito.

P. Detr¨¢s de los algoritmos hay matem¨¢ticos. ?Son conscientes del sistema de sesgos que est¨¢n creando?

R. No son necesariamente matem¨¢ticos, sino expertos que puedan lidiar con f¨®rmulas l¨®gicas y tengan conocimientos de programaci¨®n, estad¨ªstica o matem¨¢ticas. Saben trasladar la forma de pensar de los humanos a los sistemas de procesamiento de datos. Muchos de ellos, ganan mucho dinero con ello y aunque desde el punto de vista t¨¦cnico son capaces de detectar esos fallos, prefieren no pensar en ello. En empresas como Google, hay quienes se dan cuenta, pero si? manifiestan su compromiso con la justicia, los abogados de la compa?¨ªa les recordar¨¢n que se deben a los accionistas. Hay que maximizar los ingresos. No hay suficientes incentivos para transformar el sistema, para hacerlo m¨¢s justo. El objetivo ¨¦tico no suele ir acompa?ado de dinero.

No necesitas formaci¨®n matem¨¢tica para entender que una decisi¨®n tomada por un algoritmo es injusta

P. Denuncia que los algoritmos nos son transparentes, que no rinden cuentas de su funcionamiento. ?Cree que los Gobiernos deben regular?

R.?Son opacos incluso para los que los dise?an que, en muchas ocasiones, no est¨¢n lo suficientemente pagados como para entender c¨®mo funcionan. Tampoco comprueban si cumplen con la legalidad. Los Gobiernos deben legislar y definir, por ejemplo, qu¨¦ convierte a un algoritmo en racista o sexista.?

P. En su libro menciona un caso de una profesora en Estados Unidos a la que echaron por decisi¨®n de un algoritmo. ?Cree que se puede medir la calidad humana con un sistema inform¨¢tico?

R. El distrito escolar de Washington empez¨® a usar el sistema de puntuaci¨®n Mathematica para identificar a los profesores menos productivos. Se despidi¨® a 205 docentes despu¨¦s de que ese modelo les considerara malos profesores. Ahora mismo no podemos saber si un trabajador es eficiente con datos. El dilema si es o no un buen profesor no se puede resolver con tecnolog¨ªa, es un problema humano. Muchos de esos profesores no pudieron reclamar porque el secretismo sobre c¨®mo funciona el algoritmo les quita ese derecho.? Al esconder los detalles del funcionamiento, resulta m¨¢s dif¨ªcil cuestionar la puntuaci¨®n o protestar.?

P.??Cu¨¢l es la clave para poder hacerlo en el futuro?

R. Es un experimento complicado. Primero tiene que haber un consenso entre la comunidad educativa sobre qu¨¦ elementos definen a un buen profesor. Si se quiere valorar si genera la suficiente curiosidad en el alumno como para que aprenda, ?cu¨¢l es la mejor f¨®rmula para medirlo? Si nos metemos en un aula y observamos, podremos determinar si el docente est¨¢ incluyendo a todos los estudiantes en la conversaci¨®n, o si consigue que trabajen en grupo y lleguen a conclusiones o solo hablan entre ellos en clase. Ser¨ªa muy dif¨ªcil programar un ordenador para que lo haga. Los expertos en datos tienen la arrogancia de creer que pueden resolver esas cuestiones. Ignoran que primero hace falta un consenso en el campo educativo. Un est¨²pido algoritmo no va a resolver una cuesti¨®n sobre la que nadie se pone de acuerdo.?

Ser¨ªa muy dif¨ªcil programar un ordenador para que lo determine si un profesor hace bien su trabajo

P. ?Las Administraciones usan cada vez m¨¢s los algoritmos por la falta de perfiles suficientemente formados?

R. Por un lado, ahorran costes en personal. Pero lo m¨¢s importante: evitan la rendici¨®n de cuentas. Cuando usas un algoritmo, el fracaso no es tu culpa. Es la m¨¢quina. Estuve trabajando para el Ayuntamiento de Nueva York mientras investigaba para escribir mi libro. Estaban desarrollando un sistema de ayudas para los sin techo, pero me di cuenta de que no quer¨ªan mejorar sus vidas, sino no fracasar en sus pol¨ªticas. Pas¨® lo que quer¨ªan evitar: el New York Times public¨® un art¨ªculo sobre la muerte de un ni?o como consecuencia de un fallo en esa red de ayuda. La culpa era del algoritmo, que no hab¨ªa calculado bien. Creo que no deber¨ªamos dejar a las Administraciones usar algoritmos para eludir la responsabilidad.

P. El uso de algoritmos para la contrataci¨®n se est¨¢ extendiendo. ?Cu¨¢les son los perjuicios?

R.?La automatizaci¨®n de los procesos de selecci¨®n est¨¢ creciendo entre el 10% y el 15% al a?o. En Estados Unidos, ya se utilizan con el 60% de los trabajadores potenciales. El 72% de los curr¨ªculums no son analizados por personas. Los algoritmos suelen castigar a los pobres, mientras los ricos reciben un trato m¨¢s personal. Por ejemplo, un bufete de abogados de renombre o un exclusivo instituto privado se basar¨¢n m¨¢s en recomendaciones y entrevistas personales durante los procesos de selecci¨®n que una cadena de comida r¨¢pida. Los privilegiados son analizados por personas, mientras que las masas, por m¨¢quinas.

Si quieres trabajar en un call center o de cajero, tienes que pasar un test de personalidad. Para un puesto en Goldman Sachs tienes una entrevista. Tu humanidad se tiene en cuenta para un buen trabajo. Para un empleo de sueldo bajo, eres simplemente analizado y categorizado. Una m¨¢quina te pone etiquetas.?

P. ?Cree que falta m¨¢s formaci¨®n en matem¨¢ticas para ser conscientes de esa manipulaci¨®n?

R.?Eso es rid¨ªculo. La gente tiene que entender que es un problema de control pol¨ªtico. Hay que ignorar la parte matem¨¢tica y exigir derechos. No necesitas formaci¨®n matem¨¢tica para comprender qu¨¦ es injusto. Un algoritmo es el resultado de un proceso de toma de decisiones. Si te despiden porque as¨ª lo ha determinado un algoritmo, tienes que exigir una explicaci¨®n. Eso es lo que tiene que cambiar.?

P. ?En qu¨¦ otros aspectos est¨¢n perjudicando los algoritmos los derechos laborales?

R. Hay un fen¨®meno que se conoce como clopenning (en espa?ol, cerrar y abrir al mismo tiempo). Son horarios irregulares que, cada vez, afectan a m¨¢s empleados con salarios bajos. Esos calendarios son el resultado de la econom¨ªa de los datos, son algoritmos dise?ados para generar eficiencia, que tratan a los trabajadores como meros engranajes. Seg¨²n datos del Gobierno de Estados Unidos, a dos tercios de los trabajadores del sector servicios y a m¨¢s del 50% de los dependientes se les informa de su horario laboral con una semana o menos de antelaci¨®n.

Esta es una de las situaciones extremas que provoca el uso de algoritmos en el ¨¢mbito laboral. Hay una ley que estipula que si trabajas al menos 35 horas a la semana, se te deben dar beneficios. Pues hay un algoritmo que se asegura de que ning¨²n empleado haga m¨¢s de 34 horas. Como no hay ninguna ley que determine que debes trabajar el mismo horario todos los d¨ªas, el algoritmo no se preocupa de tu vida, y te asigna las horas de trabajo en funci¨®n de las necesidades de la empresa. Si se prev¨¦ un d¨ªa de lluvia, aumentan las ventas, y cambian los turnos. Hasta el ¨²ltimo minuto no deciden. Esas personas no conocen su horario con antelaci¨®n, no pueden organizar su tiempo libre,?estudiar o cuidar de sus hijos. Su calidad de vida se deteriora, y los ordenadores son ciegos a eso. La regulaci¨®n gubernamental es la ¨²nica soluci¨®n.