El algoritmo de Twitter eleg¨ªa caras femeninas, blancas y delgadas. Un concurso de programadores lo demostr¨®

En septiembre de 2020, un estudiante de la Universidad de Victoria (Canad¨¢) descubri¨® sin querer que Twitter destacaba m¨¢s los rostros blancos al recortar las im¨¢genes. Su hilo de tuits provoc¨® una gran pol¨¦mica y decenas de pruebas de otros tuiteros en el mismo sentido. Finalmente Twitter decidi¨® ver qu¨¦ pasaba. El proceso ha culminado este mes de agosto con una competici¨®n ¨Dla primera de este tipo¨D entre inform¨¢ticos a quienes se permiti¨® analizar el algoritmo. Y se les ofreci¨® una recompensa por sus hallazgos. El concurso confirm¨® que alg¨²n sesgo exist¨ªa. El vencedor, el doctorando de la Un...

En septiembre de 2020, un estudiante de la Universidad de Victoria (Canad¨¢) descubri¨® sin querer que Twitter destacaba m¨¢s los rostros blancos al recortar las im¨¢genes. Su hilo de tuits provoc¨® una gran pol¨¦mica y decenas de pruebas de otros tuiteros en el mismo sentido. Finalmente Twitter decidi¨® ver qu¨¦ pasaba. El proceso ha culminado este mes de agosto con una competici¨®n ¨Dla primera de este tipo¨D entre inform¨¢ticos a quienes se permiti¨® analizar el algoritmo. Y se les ofreci¨® una recompensa por sus hallazgos. El concurso confirm¨® que alg¨²n sesgo exist¨ªa. El vencedor, el doctorando de la Universidad Polit¨¦cnica de Lausane (Suiza) Bogdan Kulynych (Ucrania, 1993) ha descubierto que ciertamente el algoritmo prefiere rostros claros, j¨®venes, delgados y con rasgos femeninos.

El sesgo de los algoritmos no es nada nuevo. Un algoritmo de este tipo es un programa que ordena resultados a partir de datos que se le proporcionan. En el caso de Twitter escog¨ªa el fragmento (los p¨ªxeles) de una imagen que cre¨ªa que iba a ser m¨¢s interesante para destacarlo y que los usuarios de Twitter lo vieran en sus pantallas.

Este algoritmo proviene de un modelo elaborado a partir de seguir la mirada humana cuando aparece una imagen en una pantalla. Y supuestamente los humanos prefieren caras de piel clara, femeninas, delgadas, j¨®venes, y con un tono c¨¢lido y bien contrastado. En un estudio previo al concurso que hizo la propia red social, y en el que ya se ve¨ªa cierto sesgo, tambi¨¦n analizaron lo que llaman la ¡°mirada masculina¡±: a veces el algoritmo se centraba en zonas del cuerpo femenino que no eran la cara, lo que, seg¨²n el art¨ªculo cient¨ªfico, se originaba en ¡°la representaci¨®n constante de las mujeres como objetos sexuales para el placer desde la perspectiva de los hombres heterosexuales¡±.

¡°En mi investigaci¨®n gener¨¦ varias caras artificiales y las modifiqu¨¦ no arbitrariamente, sino de una manera muy espec¨ªfica para ver en cu¨¢les el algoritmo incrementaba la prominencia¡±, explica Kulynych a EL PA?S en una conversaci¨®n por videoconferencia. Es decir, que cuando hac¨ªa un recorte autom¨¢tico, tend¨ªa a conservar o a destacar m¨¢s dichos rostros. ¡°Seleccion¨¦ solo un peque?o grupo de 16 caras por problemas de tiempo y porque el proceso computacional es largo. Eran caras diversas y al final vi patrones. El algoritmo daba m¨¢s prominencia a caras m¨¢s j¨®venes, delgadas, con m¨¢s calidez y rasgos femeninos¡±, contin¨²a.

Aunque la muestra de Kulynych es peque?a porque la competici¨®n dejaba solo una semana para participar, cree que es probable que el problema fuera ¡°fundamental¡± y ocurriera igual si se repitiera con una muestra de caras mayor. ¡°Aunque sospecho que con ese an¨¢lisis m¨¢s extenso la diferencia ser¨ªa menos pronunciada o que los patrones ser¨ªan menos claros¡±, aclara.

El concurso fue una especie de an¨¢lisis post mortem del algoritmo. Twitter lo hab¨ªa eliminado en mayo y lo hab¨ªa sustituido por una opci¨®n manual: ahora cada usuario puede recortar la parte que quiere que se vea de la imagen que cuelga. ¡°Es una buena opci¨®n¡±, cree Kulynych. La supresi¨®n del algoritmo solo elimina un peque?o problema. En el fondo, este algoritmo no era crucial: solo decid¨ªa qu¨¦ partes de una foto grande mostrar. En investigaciones anteriores, algunas hechas con su tutora de tesis, la ingeniera espa?ola Carmela Troncoso, Kulynych ha analizado el impacto de otros algoritmos m¨¢s importantes para las grandes tecnol¨®gicas: aquellos algoritmos esenciales que deciden qu¨¦ vemos en Twitter, YouTube, Amazon o Airbnb. ?Qu¨¦ comportamientos pueden estar promoviendo en favor de los beneficios de estas empresas?

Ese tipo de algoritmos no se ponen de momento a disposici¨®n de investigadores externos para ver si hay sesgos o errores, dice Kulynych. Son una parte central de las tecnol¨®gicas: ¡°Aparte de los errores, est¨¢n los problemas en los algoritmos que emergen debido a la estructura de incentivos y optimizaci¨®n de beneficios dentro de las compa?¨ªas¡±, dice Kulynych. ¡°Con estos no organizan competiciones porque no son errores como tales. Solo pueden resolverse desde fuera y para ello ser¨ªa necesaria la regulaci¨®n para retos como la mitigaci¨®n de la desinformaci¨®n en redes sociales, o aumento de la gentrificaci¨®n en plataformas como Airbnb. La capacidad de autorregulaci¨®n de estas empresas es limitada¡±, a?ade.

La competici¨®n de Twitter para analizar su algoritmo ca¨ªdo en desgracia es loable, admite Kulynych, pero est¨¢ por ver si es un primer paso o simplemente un caso aislado. Rumman Chowdhury, nueva directora (se incorpor¨® en febrero) de ?tica de Machine Learning de Twitter, dijo que no es sencillo abrir el algoritmo de recomendaci¨®n de Twitter para que sea analizado desde fuera, pero ¡°ser¨ªa fascinante hacer una competici¨®n sobre sesgos de sistemas¡±.

En su discurso sobre esta competici¨®n, Chowdhury admiti¨® la obviedad de que los sesgos de los algoritmos se basan en automatizar lo que los humanos hacemos de forma natural: ¡°Hemos creado estos filtros porque creemos que eso es lo que es ¡®bonito¡¯, y eso termina entrenando nuestros modelos y llev¨¢ndonos a estas nociones irreales de lo que significa ser atractivo¡±.

En una conversaci¨®n previa en Twitter, empleados de la compa?¨ªa ofrecieron una analog¨ªa para este concurso: se parece a las primeras recompensas que se dieron a quienes encontraban errores de seguridad en los programas inform¨¢ticos hace a?os. Ahora un agujero de seguridad puede costar cientos de miles de euros o incluso millones si se vende a seg¨²n qui¨¦n: es un modo de acceder a sistemas sin ser detectado. Kulynych se ha llevado solo 3.500 d¨®lares por su trabajo, que es una cantidad irrisoria para los niveles de Silicon Valley.

Pero quiz¨¢ no quede ah¨ª. ¡°Al principio, los errores de seguridad se reportaban y nadie recib¨ªa nada a cambio, quiz¨¢ ni se arreglaba el problema. As¨ª nacieron las recompensas, para crear un incentivo para comunicarlos a los creadores del software y que los arreglaran¡±, dice Kulynych. La diferencia es que los problemas de seguridad pueden descubrirse desde fuera y el an¨¢lisis del algoritmo requiere de la complicidad de la compa?¨ªa, que debe abrirlo a an¨¢lisis externo.

La detecci¨®n del sesgo de Kulynych no fue la ¨²nica. El segundo premio fue para un trabajo que tambi¨¦n comprobaba que el algoritmo prestaba menos atenci¨®n a rostros ancianos y el tercero se lo llev¨® otro investigador que descubri¨®, al comparar memes con texto, que el algoritmo prefer¨ªa el lenguaje en graf¨ªas latinas respecto al ¨¢rabe. Twitter dio tambi¨¦n un premio a un investigador italiano que encontr¨® que los emojis de piel clara tambi¨¦n reciben mejor puntuaci¨®n del algoritmo.

Puedes seguir a EL PA?S TECNOLOG?A en Facebook y Twitter o apuntarte aqu¨ª para recibir nuestra newsletter semanal.