Algoritmos machistas: los datos (escondidos) que no quieren a las mujeres

Gracias a Caroline Criado Perez, periodista y activista feminista brit¨¢nica, desde 2017 el billete de diez libras esterlinas muestra el rostro de la escritora Jane Austen. Cuando el Banco de Inglaterra decidi¨® retirar de los billetes de cinco libras la imagen de Elizabeth Fry ¡ªimpulsora de una reforma de prisiones que garantizaba un trato m¨¢s humano hacia los reclusos¡ª y sustituirla por la efigie de Winston Churchill, Criado Perez se dio cuenta de que el ¨²nico rostro femenino que permanecer¨ªa en la moneda brit¨¢nica ser¨ªa el de la reina Isabel II. As¨ª que cre¨® una petici¨®n a trav¨¦s de Change.org para evitar tama?o sesgo, iniciativa que se gan¨® la simpat¨ªa de los medios de comunicaci¨®n. En redes sociales, la viralidad de una carta que recibi¨® del banco desestimando su propuesta, argumentando que se hab¨ªa tenido en cuenta a algunas mujeres durante el proceso de selecci¨®n y dando a entender que sus m¨¦ritos no hab¨ªan sido suficientes, contribuy¨® tambi¨¦n a que Caroline consiguiera su objetivo.

La periodista sigui¨® indagando acerca de los sesgos de g¨¦nero que abundan en nuestro d¨ªa a d¨ªa y los reuni¨® en un libro de reciente publicaci¨®n en el Reino Unido. Invisible Women: Data Bias in a World Designed for Men?(Mujeres Invisibles: Informaci¨®n sesgada en un mundo dise?ado para hombres) es un compendio de realidades sociales apoyadas en datos estad¨ªsticos que, unidos a la consabida discriminaci¨®n salarial, al trabajo no remunerado o a una violencia de g¨¦nero manifiestamente escorada hacia las mujeres, componen una imagen m¨¢s exhaustiva de la desigualdad, agazapada muchas veces en los lugares m¨¢s insospechados.

En Suecia, explica la autora, descubrieron que el protocolo de limpieza de las v¨ªas de tr¨¢nsito en invierno produc¨ªa m¨¢s ca¨ªdas y lesiones entre mujeres que entre hombres porque se daba m¨¢s prioridad a las carreteras que a las aceras y a los carriles para bicicletas, mucho m¨¢s utilizados por mujeres. Tambi¨¦n se revel¨® que era ineficiente desde el punto de vista econ¨®mico porque el gasto hospitalario en que se incurr¨ªa pod¨ªa llegar a triplicar el gasto de mantenimiento de las calles. Cuando, gracias a los datos, los equipos de limpieza decidieron dar prioridad tambi¨¦n a las aceras y a los carriles de bicicleta, los accidentes entre mujeres disminuyeron en un 50% , y con ellos los gastos de la partida de sanidad. Caroline incide en el hecho de que este fallo en el dise?o no fue deliberado, sino que ¡°es resultado de la ausencia de datos relativos a las mujeres [¡­] Los que dise?aron el procedimiento en un primer momento sab¨ªan c¨®mo se trasladaban los hombres y lo dise?aron teniendo en cuenta sus necesidades. No se propusieron excluir a las mujeres deliberadamente. El problema es que no pensaron en ellas¡±.

Bajo esta misma l¨®gica, la autora desmenuza una retah¨ªla de situaciones en las que las mujeres no salen muy bien paradas. Como que en Reino Unido tienen un 50% m¨¢s de probabilidades de ser diagnosticadas err¨®neamente en caso de ataque card¨ªaco porque los ensayos cl¨ªnicos se realizan generalmente con hombres; que los maniqu¨ªes que la industria automovil¨ªstica utiliza para realizar pruebas de impacto est¨¢n dise?ados tomando al hombre como referencia pese a que, si bien los hombres chocan m¨¢s, las mujeres presentan un 50% m¨¢s de probabilidades de sufrir lesiones graves en caso de colisi¨®n; o que la temperatura de la mayor¨ªa de las oficinas resulta demasiado fr¨ªa para las mujeres porque se determin¨® en los a?os sesenta teniendo en cuenta la Tasa Metab¨®lica de Reposo de un hombre de 40 a?os y de 70 kg. de peso. Puede entenderse que en la ¨¦poca hubiera m¨¢s hombres que mujeres en las oficinas, pero no que desde entonces no se haya hecho nada para remediarlo.

?Nos espera un futuro lleno de sesgos?

Es bastante probable que s¨ª, mientras no se evite la desviaci¨®n ya existente en muchos datos como los evidenciados por Criado Perez, y m¨¢s teniendo en cuenta que las promesas de imparcialidad de la tecnolog¨ªa no son ciertas y que los algoritmos pueden exacerbar a¨²n m¨¢s los sesgos. En este sentido, cabr¨ªa hacer un poco de pedagog¨ªa. Por lo general, se piensa que un algoritmo es objetivo, un constructo matem¨¢tico a prueba de opiniones interesadas. Cuando el periodista Ray J. Saavedra public¨® un tuit en el que se mofaba de Alexandra Ocasio-Cortez por haber asegurado en una entrevista que algunos algoritmos son racistas, aduciendo que no era posible por estar basados en puras matem¨¢ticas, la propia MIT Technology Review tuvo que salir al rescate de la congresista. ¡°Los algoritmos son opiniones que se convierten en c¨®digo¡±, asegura?Cathy O¡¯Neil, doctora en Matem¨¢ticas en Harvard, experta en ciencia de datos y autora del libro Armas de destrucci¨®n matem¨¢tica (Capit¨¢n Swing), en esta charla TED. ¡°La gente suele pensar que son objetivos, verdaderos y cient¨ªficos,?pero es un truco de marketing. Todos tenemos prejuicios, y por eso se puede codificar el sexismo?o cualquier otro tipo de fanatismo¡±, contin¨²a.

Aunque no deliberadamente, como apuntaba Criado Perez. El pasado a?o, Amazon tuvo que retirar un algoritmo de aprendizaje autom¨¢tico dise?ado para optimizar la contrataci¨®n de nuevos empleados en los departamentos m¨¢s t¨¦cnicos de la empresa. Para entrenarlo, se usaron los datos de los perfiles de solicitantes que hab¨ªan obtenido un puesto en la empresa durante la d¨¦cada anterior. Como la mayor¨ªa eran hombres, el algoritmo aprendi¨® que las palabras y conceptos m¨¢s presentes en estos perfiles deb¨ªan guiar su objetivo, discriminando as¨ª a las mujeres (rechaz¨®, por ejemplo, solicitudes en las que aparec¨ªa la palabra ¡°mujeres¡± o en las que hab¨ªa instituciones educativas femeninas). ¡°El sesgo puede encontrarse en el dise?o interno del algoritmo, en el interfaz de comunicaci¨®n de ese algoritmo con los seres humanos o en los datos utilizados durante su ejecuci¨®n¡±, afirma Francisco J. Ser¨®n, Catedr¨¢tico de Inform¨¢tica e Ingenier¨ªa T¨¦cnica de la Universidad de Zaragoza.

¡°El punto donde se puede detectar con mayor claridad un posible sesgo es en la evaluaci¨®n. El equipo de desarrollo deber¨ªa plantearse una bater¨ªa diversa de tests que tuviese en cuenta a todos los grupos de inter¨¦s que ¡®convivir¨¢n¡¯ con el algoritmo (hombres, mujeres, ni?os, mayores, razas, zurdos, diestros, ideolog¨ªas etc.). Como esto a priori puede resultar complejo, puesto que cada uno vivimos una realidad limitada por nuestras vivencias y experiencias propias, en estos ¨²ltimos a?os se han empezado a implantar figuras dentro de los proyectos tecnol¨®gicos que se encarguen de evaluar ese componente de diversidad¡±, cuenta Nerea Luis Mingueza, doctoranda en Inteligencia Artificial y fundadora de T3chFest, una feria de inform¨¢tica y nuevas tecnolog¨ªas celebrada en la Universidad Carlos III de Madrid.

?Qu¨¦ queda por hacer? ¡°Debemos trabajar de forma continua en la mejora del modelo, analizando sus ¨¦xitos y sus errores y siendo conscientes de que los humanos tenemos sesgos y estereotipos fuertemente arraigados. Hay que preguntarse si la segmentaci¨®n, predicci¨®n o clasificaci¨®n de datos, a pesar de aparentar ser correcta, es neutra y cumple con un m¨ªnimo de valores ¨¦ticos¡±, explica Nerea Luis.

El ¨²ltimo Informe sobre brecha de g¨¦nero del Foro Econ¨®mico Mundial afirma que solo un 22% de los profesionales de Inteligencia Artificial (AI) en todo el mundo son mujeres. ¡°En las Universidades apenas llega a un 15%-20% el porcentaje de estudiantes mujeres en carreras como ingenier¨ªa inform¨¢tica. Seg¨²n te vas especializando, ese porcentaje va reduci¨¦ndose, especialmente en los campos m¨¢s t¨¦cnicos. Estos fen¨®menos suelen conocerse como el pipeline problem o ?la tijera?. Desgraciadamente, las mujeres no se encuentran en muchos ¨®rganos de direcci¨®n, que al final, en empresas o instituciones tecnol¨®gicas, son las que dan forma al futuro.?Hay que asimilar que el problema existe y abordarlo desde la perspectiva de g¨¦nero, la inclusi¨®n y la diversidad, pues est¨¢ demostrado que los equipos diversos funcionan mejor y generan mayor riqueza¡±, concluye Nerea.

En la actualidad se est¨¢n desarrollando ¨¢reas como la explainable AI o XAI, que intentan que los algoritmos dejen de ser una caja negra y expliquen su razonamiento para que los usuarios puedan entenderlo y para localizar presuntos sesgos. Tambi¨¦n hay cada vez m¨¢s personas y organizaciones que trabajan para visibilizar las desviaciones y para luchar por una IA m¨¢s representativa, como Timnit Gebru, co-directora del Equipo de Inteligencia Artificial ?tica de Google, o el AI Now Institute de la Universidad de Nueva York, un instituto de investigaci¨®n que estudia las implicaciones sociales de la inteligencia artificial.