Si est¨¢ en la cocina, es una mujer: c¨®mo los algoritmos refuerzan los prejuicios

M¨¢s informaci¨®n

Siri: ¡°Lo siento, no entiendo la frase ¡®me han violado¡¯, busca en la web¡±

Las m¨¢quinas no nos jubilar¨¢n hasta el a?o 2140

Microsoft retira un robot que hizo comentarios racistas en Twitter

El inconsistente y peligroso ¡®radar gay¡¯

Las redes sociales pueden saber tu orientaci¨®n sexual aunque no las uses

Un hombre calvo, de unos sesenta a?os, mueve con sus esp¨¢tulas de madera unos trozos de carne dentro de una sart¨¦n. Lleva gafas de pasta, vaqueros y est¨¢ frente a los fogones de su peque?a cocina, decorada en tonos claros. Al ver esta imagen, la inteligencia artificial lo tiene claro y gracias a su sofisticado aprendizaje etiqueta lo que ve: cocina, esp¨¢tula, fogones, mujer. Si est¨¢ en una cocina, entre fogones, debe ser una mujer. Un equipo de la Universidad de Virginia acaba de publicar un estudio en el que se?ala una vez m¨¢s lo que muchos especialistas vienen denunciando: la inteligencia artificial no solo no evita el error humano derivado de sus prejuicios, sino que puede empeorar la discriminaci¨®n y est¨¢ reforzando muchos estereotipos.

En su trabajo, estos cient¨ªficos pusieron la lupa en las im¨¢genes de dos gigantescos bancos de im¨¢genes, de los que se usan habitualmente para entrenar a las m¨¢quinas. Y, sobre todo, en lo que aprend¨ªan de ellas. Inicialmente, los hombres protagonizaban un 33% de las fotos que conten¨ªan personas cocinando. Tras entrenar a la m¨¢quina con estos datos, el modelo mostr¨® su flaqueza: dedujo que el 84% de la muestra eran mujeres. "Se sabe que las tecnolog¨ªas basadas en big data a veces empeoran inadvertidamente la discriminaci¨®n debido a sesgos impl¨ªcitos en los datos", advierten los autores. "Mostramos que partiendo de un corpus sesgado de g¨¦nero", a?aden, los modelos predictivos "amplifican el sesgo".

Las m¨¢quinas se hacen m¨¢s sexistas, racistas o clasistas porque identifican la tendencia subyacente y apuestan por ella para atinar. Ya es bien conocido el caso de Tay, el robot inteligente que Microsoft dise?¨® para que se integrara en la conversaci¨®n de Twitter aprendiendo de los dem¨¢s usuarios: tuvo que retirarlo en menos de 24 horas porque empez¨® a hacer apolog¨ªa nazi, a acosar a otros tuiteros y a defender el muro de Trump. A estas alturas, los ejemplos de algoritmos que exacerban prejuicios o discriminaciones son innumerables y ponen en entredicho la gran promesa de estos sistemas: retirar de la ecuaci¨®n el error humano. Los algoritmos nos condenan a repetir el pasado del que quer¨ªamos escapar al replicar los prejuicios que nos defin¨ªan.

"Las tecnolog¨ªas basadas en big data a veces empeoran la discriminaci¨®n debido a sesgos impl¨ªcitos en los datos", advierten los autores

Google comenz¨® a etiquetar a personas negras como gorilas y Google Maps ubicaba la "casa del negro" en la Casa Blanca de la era Obama. Las fotos de los usuarios negros de Flickr se clasificaron como "chimpanc¨¦s". La inteligente Siri de Apple, que tiene respuesta para todo, no sabe qu¨¦ decir cuando la due?a del m¨®vil le dice que ha sido violada. El software de Nikon advierte al fot¨®grafo de que alguien ha parpadeado cuando el retratado tiene rasgos asi¨¢ticos. Las webcam de HP no son capaces de identificar y seguir los rostros m¨¢s morenos, pero s¨ª los de blancos. El primer certamen de belleza juzgado por un ordenador coloc¨® a una ¨²nica persona de piel oscura entre los 44 vencedores. En EE UU, Amazon deja fuera de sus mejores promociones a los barrios de mayor¨ªa afroamericana (m¨¢s pobres). Facebook permite a los anunciantes que excluyan de su target comercial a minor¨ªas ¨¦tnicas y, en cambio, que incluyan a personas que se identifican expl¨ªcitamente como antisemitas o a j¨®venes que sus algoritmos han identificado como vulnerables y depresivos.?

"Prometiendo eficiencia e imparcialidad, distorsionan la educaci¨®n superior, aumentan la deuda, estimulan el encarcelamiento masivo, golpean a los pobres en casi todas las coyunturas y socavan la democracia", denuncia Cathy O'Neil, especialista en datos y autora del revelador libro Armas de destrucci¨®n matem¨¢tica (Capit¨¢n Swing), en el que desmenuza todos los desastres algor¨ªtmicos a partir de su formaci¨®n como doctora en Matem¨¢ticas en Harvard y su experiencia laboral como data scientist en el mundo financiero. "Ir a la universidad, pedir prestado dinero, ser condenado a prisi¨®n o encontrar y mantener un trabajo. Todos estos campos de la vida est¨¢n cada vez m¨¢s controlados por modelos secretos que proporcionan castigos arbitrarios", alerta.

Google comenz¨® a etiquetar a personas negras como gorilas y Flickr las clasific¨® como chimpanc¨¦s

Como dice O'Neil, los prejuicios de los algoritmos pueden ser mucho m¨¢s peligrosos y trascendentales. Lo comprob¨® hace unos meses la redacci¨®n de ProPublica, al descubrir que un programa que se usa en la Justicia de EE UU para pronosticar la reincidencia de los presos era notablemente racista. Los acusados negros eran el doble de propensos a ser mal etiquetados como probables reincidentes (y tratados m¨¢s duramente por el sistema penal), mientras que los acusados blancos que s¨ª reincidieron fueron etiquetados como de bajo riesgo con el doble de probabilidad que los negros. Los ciudadanos, y por supuesto los convictos, ignoran que su futuro lo est¨¢ decidiendo un programa inform¨¢tico viciado que va a ser tan racista como el juez m¨¢s racista. Fr¨ªa, sosegada y concienzudamente racista.

Una investigaci¨®n de la Universidad Carnegie Mellon descubri¨® que las mujeres tienen menos posibilidades de recibir anuncios de trabajos bien pagados en Google. Los programas que se usan en los departamentos de contrataci¨®n de algunas empresas han mostrado inclinaci¨®n por nombres usados por blancos y rechazan los de negros. Las autoridades policiales de varias ciudades usan programas que les ayudan a pronosticar los lugares en los que es m¨¢s probable que haya delincuencia; de este modo, acuden m¨¢s a estas zonas, detienen de nuevo a m¨¢s gente all¨ª y refuerzan el ciclo negativo. Y los seguros son m¨¢s caros y severos para residentes en barrios pobres de mayor¨ªa negra. "El resultado es que criminalizamos la pobreza, creyendo que nuestras herramientas no son solo cient¨ªficas sino justas", resume esta especialista.

"Prometiendo eficiencia e imparcialidad, golpean a los pobres en casi todas las coyunturas y socavan la democracia", denuncia Cathy O'Neil

Como se?ala O'Neil en su libro, en algunos casos, los problemas del algoritmo se deben a un problema en la selecci¨®n de los datos. En otros, se debe al prejuicio subyacente en la sociedad, que el software simplemente hace suyo para acertar. Pero el mayor problema es el modelo econ¨®mico: "Cuando se est¨¢n construyendo sistemas estad¨ªsticos para encontrar clientes o manipular a deudores desesperados, los ingresos crecientes parecen mostrar que est¨¢n en el camino correcto. El software est¨¢ haciendo su trabajo. El problema es que los beneficios terminan sirviendo como un sustituto de la verdad". O'Neil denuncia que esto es una "confusi¨®n peligrosa" que surge "una y otra vez". Facebook deja que su algoritmo seleccione y venda anuncios a "gente que odia a los jud¨ªos" y "adolescentes vulnerables" porque se hace rico con ello; si les pagan, no pueden estar equivocados.

Un regulador frente a la opacidad

Son problemas descubiertos por periodistas, investigadores e instituciones. O cuando se hacen manifiestos y obligan a la empresa a corregirlos, pero ?qu¨¦ pasa con todos los procesos que ya est¨¢n mecanizados y desconocemos c¨®mo nos afectan? ?C¨®mo sabr¨¢ una mujer que se la priv¨® de ver un anuncio de trabajo? ?C¨®mo podr¨ªa una comunidad pobre saber que est¨¢ siendo acosada policialmente por un software? ?C¨®mo se defiende un delincuente de una minor¨ªa ¨¦tnica que ignora que un algoritmo le se?ala? Facebook y Google, por ejemplo, son perfectamente conscientes de este problema y hasta nos explican c¨®mo sucede, pero son absolutamente opacos y no permiten a nadie vigilar de un modo eficiente estos sesgos, critica O'Neil. Hay muchos m¨¢s programas de este tipo aplic¨¢ndose en el sistema judicial estadounidense, pero sus sesgos se desconocen, porque cada empresa mantiene sus algoritmos secretos, como la f¨®rmula de la Coca-Cola.

El software est¨¢ haciendo su trabajo. El problema es que los beneficios terminan sirviendo como un sustituto de la verdad", critica la especialista

Si el algoritmo se ha convertido en ley, debe ser transparente, accesible, discutible y enmendable, como la ley misma. Es lo que exigen cada vez m¨¢s especialistas y organismos, como la Liga para la Justicia Algor¨ªtmica o Inteligencia artificial ahora, que aseguran que el problema de las m¨¢quinas inteligentes son sus prejuicios sociales rampantes y no que vayan a provocar un apocalipsis al estilo Terminator. Y que, por tanto, hace falta crear reguladores p¨²blicos que revisen sus sistemas. Es una crisis que no va a hacer sino crecer: hace unos d¨ªas escandalizaba un pol¨¦mico algoritmo que pretend¨ªa identificar a los gais por su cara; en EE UU, por ejemplo, ya la mitad de la poblaci¨®n tiene su rostro registrado en bases de datos policiales de reconocimiento facial. Y los gigantes de la red ya conocen hasta nuestra orientaci¨®n sexual incluso sin ser usuarios de sus servicios. "No podemos contar con el libre mercado para corregir estos errores", zanja O'Neil.