Algoritmos machistas

No es un problema reputacional exclusivamente de Apple. De hecho, Goldman Sachs es el banco emisor de la Apple Card, y por tanto funcionalmente encargado del scoring de cr¨¦dito, esto es, del algoritmo que ha resultado ser machista o, al menos, que ha sido dise?ado para tomar decisiones que resultan ser discriminatorias.

Esto ha ocurrido en EE.UU., ¨²nico mercado donde de momento se ha lanzado el nuevo producto de tarjeta de cr¨¦dito de Apple, y Goldman Sachs (qui¨¦n, por cierto, se estrena en este negocio de financiaci¨®n de consumo con este lanzamiento). Y lo hace presuntamente considerando peores sujetos de cr¨¦dito a las mujeres, por el hecho de serlo.

En Europa se encuentra en vigor la Directiva 2004/113/CE del Consejo de Igualdad de trato entre hombres y mujeres en el acceso a bienes y servicios, que proh¨ªbe toda discriminaci¨®n por raz¨®n de g¨¦nero fuera del mercado laboral. La Directiva se aplica exclusivamente a los seguros y pensiones de car¨¢cter privado, voluntario e independiente de la relaci¨®n laboral. Por la misma, las compa?¨ªas aseguradoras deben aplicar los mismos precios por los mismos productos de seguros a mujeres y hombres, sin distinci¨®n por raz¨®n de sexo. Esta obligaci¨®n se adopt¨® en la Ley 20/2015, de 14 de julio, de ordenaci¨®n, supervisi¨®n y solvencia de las entidades aseguradoras y reaseguradoras.

El cambio se produce despu¨¦s de que el Tribunal de Justicia de la Uni¨®n Europea dictaminara que la diferenciaci¨®n de las primas para los hombres y para las mujeres, exclusivamente por razones de g¨¦nero, es incompatible con el principio de fijaci¨®n de precios independiente del sexo incluido en la legislaci¨®n de la UE en materia de la igualdad de g¨¦nero y con la Carta de los Derechos Fundamentales de la UE. Y es que, hasta ese momento, por ejemplo, un conductor pagaba m¨¢s por el seguro de autom¨®vil simplemente por el hecho de ser hombre (s¨ª, el ejemplo ha sido elegido a prop¨®sito). Antes de esta medida, el g¨¦nero era un factor determinante de clasificaci¨®n de riesgos de, al menos, tres grandes categor¨ªas de productos: los seguros de autom¨®vil, los seguros de vida/seguros de renta y los seguros de enfermedad privados. El g¨¦nero formaba parte del algoritmo, y fue considerada discriminatoria su incorporaci¨®n en la decisi¨®n en el sector de los seguros.

Otros algoritmos que gobiernan nuestras decisiones

Visto lo visto, parece necesario revisar otros algoritmos que toman decisiones importantes de forma automatizada, al ser estos una caja negra en la que confiamos, dando por hecho que sus outcomes son imparciales, unisex.

Un algoritmo es una instrucci¨®n, una regla que opera con la l¨®gica ¡°si [dato], entonces [decisi¨®n]¡± (incluye por supuesto la legislaci¨®n), un protocolo, una funci¨®n matem¨¢tica¡­ que no est¨¢ exento de estar condicionado por los estereotipos de la persona que lo dise?e o programe. Los algoritmos no son imparciales si no lo son las reglas que lo definen, que a su vez son ideadas por personas, quienes se encuentran condicionadas por el contexto en el que viven, por su visi¨®n del mundo, por su experiencia personal, que en absoluto garantizan la imparcialidad necesaria para la toma de decisiones.

Y no puedo evitar aludir a los hallazgos que en Afi venimos descubriendo de la mano de ClosingGap, iniciativa para la que elaboramos informes de estimaci¨®n del coste de oportunidad de las m¨²ltiples brechas de g¨¦nero en Espa?a. En materia de salud, por ejemplo, ¡°el algoritmo¡± que diagnostica enfermedades cardiovasculares (ECV) comete persistentemente errores de tipo II (falsos negativos) con las mujeres. Y es que el algoritmo no est¨¢ exento del persistente sesgo androc¨¦ntrico en la investigaci¨®n y la pr¨¢ctica m¨¦dica. No en vano, las mujeres fallecen por enfermedades cardiovasculares en mayor proporci¨®n que los hombres (64.471 mujeres fallecieron por esta causa -32% del total de defunciones- y 55.307 hombres -26%- en Espa?a en 2016). Sin embargo, los hombres son diagnosticados con enfermedades del sistema cardiovascular (327.448 casos) en mayor medida que las mujeres (252.323 casos). Por tanto, ¡°el algoritmo¡± diagnostica en mayor medida los problemas de salud relacionados con las enfermedades cardiovasculares en hombres que en mujeres, a pesar de que ellas fallecen m¨¢s por estas patolog¨ªas.

Muchos otros algoritmos que establecen reglas del tipo: ¡°si [mujer], entonces [trabajo no remunerado]¡± pueblan nuestras relaciones sociales, laborales, familiares y econ¨®micas. Por lo general, las mujeres ejercen de cuidadoras de los dem¨¢s. Si miramos qu¨¦ ocurre en este sentido en los hogares espa?oles, las mujeres dedican 49,5 millones de horas m¨¢s al d¨ªa que los hombres al cuidado del hogar y familia, una dedicaci¨®n que no se encuentra remunerada a pesar de ser esencial para el funcionamiento del resto de actividades econ¨®micas. ?Por qu¨¦ es esto as¨ª? ?Cu¨¢l es el algoritmo que ha determinado esa regla?

Y volviendo al algoritmo sospechosamente machista de Apple Card, es posible que la regla ¡°si [mujer], entonces [trabajo no remunerado]¡± conlleve otras del tipo ¡°y entonces [menor capacidad de cr¨¦dito]¡±, como poco. No es justo, ni eficiente, ni sostenible estar condicionados por algoritmos machistas. El coste de oportunidad es enorme.