El algoritmo que discrimina a los pacientes negros sin conocer su raza

Hubo un tiempo en el que se pens¨® que los algoritmos ayudar¨ªan a tomar decisiones sin los prejuicios que a veces nublan la mente de los humanos. El rigor de las matem¨¢ticas y la frialdad de los datos resolver¨ªan de forma autom¨¢tica muchos de nuestros problemas. Pero innumerables ejemplos, en campos tan sensibles como el trabajo, el crimen o la inmigraci¨®n, han demostrado que ni siquiera los programas m¨¢s sofisticados evitan estos problemas. Los algoritmos tienen sesgos, es inevitable, porque las m¨¢quinas se nutren con informaci¨®n humana. Ahora, un equipo de investigadores ha demostrado que un algoritmo usado para analizar los riesgos para la salud de millones de pacientes en EE UU discrimina sistem¨¢ticamente a la poblaci¨®n negra. Y lo hace sin saber siquiera su raza. Lo peor, advierten los especialistas, es que el mismo mecanismo sesgado se est¨¢ usando ahora mismo con millones de personas en todo el mundo y en muchos otros ¨¢mbitos.

"El algoritmo predice cu¨¢nto dinero costar¨¢ un paciente. Y aqu¨ª es donde entra en juego el sesgo. Esta variable es sistem¨¢ticamente diferente para los pacientes blancos y negros", explica Obermeyer

Para asignar recursos sanitarios de forma eficiente, el algoritmo distribuye los pacientes seg¨²n el riesgo m¨¦dico asociado a sus caracter¨ªsticas. As¨ª, los que tengan peor condici¨®n de salud tendr¨¢n acceso a un programa espec¨ªfico de atenci¨®n sanitaria. Sin embargo, tras estudiar concienzudamente los ingredientes que se usan para cocinar esa distribuci¨®n de los pacientes, los investigadores han descubierto que los negros est¨¢n mucho peor que los blancos incluidos juntos en la misma categor¨ªa. Es decir, que habr¨ªa miles de negros que quedar¨ªan fuera del programa estando mucho m¨¢s enfermos que los blancos. ¡°Podemos cuantificar estas diferencias¡±, escriben los investigadores en su estudio en la revista Science, ¡°en el grupo de muy alto riesgo los negros tienen 26,3% m¨¢s enfermedades cr¨®nicas que los blancos¡±. Seg¨²n datos de la industria, este modelo se aplica a unos 200 millones de personas cada a?o en EE UU.

Por primera vez en un algoritmo de esta trascendencia y dimensi¨®n, la empresa que lo comercializa permiti¨® a los investigadores tener acceso a todos los ingredientes con el que confecciona su resultado. En todos los factores importantes del estado de salud, como gravedad de la diabetes, presi¨®n arterial alta, insuficiencia renal, colesterol y anemia, descubrieron que los negros tienen ¡°sustancialmente peor salud que los blancos en cualquier nivel de predicciones del algoritmo¡±.

Lo m¨¢s llamativo es que el algoritmo no conoc¨ªa la raza de los pacientes, no era un dato que se le proporcionara para tomar sus decisiones. ?Y c¨®mo discrimina con esa precisi¨®n a los negros? Porque la predicci¨®n del algoritmo, descubrieron los cient¨ªficos, no eran las necesidades m¨¦dicas de los pacientes sino los costes sanitarios. Y los negros son m¨¢s baratos para el sistema sanitario: a un mismo nivel de salud, los negros son de media 1.800 d¨®lares m¨¢s baratos que los blancos.

¡°La variable m¨¢s importante para un algoritmo no es ninguno de los inputs, ni siquiera la raza. Es el output: la variable que el algoritmo intenta predecir¡±, explica el principal autor del estudio, Ziad Obermeyer, de la Universidad de Berkeley (EE UU). ¡°En este caso, el algoritmo predice cu¨¢nto dinero costar¨¢ un paciente. Y aqu¨ª es donde entra en juego el sesgo. Esta variable, el coste, es sistem¨¢ticamente diferente para los pacientes blancos y negros: al mismo nivel de salud, los pacientes negros generan menos gastos que los pacientes blancos, debido a las diferencias en el acceso a la atenci¨®n y las diferencias en la forma son tratados por el sistema de salud¡±, desarrolla Obermeyer. ¡°El problema surge porque la variable en s¨ª, la que se supone que predice el algoritmo, contiene el sesgo¡±, resume el investigador.

"En muchos casos las empresas no hacen ning¨²n esfuerzo en comprender las din¨¢micas sociales que pueden ser negativas, ni piensan que lo necesitan", denuncia Galdon

Despu¨¦s de realizar su an¨¢lisis, los investigadores contactaron al fabricante. ¡°Estaban bastante sorprendidos y preocupados por nuestros hallazgos, y deseaban corregir el problema. As¨ª que trabajamos con ellos para probar algunas soluciones diferentes, todas relacionadas con el cambio de la variable que el algoritmo intentaba predecir¡±, cuenta Obermeyer en un correo electr¨®nico. El fabricante replic¨® de forma independiente el an¨¢lisis con m¨¢s de tres millones y medio de pacientes y confirmaron los resultados. M¨¢s adelante, los cient¨ªficos propusieron cambios sobre la forma de alimentar el algoritmo y para que en lugar de predecir solo el gasto en los pacientes se centrara tambi¨¦n en predecir la salud de los sujetos. Con este enfoque se redujo un 84% el sesgo que perjudicaba a los negros. Los algoritmos, concluyen, tienen arreglo si se planean teniendo en cuenta estos factores.

"Cada vez se est¨¢ prestando m¨¢s atenci¨®n a estos problemas y ser¨¢ m¨¢s habitual, porque muchas de las empresas proveedoras de algoritmos no tienen ni siquiera los recursos para identificarlos", asegura Gemma Galdon, directora de Eticas y especialista en el impacto social de la tecnolog¨ªa. Galdon trabaja habitualmente tratando de corregir estos sesgos con administraciones p¨²blicas en algoritmos de asignaci¨®n de recursos, por ejemplo a familias en el ¨¢mbito de los servicios sociales, algoritmos de aplicaciones de salud, o del ¨¢mbito laboral. "Es nuestro pan de cada d¨ªa en las auditor¨ªas algor¨ªtmicas: el problema es la definici¨®n del problema, hace falta tener una muy buena comprensi¨®n del asunto", afirma. "En muchos casos los proveedores no hacen ning¨²n esfuerzo en comprender las din¨¢micas sociales que pueden ser negativas, ni piensan que lo necesitan", denuncia Galdon. Y a?ade: "Nos encontramos errores muy b¨¢sicos. En muchos casos las empresas no se preocupan de comprender realmente el problema y usar el conocimiento social que tenemos para resolverlo".

Tambi¨¦n en Science, Ruha Benjamin, especialista en innovaci¨®n e igualdad de la Universidad de Princeton, asegura que "este estudio contribuye en gran medida a un enfoque m¨¢s socialmente consciente para el desarrollo tecnol¨®gico", demostrando c¨®mo una elecci¨®n aparentemente benigna (gasto en salud) "inicia un proceso con resultados potencialmente mortales". A su entender, esta desigualdad tecnol¨®gica "se perpet¨²a precisamente porque quienes dise?an y adoptan tales herramientas no est¨¢n pensando cuidadosamente sobre el racismo sist¨¦mico". "Pero las decisiones humanas conforman los datos y el dise?o de algoritmos, ahora mismo ocultos por la promesa de neutralidad y con el poder de discriminar injustamente a una escala mucho mayor que unos individuos sesgados", denuncia Benjamin.

Puede escribirnos a javier@esmateria.com o seguir a Materia en Facebook, Twitter, Instagram o suscribirse aqu¨ª a nuestra newsletter.