La inteligencia artificial tiene prejuicios, pero se pueden corregir

Cada vez son m¨¢s comunes los motores de b¨²squeda de Internet en los que lo que se quiere encontrar no son p¨¢ginas web sino personas. Los portales de empleo o de b¨²squeda de pareja son buenos ejemplos. El empleo de la inteligencia artificial en estos motores puede favorecer patrones discriminatorios, aprendidos por algoritmos que no est¨¢n programados para compensar o corregir prejuicios humanos.

El investigador Carlos Castillo, director de la Unidad de Data Science del centro tecnol¨®gico catal¨¢n Eurecat, pone como ejemplo el caso de un portal de empleo y explica que ¡°si hay 100 perfiles de hombres y mujeres igualmente cualificados y en los primeros resultados del buscador solo aparecen hombres, tenemos un problema¡±.

Combatir la discriminaci¨®n por sexo, raza, edad o cualquier otro motivo en las b¨²squedas en Internet es uno de los grandes retos de los cient¨ªficos. Hay diversas maneras de afrontarlo, aunque este ¨¢mbito de investigaci¨®n todav¨ªa est¨¢ en sus inicios.

Los m¨¦todos para corregir la discriminaci¨®n pueden hacerse en bloque, es decir, corrigi¨¦ndola para grupos enteros de personas, o bien individuo a individuo. Y se pueden aplicar antes de procesar los datos, introduciendo informaci¨®n no sesgada en el algoritmo; a posteriori, corrigiendo la lista obtenida; y lo m¨¢s dif¨ªcil, creando un algoritmo que sea no discriminatorio, o que lo sea lo m¨ªnimo posible (porque siempre va a tener cierta parcialidad, al ser humanos quienes lo dise?an). Presentamos a continuaci¨®n algunos de los m¨¦todos m¨¢s usados.

• Reordenar los resultados en peque?os subgrupos

En este caso el reordenamiento se hace ¨ªtem a ¨ªtem. En concreto, divide la lista de resultados en peque?os subgrupos, y compara la proporci¨®n del grupo ¡°protegido¡± (mujeres, personas mayores, etc¨¦tera) con la proporci¨®n de ese mismo grupo dentro del r¨¢nking general. Si, por ejemplo, en el top 5 de la lista hay solo una mujer, mientras que en los 40 resultados de la b¨²squeda hay un 40% de mujeres, el algoritmo coge un perfil de mujer posterior al puesto quinto y lo recoloca para que el porcentaje femenino en el top 5 sea m¨¢s parecido al porcentaje de la lista completa, y as¨ª sucesivamente.

Es el sistema que utiliza el proyecto FA*IR, creado por un equipo de la Unidad de Data Science de Eurecat, la Universidad Pompeu Fabra de Barcelona y la Universidad T¨¦cnica de Berl¨ªn. El algoritmo corrige a posteriori la discriminaci¨®n en la b¨²squeda de personas online por razones de g¨¦nero, procedencia o apariencia f¨ªsica.

Los cient¨ªficos han utilizado datos de ofertas de empleo, de reincidencia de presos y de rankings de admisi¨®n a universidades para detectar patrones de discriminaci¨®n. Con ellos, han creado un algoritmo de b¨²squeda que incorpora ¡°un mecanismo de acci¨®n positiva¡± para ¡°reorganizar los resultados y evitar la discriminaci¨®n sin afectar la validez del ranking¡±, explica Castillo, uno de los art¨ªfices del proyecto. Eso s¨ª, matiza, ¡°no hace cambios radicales, y la reordenaci¨®n se hace entre perfiles similares. En cierto modo deshace empates¡±.

El proyecto FA*IR ha sido uno de los ganadores de las becas de 50.000 euros que otorga anualmente la comunidad internacional Data Transparency Lab ¨Cpromovida por Telef¨®nica, Mozilla y el MIT, entre otros-, que fomenta la transparencia y la protecci¨®n de los datos en Internet.

El objetivo de los investigadores ahora es desarrollar una ¡°herramienta de b¨²squeda justa¡± (que directamente da una lista no discriminatoria), basada en el algoritmo ya dise?ado (que corrige los sesgos a posteriori). Ninguna empresa u organizaci¨®n utiliza a¨²n el algoritmo dise?ado, y precisamente el objetivo es desarrollar el nuevo como software libre dentro de un paquete de software conocido para que cualquier entidad pueda usarlo.

• Eliminar el ¡°impacto dispar¡±

El ¡°impacto dispar¡±, un concepto de la legislaci¨®n laboral de EE UU, es el diferente efecto que produce un mismo algoritmo sobre grupos distintos de personas. Se diferencia del ¡°trato dispar¡± en que este es intencionado y directo, mientras que el impacto dispar es indirecto. Puede producirse aunque no haya discriminaci¨®n como tal; de hecho, ocurre cuando se trata a todo el mundo de la misma forma. Por ejemplo, en el caso de las pruebas f¨ªsicas para los bomberos, que perjudican a las mujeres. Eso s¨ª, para que se considere ¡°impacto dispar¡± no puede haber una relaci¨®n directa entre la prueba y el correcto desempe?o laboral.

El m¨¦todo consiste en ¡°reparar¡± a posteriori las puntuaciones del grupo protegido (el que est¨¢ discriminado) para que est¨¦n distribuidas de la misma forma que las del grupo no protegido. Es la t¨¦cnica dise?ada por el equipo de Suresh Venkatasubramanian, profesor de Inform¨¢tica de la Universidad de Utah (EE UU). Su grupo, cuenta, ha hablado con algunas entidades interesadas en aplicar el m¨¦todo, pero ninguna ha llegado a utilizarlo.

• Introducir restricciones proequidad

Seg¨²n la regla del 80%, establecida en la legislaci¨®n laboral estadounidense, se puede considerar que hay discriminaci¨®n, de g¨¦nero en este caso, cuando la ratio mujeres candidatas/mujeres seleccionadas es menos de un 80% de la ratio hombres candidatos/hombres seleccionados. Es decir, si se seleccionan muchas menos mujeres que hombres en proporci¨®n a los candidatos que hab¨ªa de cada sexo.

Las restricciones proequidad pretenden garantizar que se cumple esa regla del 80% en categor¨ªas absolutas, como hombre/mujer. En otras que tienen valores continuos, como el peso corporal o la edad, la idea es que no haya una correlaci¨®n entre los candidatos seleccionados y esa caracter¨ªstica.

Un sistema creado por un grupo del Instituto Max Planck de Sistemas de Software (Kaiserlautern, Alemania), en el que hay una espa?ola, Isabel Valera, introduce las restricciones matem¨¢ticas en el periodo de entrenamiento o aprendizaje del algoritmo (cuando se le introducen b¨²squedas ya realizadas para que tome ejemplo), de modo que cuando este se aplica no analiza datos sensibles como el g¨¦nero o la raza.