Por qu¨¦ puede ser peligroso que un algoritmo decida si contratarte o concederte un cr¨¦dito

En 2014 Amazon desarroll¨® una inteligencia artificial de reclutamiento que aprendi¨® que los hombres eran preferibles y empez¨® a discriminar a las mujeres. Un a?o m¨¢s tarde un usuario de Google Photos se dio cuenta de que el programa etiquetaba a sus amigos negros como gorilas. En 2018 se descubri¨® que un algoritmo que analiz¨® la posibilidad de reincidir de un mill¨®n de convictos en EE UU fallaba tanto como una persona cualquiera sin especiales conocimientos judiciales o de criminal¨ªstica. Decisiones que antes eran tomadas por humanos hoy en d¨ªa son tomadas por sistemas de inteligencia artificial. Algunas relativas a la contrataci¨®n de personas, la concesi¨®n de cr¨¦ditos, los diagn¨®sticos m¨¦dicos o incluso las sentencias judiciales. Pero el uso de estos sistemas conlleva un riesgo, ya que los datos con los que los algoritmos son entrenados est¨¢n condicionados por nuestros conocimientos y prejuicios.

¡°Los datos son un reflejo de la realidad. Si la realidad tiene prejuicios, los datos tambi¨¦n¡±, explica Richard Benjamins, embajador de big data e inteligencia artificial de Telef¨®nica, a EL PA?S. Para evitar que un algoritmo discrimine a ciertos colectivos, sostiene, hay que verificar que los datos de entrenamiento no contienen ning¨²n sesgo y durante el testeo del algoritmo analizar el ratio de falsos positivos y negativos. ¡°Es mucho m¨¢s grave un algoritmo que discrimina de una manera no deseada en los dominios jur¨ªdicos, de pr¨¦stamos o de admisi¨®n a la educaci¨®n que en dominios como la recomendaci¨®n de pel¨ªculas o de publicidad¡±, afirma Benjamins.

Isabel Fern¨¢ndez, managing director de inteligencia aplicada de Accenture, pone como ejemplo la concesi¨®n de hipotecas de manera autom¨¢tica: ¡°Imaginemos que en el pasado la mayor¨ªa de los solicitantes eran hombres. Y a las pocas mujeres a las que se les conced¨ªa una hipoteca pasaban unos criterios tan exigentes que todas cumpl¨ªan con el compromiso de pago. Si utilizamos estos datos sin m¨¢s, el sistema concluir¨ªa que hoy en d¨ªa, las mujeres son mejores pagadoras que los hombres, lo que s¨®lo es un reflejo de un prejuicio del pasado¡±.

Sin embargo, las mujeres son en muchas ocasiones las perjudicadas por estos sesgos. ¡°Los algoritmos generalmente se desarrollan porque mayoritariamente hombres blancos de entre 25 y 50 a?os as¨ª lo han decidido durante una reuni¨®n. Partiendo de esa base, es dif¨ªcil que llegue la opini¨®n o percepci¨®n de grupos minoritarios o del otro 50% de la poblaci¨®n como son las mujeres¡±, explica Nerea Luis Mingueza. Esta investigadora en rob¨®tica e inteligencia artificial de la Universidad Carlos III asegura que los grupos infrarrepresentados siempre se ver¨¢n m¨¢s afectados por los productos tecnol¨®gicos: ¡°Por ejemplo, las voces femeninas o de ni?os fallan m¨¢s en los sistemas de reconocimiento del habla¡±.

¡°Los datos son un reflejo de la realidad. Si la realidad tiene prejuicios, los datos tambi¨¦n¡±

Las minor¨ªas son m¨¢s susceptibles de ser afectadas por estos sesgos por una cuesti¨®n de estad¨ªstica, seg¨²n afirma Jos¨¦ Mar¨ªa Lucia, socio responsable del centro de inteligencia artificial y an¨¢lisis de datos de EY Wavespace: ¡°El n¨²mero de casos disponible para el entrenamiento va a ser menor¡±. ¡°Adem¨¢s, todos aquellos colectivos que hayan sufrido discriminaci¨®n en el pasado de cualquier tipo pueden ser susceptibles, ya que al utilizar datos hist¨®ricos podemos estar incluyendo, sin darnos cuenta, dicho sesgo en el entrenamiento¡±, explica.

Este el caso de la poblaci¨®n negra en EE UU, seg¨²n apunta el senior manager en Accenture Juan Alonso: ¡°Se ha comprobado que ante un mismo tipo de falta como fumar un porro en p¨²blico o la posesi¨®n de peque?as dosis de marihuana, a un blanco no le detienen pero a alguien de color s¨ª¡±. Por lo tanto, sostiene que hay un porcentaje mayor de personas negras en la base de datos y un algoritmo entrenado con esta informaci¨®n tendr¨ªa un sesgo racista.

Fuentes de Google explican que es primordial ¡°tener mucho cuidado¡± al otorgar poder a un sistema de inteligencia artificial de tomar cualquier decisi¨®n por su cuenta: ¡°La inteligencia artificial produce respuestas basadas en datos existentes, por lo que los humanos deben reconocer que no necesariamente dan resultados impecables¡±. Por ello, la compa?¨ªa apuestan por que en la mayor¨ªa de aplicaciones la decisi¨®n final sea tomada por una persona.

La caja negra

Las m¨¢quinas terminan siendo en muchas ocasiones una caja negra llena de secretos incluso para sus propios desarrolladores, que son incapaces de entender qu¨¦ camino ha seguido el modelo para llegar a una determinada conclusi¨®n. Alonso sostiene que ¡°normalmente cuando te juzgan, te dan una explicaci¨®n en una sentencia¡±: ¡°Pero el problema es que este tipo de algoritmos son opacos. Te enfrentas a una especie de or¨¢culo que va a dar un veredicto¡±.

¡°Las personas tienen derecho a preguntar c¨®mo un sistema inteligente sugiere ciertas decisiones y no otras y las empresas tienen el deber de ayudar a las personas a entender el proceso de decisi¨®n¡±

¡°Imaginad que vais a un festival al aire libre y cuando lleg¨¢is a primera fila, los responsables de seguridad os echan sin daros una explicaci¨®n. Os vais a sentir indignados. Pero si os explican que la primera fila est¨¢ reservada para personas en silla de ruedas, te vas a ir para atr¨¢s pero no te vas a enfadar. Lo mismo pasa con estos algoritmos, si no sabemos lo que est¨¢ pasando se puede producir un sentimiento de insatisfacci¨®n¡±, explica Alonso.

Para acabar con este dilema, los investigadores que trabajan en inteligencia artificial reivindican la transparencia y explicaci¨®n del modelo de entrenamiento. Grandes empresas tecnol¨®gicas como Microsoft defienden varios principios para hacer un uso responsable de la inteligencia artificial e impulsan iniciativas para intentar abrir la caja negra de los algoritmos y explicar el por qu¨¦ de sus decisiones.

Telefonica est¨¢ organizando un reto en el ¨¢rea de LUCA ¡ªsu unidad de datos¡ª con el fin de crear nuevas herramientas para detectar los sesgos no deseados en los datos. Accenture ha desarrollado AI Fairness e IBM tambi¨¦n ha desarrollado su propia herramienta que detecta sesgos y explica c¨®mo la inteligencia artificial toma determinadas decisiones. Para Francesca Rossi, directora de ¨¦tica en inteligencia artificial de IBM, la clave est¨¢ en que los sistemas de inteligencia artificial sean transparentes y confiables: ¡°Las personas tienen derecho a preguntar c¨®mo un sistema inteligente sugiere ciertas decisiones y no otras y las empresas tienen el deber de ayudar a las personas a entender el proceso de decisi¨®n¡±.