Seis claves sobre c¨®mo nos gobiernan los algoritmos

No pasa un minuto sin que una m¨¢quina decida parte de tu futuro. Y no hablamos solo de que te recomienden libros o pel¨ªculas: tambi¨¦n deciden el tipo de inter¨¦s que vas a pagar, que te llamen o no para hacer una entrevista de trabajo o, incluso, que aumenten o caigan las posibilidades de que cometas un delito.

La gran esperanza pasaba porque los programas inform¨¢ticos fueran capaces de tomar esas decisiones de una forma m¨¢s imparcial. La realidad que nos hemos encontrado, en cambio, es que los algoritmos que hemos puesto en funcionamiento no solo replican, sino que amplifican los prejuicios de los ingenieros que los crean.

Ni siquiera los grandes nombres de la tecnolog¨ªa se libran de sus efectos. El mism¨ªsimo cofundador de Apple, Steve Wozniak, denunci¨® que la Apple Card le conced¨ªa a ¨¦l una l¨ªnea de cr¨¦dito 10 veces superior a la de su mujer por culpa de las decisiones de un algoritmo. Esta tarjeta, lanzada a primavera pasada, es fruto de una alianza con Goldman Sachs y Mastercard. A David Heinemeier Hansson, el fundador de Ruby on Rails, le pasa lo mismo, solo que en su caso las probabilidades de que le den a ¨¦l el cr¨¦dito, asegura, son 20 veces superiores. Este es un peque?o repaso, con la ayuda de la agencia Bloomberg?y de Ricardo Pe?a, profesor del?Departamento de Sistemas Inform¨¢ticos y Computaci¨®n?de la Facultad de Inform¨¢tica de la Universidad Complutense de Madrid, para que sepas c¨®mo los algoritmos te est¨¢n gobernando sin que lo sepas.

M¨¢s informaci¨®n

Los omnipresentes algoritmos, con nosotros desde hace 3.000 a?os

En realidad, ?qu¨¦ [...] es exactamente un algoritmo?

• ?Qu¨¦ es un algoritmo?

Un algoritmo no es m¨¢s que una secuencia finita de pasos en cada uno de los cuales se aplica mec¨¢nicamente una regla.que permite procesar una informaci¨®n o llevar a cabo una tarea. Un algoritmo puede ser b¨¢sico: ordenar por orden alfab¨¦tico. Una receta para hacer tarta de queso tambi¨¦n lo es (siempre que no trates de gustar a todos). Los que hacen las empresas de tecnolog¨ªa son mucho m¨¢s complicados. Facebook o Google han gastado miles de millones desarrollando los suyos. Con ellos ordenan y distribuyen las toneladas de informaci¨®n que alegremente les confiamos d¨ªa a d¨ªa.

• ?De d¨®nde sacan los algoritmos la informaci¨®n?

De nosotros. De todas las peque?as acciones que llevamos a cada momento. Cada vez que nos registramos en una web sobre salud o consultamos informaci¨®n en Wikipedia o cada vez que vemos un anuncio en nuestro smartphone vamos dejando un rastro que las compa?¨ªas comparten entre s¨ª para hacer negocio. Todo deja rastro, incluso el m¨¢s ¨ªnfimo clic que haces. Una pr¨¢ctica habitual, adem¨¢s, es la de cruzar datos: en los registros p¨²blicos

• Entonces, ?de d¨®nde viene la discriminaci¨®n?

Los datos en s¨ª no son inherentemente discriminatorios. Son solo datos. El problema surge de c¨®mo se usan e interpretan, especialmente cuando caracterizan a una persona usando correlaciones o variables proxy: datos que de por s¨ª no tienen gran inter¨¦s, pero a partir de los cuales se pueden obtener otras que s¨ª lo tienen. As¨ª, lo que escuchas en YouTube o en Spotify puede determinar tu sexo o edad, o las cosas a las que le das el like pueden determinar tu posicionamiento ideol¨®gico o nivel econ¨®mico.

Un estudio publicado en 2017 recogido por Bloomberg sosten¨ªa que Facebook hab¨ªa clasificado a algunos usuarios como homosexuales en funci¨®n de las publicaciones a las que hab¨ªa dado like, incluso aunque no se hubiesen identificado abiertamente como tales.

?Cu¨¢l es el problema? Lo que hace el sistema/algoritmo es agrupar palabras por temas. O por tipo de ropa, si estamos organizando un armario: tenemos la secci¨®n abrigos, partes de arriba, camisetas, bufandas, calcetines¡­ y luego establecemos relaciones. ?Y si la m¨¢quina nos dice al ver unos pantalones que el sujeto es un hombre? ?Es que la mujer no puede llevar pantalones? No, pero el algoritmo intuye que es probable que sea un hombre porque es m¨¢s probable estad¨ªsticamente que sea un hombre.

Son estas relaciones las que han llevado a un equipo de investigadores a concluir que un algoritmo usado para analizar los riesgos para la salud de millones de pacientes en EE UU discrimina sistem¨¢ticamente a la poblaci¨®n negra. Y lo hace sin saber siquiera su raza.

• ?C¨®mo establece la m¨¢quina estas relaciones proxy?

Con datos. Cuantos m¨¢s mejor. Es la forma de la que se nutre el llamado aprendizaje autom¨¢tico (machine learning). Los ni?os aprenden de sus padres y de lo que leen y en el colegio y al final se hacen personas coherentes que toman decisiones coheren¡­ bueno, dej¨¦moslo en se hacen personas. En el caso del aprendizaje autom¨¢tico, una de las t¨¦cnicas m¨¢s frecuentes es la de cebar a la m¨¢quina con miles y miles de textos para que encuentre patrones y aprenda por s¨ª misma el idioma, lo que se conoce como mapeo de palabras. Adem¨¢s, tiene que haber una persona que valide las respuestas correctas y rechace las incorrectas. Es decir, la m¨¢quina pasa por un periodo de aprendizaje en el cual va ajustando los pesos de sus respuestas a lo que espera el validador. ¡°Es una red artificial para entender la estructura de una frase. La m¨¢quina se alimenta con un mont¨®n de textos que representan el lenguaje que se est¨¢ estudiando¡±, explica ?lvaro Barbero, chief data scientist del Instituto de Ingenier¨ªa del Conocimiento. ¡°El sistema aprende qu¨¦ palabras est¨¢n cercanas a otras y las convierte en n¨²meros para que la m¨¢quina pueda entender el lenguaje. Se utiliza bastante porque es un sistema muy efectivo¡±.

?Cu¨¢l es el problema de esta pr¨¢ctica? Que a un ni?o le puedes inculcar que una mujer puede llevar pantalones (aunque cuesta, visto lo visto ¨²ltimamente). Pero, ?c¨®mo corriges a una m¨¢quina que se ha alimentado de textos y que da por buenos los sesgos sexistas o racistas que hay en ellos? En este art¨ªculo de Retina explic¨¢bamos el riesgo de amplificaci¨®n que se produce cuando se alimenta a la m¨¢quina y cit¨¢bamos estudios para apoyar las tesis.

• ?Riesgo de amplificaci¨®n?

Si la m¨¢quina extrae conclusiones poco precisas de los datos puede llevar a conclusiones falsas. Es como un disparo: un mil¨ªmetro de desviaci¨®n de la mira puede resultar en varios metros de distancia respecto al objetivo. Bloomberg cita un caso: La ciudad de Chicago anunci¨® planes en 2017 para emplear un software de vigilancia predictiva para asignar agentes de polic¨ªa adicionales a ¨¢reas m¨¢s propensas a experimentar cr¨ªmenes. El problema era que el modelo dirig¨ªa m¨¢s recursos a aquellas ¨¢reas donde ya hab¨ªa m¨¢s presencia policial, dado que reforzaban los prejuicios de los polic¨ªas.

• ?Qu¨¦ se puede hacer para evitarlo?

El problema es tal (y puede ser peor) que existe unos principios b¨¢sicos de responsabilidad algor¨ªmica. Esta la configuraci¨®n ¨¦tica, por la que los creadores de los algoritmos deben ser conscientes de que existe una posibilidad de sesgo y en caso de que se produzca, erradicarlo. El siguiente paso es la validaci¨®n, que obliga a testearlos con pruebas experimentales y tests. Todos los datos usados, adem¨¢s deber¨ªan formar parte de un informe en el que se detalle su origen lo que se llama informaci¨®n p¨²blica, que ha de ser accesible y estar sujetos a auditor¨ªas externas. Es poco probable, sin embargo, que Facebook o Google est¨¦n dispuestos a abrir sus valios¨ªsimos algoritmos.