Los peligros de un mundo de algoritmos cotillas

Seguimos desgranando el proyecto m¨¢s cenizo de la Universidad de Princeton: cuatro escenarios de ficci¨®n en los que los tejemanejes de la inteligencia artificial se nos podr¨ªan ir de las manos. En el primer cap¨ªtulo, una app de salud con delirios de grandeza se pasaba los derechos de los usuarios por el bot¨®n de cerrar sesi¨®n. En esta nueva entrega conoceremos la historia de la app Epimetheus, un sistema de reconocimiento de sonidos que no supo parar a tiempo.

Empecemos por la moraleja:

1. Insensibilidad cultural. Si te ciega el inter¨¦s comercial y el ansia de expansi¨®n podr¨ªa escap¨¢rsete el hecho de que tu producto, creado para el mercado americano y entrenado en las sutilezas del ingl¨¦s, ignora las normas culturales de otros lugares.
2. Categorizaci¨®n da?ina. Las etiquetas no son inocuas, sobre todo cuando se emplean para clasificar personas. Y menos inofensivas son cuando el resultado del etiquetado se utiliza para tomar decisiones.
3. Usos imprevistos. Aunque tus intenciones sean buenas, debes tener en cuenta los desprop¨®sitos morales y legales que podr¨ªan producirse si tu sistema cae en malas manos.

• ?rase una vez Epimetheus

Empez¨® por lo normal para los algoritmos de reconocimiento de sonido: identificar canciones, anuncios... Luego pas¨® a identificar se?ales m¨¢s sutiles. Identificaba a los actores por sus voces. Distingu¨ªa hasta los cambios de la marea. Sometido al audio de unos dibujos animados, identificaba al actor de doblaje, aunque estuviera interpretando personajes de edades y g¨¦neros distintos.

La app ten¨ªa sentido hasta en investigaci¨®n: sus aplicaciones iban desde la identificaci¨®n del canto de un p¨¢jaro hasta la monitorizaci¨®n del cambio ecol¨®gico en ubicaciones remotas.

Epimetheus lo escuchaba todo. Y no se quedaba ah¨ª: sacaba sus conclusiones. Por ejemplo, una vez identificada una persona, la app completaba los resultados con informaci¨®n personal, entradas enciclop¨¦dicas y otras fuentes relevantes. ?Qu¨¦ pod¨ªa salir mal?

• Tonto, ciego, sordomudo

Los problemas empezaron cuando Sybel puso a prueba el sistema con su voz. Pese a que hab¨ªa nacido como un hombre, en el sentido biol¨®gico, acababa de pasar por una operaci¨®n de reasignaci¨®n de sexo y ahora se identificaba psicol¨®gica y p¨²blicamente como una mujer. Sin embargo, Epimetheus reconoc¨ªa a Sybel como un var¨®n y, por si fuera poco, completaba sus resultados enlazando v¨ªdeos suyos previos a la transici¨®n.

?Es cero el ¨²nico margen de error aceptable?

Por un lado, errores como este pueden hacer que las personas transg¨¦nero no se sientan respetadas por quienes son. Por otro, verse p¨²blicamente identificadas en funci¨®n de su sexo biol¨®gico puede convertirles en blancos de acoso. Adem¨¢s, este primer traspi¨¦ coincidi¨® con la aparici¨®n de una multinacional tecnol¨®gica especialmente interesada en adquirir Epimetheus. La potencial adopci¨®n masiva de la app incrementar¨ªa notablemente los incidentes como el de Sybel.

Un margen de error del 0,016% podr¨ªa parecer desde?able, pero aplicados a escalas globales se ver¨ªa amplificado y causar¨ªa da?os notables en colectivos que ya tienen suficientes problemas. ?Es cero el ¨²nico margen de error aceptable?

• Parches

Despu¨¦s de probar, sin ¨¦xito, distintas aproximaciones al problema de clasificaci¨®n, el equipo de investigaci¨®n de Epimetheus se vio obligado a dar un paso atr¨¢s: se eliminaron las etiquetas que pod¨ªan producir resultados insultantes o da?inos para ciertos colectivos. Epimetheus dej¨® de diferenciar entre g¨¦neros al identificar voces.

Esta soluci¨®n no tuvo la mejor de las acogidas: algunos observadores adujeron que no se resolv¨ªa nada; m¨¢s bien se borraba del mapa una comunidad que ha luchado duramente por hacerse ver y o¨ªr. Lo ideal habr¨ªa sido, reclamaban, un esfuerzo mayor para eliminar el margen de error para voces transg¨¦nero.

Ante esta cr¨ªtica los investigadores argumentaron que el desarrollo de nuevas tecnolog¨ªas va inevitablemente acompa?ado de una curva de aprendizaje y que las compa?¨ªas tecnol¨®gicas necesitan espacio para experimentar.

• ?C¨®mo lo ve Princeton?

1. Derechos. "En los casos en que las consecuencias de un error pueden constituir da?os significativos, los derechos de aquellos que quedan en el lado perdedor de cierta tecnolog¨ªa tendr¨ªan que ponerse en una balanza frente a la utilidad general del sistema".
2. Da?os. "Nombrar a una persona y colocarla en una casilla concreta es restarle individualidad y socavar su complejidad. Cuando esa etiqueta contiene connotaciones sociales negativas o asociaciones pol¨ªticas da?inas, o cuando es una con la que el individuo no se identifica, el da?o experimentado puede ser especialmente grave".
3. Neutralidad. "El proceso de trazar distinciones nunca es completamente neutral [...]. Estos juicios de valor pueden influir en los valores de los humanos que utilizan Epimetheus".
4. Responsabilidad posterior. "Una vez que un sistema deja las manos de sus ingenieros originales, estos pueden no tener mucho que decir en c¨®mo se usan sus tecnolog¨ªas. En ocasiones, esto significa que sistemas que fueron dise?ados para producir fines sociales positivos se usan para fines negativos".