Daniel Howden, fiscalizador de la inteligencia artificial: ¡°Estos sistemas ya est¨¢n afectando los derechos humanos y civiles¡±

El periodista brit¨¢nico Daniel Howden (50 a?os, Weymouth), experto en corrupci¨®n y migraci¨®n, ha sido corresponsal de los principales medios de comunicaci¨®n ingleses durante gran parte de su carrera. Tres a?os atr¨¢s, en pleno auge de la inteligencia artificial (IA), fund¨® Lighthouse Reports, una plataforma dedicada a indagar c¨®mo los gobiernos centrales y locales en el mundo est¨¢n utilizando los algoritmos para tomar decisiones y exigirles una rendici¨®n de cuentas. La plataforma, que se asocia con peri¨®dicos, podcast o televisiones, ha trabajado con m¨¢s de 120 medios para publicar sus informes cocreados con los periodistas de las respectivas alianzas.

La estrategia de Howden es poner a especialistas sin las prisas de una redacci¨®n y aprovechar la vitrina y la relaci¨®n ya cimentada de los medios con el p¨²blico. Han elaborado unas 20 investigaciones anuales en distintos rincones del planeta. Sobre sus descubrimientos habla en esta entrevista realizada en Santiago, cuando particip¨® del Proyecto Algoritmos ?ticos de la Universidad Adolfo Iba?ez, con apoyo del laboratorio de innovaci¨®n del Banco Interamericano de Desarrollo (Bid Lab).

Pregunta. ?Por qu¨¦ quiso enfocarse en la rendici¨®n de cuentas sobre el uso de algoritmos?

Respuesta. Los sistemas automatizados de toma de decisiones que se est¨¢n implementando en todo el mundo, como en la justicia penal, en la salud o en los servicios de bienestar sin mucha o nula consulta p¨²blica. Estamos siendo vigilados, clasificados y puntuados por sistemas que la mayor¨ªa de nosotros no entendemos. Para una persona promedio eso significa que se est¨¢n tomando decisiones sobre sus vidas de las que no tienen ning¨²n control, ya sea a la hora de solicitar una hipoteca, un empleo o un beneficio gubernamental. Si el afectado no puede entender c¨®mo se acept¨® o rechaz¨® su petici¨®n quiere decir que no pas¨® por el debido proceso y que no puede impugnar la decisi¨®n ni conocer los datos que probablemente no sab¨ªa que le hab¨ªan recopilado. La mayor¨ªa de estos sistemas de inteligencia artificial los est¨¢n implementando los gobiernos, ciudades y agencias p¨²blicas sin supervisi¨®n. Por eso los periodistas tenemos que entrar a ese espacio inc¨®modo para informar y defender la necesidad de regulaci¨®n.

P. ?Con qu¨¦ se encontr¨® cuando comenz¨® con Lighthouse?

R. Lo que me frustr¨® fue que el periodismo dedicado a la industria de la tecnolog¨ªa siempre hablaba de la Inteligencia Artificial como algo oscuro que ocurrir¨ªa en un futuro cercano: ¡°Esto va a suceder¡±. Pero ignoraban el hecho de que ya hay cosas sobre las que informar que est¨¢n presentes en nuestras vidas. Si est¨¢s en la parte m¨¢s pobre del mundo, es muy posible que el apoyo internacional que se destina a los programas de ayuda se base en un algoritmo desarrollado por el Banco Mundial que calcula la pobreza con una metodolog¨ªa bastante controvertida.

P. ?En qu¨¦ casos se est¨¢ utilizando este sistema de toma de decisiones automatizadas?

R. En las sentencias de justicia penal de Estados Unidos y algunos lugares de Europa en mayor y menor medida, por ejemplo. Los sistemas proporcionan puntuaciones de riesgo, que luego los jueces las utilizan para dictar sentencias y determinar cu¨¢nto tiempo de c¨¢rcel debe cumplir un detenido. Las autoridades penitenciarias los utilizan para decidir qui¨¦n debe ingresar en una prisi¨®n de m¨¢xima seguridad o qui¨¦n obtiene libertad condicional.

P. ?Qu¨¦ informaci¨®n utilizan para dictar la sentencia?

R. Es una interacci¨®n de variables. Unas simples, como edad, g¨¦nero, clasificaci¨®n del delito, pero tambi¨¦n etnia, tama?o de la familia, ¨²ltima direcci¨®n conocida, registros financieros¡­ Hay factores que no se pueden considerar. Nosotros tambi¨¦n analizamos en profundidad los sistemas para detectar fraudes de ciudadanos en los Estados de bienestar. Una pregunta es c¨®mo se decide a qui¨¦n va a investigar por un posible fraude. En los Pa¨ªses Bajos hab¨ªa un sistema que consideraba 315 variables, donde m¨¢s de 20 se relacionaban con el lenguaje. ?Qu¨¦ intentaban determinar? Qui¨¦n era ciudadano nativo y qui¨¦n no y en base a eso ponderar el riesgo. No puedes decir que una persona tiene m¨¢s probabilidades de cometer un fraude porque es inmigrante.

P. ?Los sesgos de los sistemas de IA son un espejo de los sesgos de la sociedad?

R. Las empresas tecnol¨®gicas que venden estos sistemas afirman que toman decisiones objetivas, lo que elimina el factor del sesgo humano, pero depende de c¨®mo se entrenan. Si el conjunto de datos de entrenamiento son un reflejo de a?os de acciones sesgadas, ese sesgo se ver¨¢ reflejado. Un ejemplo que se ha investigado es la vigilancia policial predictiva. El sistema le dice al polic¨ªa que necesita concentrar recursos en un ¨¢rea porque los registros hist¨®ricos de delitos se concentran en ese lugar. En teor¨ªa, eso suena bien. El riesgo es que durante muchos a?os se le ha asignado a la polic¨ªa buscar ciertos tipos de delitos y en ciertos barrios. En Sao Paulo, por ejemplo, un sistema predictivo basado en la ubicaci¨®n recomienda que la polic¨ªa se concentre en los barrios pobres, donde viven quienes trabajan en los barrios ricos. Estad¨ªsticamente, los del barrio rico tienen m¨¢s probabilidades de comprar drogas ilegales, pero hacen la transacci¨®n en el barrio pobre, por lo que el sistema nunca le indicar¨¢ a la polic¨ªa que vaya a la zona rica. As¨ª es c¨®mo se incorpora un sesgo.

P. ?Qu¨¦ se hace?

R. Por un lado, los exponentes ¨¦ticos de la IA postulan que podemos hacer un mejor trabajo en la construcci¨®n y el entrenamiento de estos sistemas. Otros creen que estas herramientas no son apropiadas para algunas tareas m¨¢s sensibles, especialmente vinculadas a los m¨¢s vulnerables. Pero todav¨ªa estamos en la etapa de detectar los sistemas realmente malos y crear incentivos para que las autoridades p¨²blicas entiendan mejor la tecnolog¨ªa y trabajen en pos de sistemas mejor entrenados. Nos estamos saltando la parte en que hacemos que funcionen de una manera ¨¦tica, que rindan cuentas por los errores y se puedan cuestionar sus resultados.

P. ?La inteligencia artificial est¨¢ afectando los derechos humanos?

R. Las autoridades p¨²blicas est¨¢n utilizando la IA en gobiernos, ciudades y sistemas nacionales que est¨¢n afectando los derechos humanos. El sistema para detectar los posibles fraudes en los programas de beneficios sociales o la permanencia de alguien en la c¨¢rcel son algunos ejemplos, pero tambi¨¦n los sistemas de inteligencia artificial se utilizan cada vez m¨¢s para decidir qui¨¦n es entrevistado para un trabajo o cu¨¢n id¨®neo es para otorgarle un pr¨¦stamo. Nuestra actitud no puede ser decir que es imposible avanzar lo suficientemente r¨¢pido para regular la IA as¨ª que nos cruzamos de brazos. No podemos decir que es m¨¢s inteligente que nosotros y que no vamos a intentar evaluar el sesgo en los sistemas que van a tomar decisiones muy b¨¢sicas que impactan nuestros derechos civiles.

P. ?C¨®mo evitamos caer en esa actitud?

R. Alej¨¢ndonos un poco de la exageraci¨®n de que la IA es muy emocionante y muy aterradora. No hablar como si fuera algo inevitable que simplemente eliminar¨¢ nuestra capacidad de tomar decisiones sobre c¨®mo ser¨¢n nuestras sociedades, dejando toda esa autoridad en las manos de unas pocas empresas tecnol¨®gicas. Eso es fant¨¢stico para ellas, pero no para cualquiera que espera ser un ciudadano y no s¨®lo un consumidor de un producto. Hay que pensar como lo hicimos con la regulaci¨®n de los medicamentos: el pol¨ªtico promedio no est¨¢ en condiciones de pasar pruebas sobre los ¨²ltimos f¨¢rmacos, eso depende de instituciones p¨²blicas que inspeccionan y regulan. En esa ¨¢rea decidimos que era algo de inter¨¦s p¨²blico que deb¨ªa contar con esos salvaguardas.

P. ?Lo que est¨¢ pasando se asemeja a lo ocurrido con las redes sociales?

R. Hay una gran cantidad de publicidad en torno a la IA. Nos dicen que lo arreglar¨¢ todo o nos matar¨¢ a todos, dos ideas incre¨ªblemente embriagadoras, pero que hablan del futuro. Se discute mucho menos qu¨¦ podemos hacer ahora para abordar los sistemas que ya est¨¢n en nuestras vidas. Hay reglas sobre todos los otros sistemas que nos afecta, pero est¨¢ la idea de que la IA es excepcional. Esos argumentos los escuchamos antes de las grandes tecnol¨®gicas, como Amazon o Airbnb. Nos dijeron que no se pod¨ªan regular como a cualquier otro minorista o de la industria hotelera. Cuando Airbnb, por ejemplo, ha tenido un profundo impacto en el costo de los alquileres. Estas empresas no deber¨ªan ser las voces dominantes de la conversaci¨®n. Est¨¢ bien que nuestros gobiernos piensen c¨®mo crear una legislaci¨®n flexible y preparada para el futuro que incorpore los derechos civiles y humanos que tenemos. No deber¨ªamos sacrificar los derechos civiles y humanos en pos de un futuro asombroso para la IA.

P. ?Cu¨¢l es la postura de la industria de la IA?

R. Quiere una regulaci¨®n ligera, sobre la que tenga gran influencia. Los gobiernos pueden desempe?ar un papel de dos maneras: establecer un campo de juego regulatorio, lo cual tiene sentido para la industria porque significa que todos los actores deben desarrollar e implementar la tecnolog¨ªa de la misma manera, o establecer un est¨¢ndar sobre los sistemas que tomar¨¢n decisiones que impacten el sector p¨²blico, ser transparentes sobre estos y exigir que los proveedores de tecnolog¨ªa den acceso a terceros, como los medios de comunicaci¨®n y los inspectores y auditores.