?msterdam y Helsinki crean un registro de algoritmos para mejorar la confianza ciudadana en la inteligencia artificial

Obotti es un chatbot ¨Dprograma con el que es posible conversar¨D finland¨¦s, vive en la biblioteca central Oodi, de Helsinki, y se dedica a recomendar libros a los potenciales visitantes, de acuerdo con sus gustos e intereses, a trav¨¦s de una aplicaci¨®n. Esta entidad parlante tambi¨¦n es uno de los cinco sistemas incluidos por la ciudad en el registro de algoritmos que estren¨®, junto con ?msterdam, la semana pasada. Se trata del prim...

Obotti es un chatbot ¨Dprograma con el que es posible conversar¨D finland¨¦s, vive en la biblioteca central Oodi, de Helsinki, y se dedica a recomendar libros a los potenciales visitantes, de acuerdo con sus gustos e intereses, a trav¨¦s de una aplicaci¨®n. Esta entidad parlante tambi¨¦n es uno de los cinco sistemas incluidos por la ciudad en el registro de algoritmos que estren¨®, junto con ?msterdam, la semana pasada. Se trata del primer esfuerzo de transparencia en este ¨¢mbito por parte de la Administraci¨®n P¨²blica. ¡°Lo que buscamos es dar visibilidad a c¨®mo se ha creado cada sistema y c¨®mo funciona¡±, explica Meeri Haataja, que hace dos a?os fund¨® Saidot, la empresa responsable de la creaci¨®n de la plataforma que emplean ambos proyectos.

Los algoritmos son un conjunto de reglas que se aplican de forma automatizada para resolver un problema determinado y cada vez tienen m¨¢s influencia en nuestras vidas, ayudando a empresas e instituciones a tomar decisiones, o incluso tom¨¢ndolas directamente, en algunos casos. Uno de sus problemas es la opacidad. Otra, que reflejen los sesgos de quienes los han programado. Esta iniciativa persigue precisamente conjurar esos riesgos. El registro fin¨¦s incluye por ahora otros tres chatbots y un sistema de gesti¨®n para bibliotecas; el holand¨¦s contiene un piloto de detecci¨®n de fraudes en alquiler vacacional, un sistema de control de aparcamientos y una herramienta para determinar qu¨¦ departamento debe atender cada queja vecinal. ¡°Para empezar, hemos elegido algoritmos que conciernen a todo el mundo¡±, explica Linda van de Fliert, responsable del despliegue del proyecto en el ayuntamiento de ?msterdam, junto con Siham El Yassini.

El plan de ambos consistorios es seguir incorporando fichas al registro hasta completar el cat¨¢logo de servicios de este tipo ofrecidos en la ciudad. ¡°En tres a?os esperamos a?adir otros diez algoritmos¡±, estima El Yassini. La lenta escalada la explica el estado de desarrollo de los proyectos. Algunos, como el detector de matr¨ªculas que determina si un coche no autorizado entra en la zona ambiental del centro de ?msterdam, llevan en funcionamiento desde 2018. ¡°Si eres quien conoce el algoritmo, te lleva 20 minutos rellenar el formulario. Luego, al experto en comunicaci¨®n que tiene que traducirlo en un texto comprensible para gente no tecnol¨®gica le puede costar otra hora de trabajo¡±, calcula Van de Fliert. Pero los que est¨¢n en desarrollo o al inicio de pruebas piloto, como el detector de residuos por visi¨®n artificial, pueden tardar m¨¢s en aparecer en la plataforma. Pasi Rautio, responsable del proyecto del consistorio fin¨¦s, calcula que su ciudad tiene ahora una decena de sistemas activos.

Del dato al riesgo pasando por el sesgo

Gracias a este particular padr¨®n de algoritmos, sabemos que Obotti est¨¢ entrenado con la base de datos de la biblioteca de Helsinki, que incluye informaci¨®n de clientes, disponibilidad y descripci¨®n de las obras; as¨ª como con los datos contenidos en Finna, un servicio abierto que da acceso a los materiales registrados en los museos, librer¨ªas y archivos finlandeses. El sistema se apoya adem¨¢s en un conjunto de datos de hilos de discusi¨®n y palabras clave sobre tem¨¢ticas creado por los expertos de la biblioteca y en el calendario de eventos de la ciudad. ¡°Si se comparten los datasets (conjuntos de datos), es porque son abiertos, pero no se pueden compartir datos personales¡±, precisa la fundadora de Saidot.

¡°El modelo tiene distintas capas¡±, explica Haataja. En el primer nivel se ofrece una descripci¨®n b¨¢sica y los datos de contacto de los responsables del sistema. ¡°Esto es relevante para cualquier ciudadano y tendr¨ªa que ser comprensible para todo el mundo¡±, contin¨²a. En el segundo nivel, el registro contiene los detalles de c¨®mo estos algoritmos evitan caer en pr¨¢cticas discriminatorias, el modo en que procesa los datos ¨Dsi el desarrollo es propio y no de proveedores externos este apartado incluye el c¨®digo fuente¨D, qu¨¦ tipo de supervisi¨®n humana acompa?a su funcionamiento y los riesgos asociados a su uso. El caso de Obotti es sencillo, los peligros que entra?a un error suyo son peque?os, puesto que afectar¨ªa principalmente a la calidad de las recomendaciones.

Pero hay otros algoritmos con m¨¢s intr¨ªngulis, como el sistema de detecci¨®n de fraude en alquileres vacacionales que incluye el registro holand¨¦s. ¡°Este fue el m¨¢s complejo¡±, explica Van de Fliert. La raz¨®n es que el modelo a¨²n est¨¢ en la fase final de la prueba piloto. ¡°El objetivo del proyecto es crear un algoritmo que sea justo, democr¨¢tico y que no discrimine. Sin embargo, es complicado ser transparente sobre un algoritmo cuando todav¨ªa lo est¨¢s probando¡±. En l¨ªneas generales, la principal dificultad est¨¢ en recopilar la informaci¨®n necesaria, explica Rautio, puesto que en ocasiones hay que solicitarla a proveedores externos. ¡°Adem¨¢s, es dif¨ªcil de describir la parte de rendici¨®n de cuentas, puesto que a¨²n no tenemos ese rol. La inteligencia artificial es algo muy nuevo en nuestros procesos de gesti¨®n¡±.

Una plataforma para registrarlos a todos

¡°Si no hay confianza, la inteligencia artificial no tienen ninguna utilidad¡±, contin¨²a el responsable del registro de Helsinki. Para todos los implicados en la puesta en marcha de estos registros, el proyecto es tambi¨¦n una declaraci¨®n de intenciones. ¡°Quer¨ªamos demostrar que es posible hacerlo. Nuestra motivaci¨®n era no solo hablar de transparencia, sino hacerla real y dejar que los funcionarios p¨²blicos nos ayudasen¡±, asegura El Yassini.

La plataforma, tal y como ha sido creada por Saidot, es adaptable a cualquier ciudad y est¨¢ dise?ada de manera que, una vez establecidos los campos b¨¢sicos (descripci¨®n, rendimiento de cuentas, datasets, procesamiento, no discriminaci¨®n, supervisi¨®n humana y riesgos), es posible adaptarla a sectores espec¨ªficos, como sanidad o educaci¨®n. Adem¨¢s, al otro lado de la versi¨®n que pueden consultar los ciudadanos, Saidot es una herramienta de gobernanza. ¡°B¨¢sicamente permite tener todos los sistemas sincronizados, con informaci¨®n estandarizada sobre cada algoritmo o equipo de data science¡±, resume Haataja, que ya est¨¢ en conversaciones con otras ciudades interesadas en implementar este modelo de registro.

Adem¨¢s, el proceso de retratar a cada algoritmo para su incorporaci¨®n en el registro lleva a reflexiones que pueden ayudar a identificar ¨¢reas de mejora. ¡°Por ahora son casos de riesgo relativamente bajo, pero las discusiones han sido muy productivas y alentadoras¡±, se?ala la fundadora de Saidot. El caso de ?msterdam y su sistema de detecci¨®n de fraude lo ejemplifica. En su apartado de no discriminaci¨®n, se explica c¨®mo el algoritmo no emplea datos personales en su proceso de descripci¨®n, para evitar que estos detalles puedan introducir sesgos. Sin embargo, se admite que es necesario confirmar que otros detalles m¨¢s amplios, como el c¨®digo postal, no est¨¦n conduciendo a resultados parecidos.

?Veremos al sector privado adoptar este modelo? Para Haataja es cuesti¨®n de tiempo que esta informaci¨®n pase a estar integrada dentro de los propios servicios de inteligencia artificial. ¡°Por ejemplo, si est¨¢s hablando con un chatbot, que puedas preguntarle qui¨¦n es su due?o y qu¨¦ est¨¢ procesando¡±, precisa. El Yassini conf¨ªa en que llegar¨¢ el d¨ªa en que las empresas tecnol¨®gicas apuesten tambi¨¦n por la transparencia en cuanto al funcionamiento de sus algoritmos. ¡°Creo que, con el tiempo, las compa?¨ªas podr¨¢n prosperar por el mero hecho de abrir sus algoritmos. Y los clientes las ver¨¢n como empresas con las que relacionarse¡±. Van de Fliert coincide, pero con algo de escepticismo: ¡°Por supuesto, para ellas llevar¨¢ m¨¢s tiempo y posiblemente ser¨¢ necesaria la presi¨®n de la sociedad para llevarlas a esa fase¡±.

Puedes seguir a EL PA?S TECNOLOG?A RETINA en Facebook, Twitter, Instagram o suscribirte aqu¨ª a nuestra Newsletter.