Abran las cajas negras

En el Senado franc¨¦s se est¨¢ debatiendo estos d¨ªas si se debe exigir por ley que la Administraci¨®n explique los algoritmos que utiliza en sus aplicaciones. Miles de estudiantes se quejan de que la plataforma que gestiona su admisi¨®n en la ense?anza superior, Parcoursup, ha sido programada con criterios sesgados. Supuestamente, favorece a los estudiantes con m¨¢s informaci¨®n y, en definitiva, con m¨¢s recursos. Y, aunque hace dos a?os que la Ley Digital exige la transparencia algor¨ªtmica en Francia, esta no se da ni por parte del Gobierno ni de las empresas.

M¨¢s informaci¨®n

Robot-luci¨®n: el gran reto de gobernar y convivir con las m¨¢quinas

Tribunas | C¨®mo la tecnolog¨ªa cambia nuestros trabajos

?Seremos mascotas de la IA?

Omnipresentes e invisibles, los algoritmos determinan cada vez m¨¢s nuestro d¨ªa: qu¨¦ pel¨ªculas nos propone Netflix o cu¨¢nto nos cuesta una reserva de hotel. Gracias a ellos se pueden gestionar cantidades enormes de informaci¨®n de manera m¨¢s eficiente. Pero tambi¨¦n pueden terminar discriminando por c¨®mo han sido programados. Un ejemplo que da Marta Peirano en El enemigo conoce el sistema es el de David Dao, un pasajero al que sacaron a rastras de un avi¨®n en abril de 2017. Hab¨ªa pasado todos los controles de seguridad en el aeropuerto de Chicago y estaba esperando el despegue cuando las azafatas llegaron a echarle. Se neg¨® y los agentes de seguridad terminaron sac¨¢ndolo por la fuerza. United Airlines hab¨ªa vendido demasiados billetes y sobraba alguien. Un algoritmo hab¨ªa determinado que fuera Dao y no otro el expulsado. ?l no era tan valioso para la aerol¨ªnea como un titular de la tarjeta de viajero frecuente. ?Usaron tambi¨¦n datos socioecon¨®micos, religiosos o raciales? Se desconoce, porque el algoritmo es secreto.

Los sistemas de decisi¨®n algor¨ªtmica que tengan un impacto en los derechos de las personas deber¨ªan ser transparentes.

Problema: la transparencia siempre suena bien como valor exigible, pero habr¨¢ situaciones en las que no se pueda explicar un algoritmo. Para empezar, no es sencillo obligar a las empresas a poner su c¨®digo a disposici¨®n del p¨²blico; ser¨ªa violar su propiedad intelectual y aniquilar la innovaci¨®n. Pero, adem¨¢s, algunos son ¨¢rboles de decisi¨®n sencillos, basados en reglas ordenadas. Otros son redes neuronales que no controlan ni quienes los han programado. Sus autores solo pueden probarlos una y otra vez hasta que entienden que las m¨¢quinas est¨¢n haciendo lo que deben hacer.

Una de las posibles soluciones es pedir que se rindan cuentas, no ante los ciudadanos, sino ante una autoridad independiente, quiz¨¢ supranacional, sin ¨¢nimo de lucro y formada por expertos. Est¨¢n naciendo iniciativas como OdiseIA en Espa?a para analizar el impacto de la inteligencia artificial y asesorar al sector p¨²blico y privado. Pretenden crear un sello de calidad para quienes cumplan ciertos est¨¢ndares de transparencia. Es el momento de poner la ¨¦tica en la agenda. Creer que por s¨ª mismas las m¨¢quinas van a tomar decisiones justas es el equivalente hoy al cl¨¢sico error liberal de pensar que los mercados se regulan solos.