Un algoritmo opaco al que han detectado errores decide qui¨¦n recibe ayudas p¨²blicas del bono social

El Gobierno de Espa?a concede desde 2017 a las familias m¨¢s vulnerables un descuento en la factura de la luz, el llamado bono social. Para poder acceder a ese beneficio hace falta reunir una serie de condiciones: acreditar un nivel de renta bajo, cobrar la pensi¨®n m¨ªnima, estar en situaci¨®n de desempleo o ERTE o tener familia numerosa. Las solicitudes no las eval¨²a un grupo de funcionarios, sino un algoritmo, BOSCO. Y ese algoritmo se equivoca. La organizaci¨®n Civio demostr¨® en 2019 que la aplicaci¨®n autom¨¢tica hab¨ªa negado ayudas a personas que ten¨ªan derecho a ellas. El Gobierno corrigi¨® el error, pero no accedi¨® a abrir su c¨®digo fuente para poder buscar otros posibles desajustes. Civio acudi¨® a los tribunales y el pasado mes de febrero, tres a?os despu¨¦s, la justicia le dio la raz¨®n al Ejecutivo argumentando motivos de seguridad nacional.

El caso de BOSCO es ilustrativo de un debate no resuelto y cada vez m¨¢s relevante: c¨®mo deben articular las sociedades la gobernanza algor¨ªtmica. ?Tenemos derecho los ciudadanos a saber c¨®mo funcionan los sistemas autom¨¢ticos que toman decisiones sobre la asignaci¨®n de recursos p¨²blicos? La motivaci¨®n principal del equipo de Civio al seguir el caso es, de hecho, preparar el terreno de cara a posibles complicaciones que surjan en el futuro con otros algoritmos. ¡°Queremos allanar el terreno por si luego pedimos informaci¨®n sobre otro sistema m¨¢s complicado. Hay que sentar las bases para que la pr¨®xima vez la Administraci¨®n no tarde cuatro a?os en abrir el c¨®digo fuente de sus algoritmos¡±, explica David Cabo, cofundador de Civio.

El error que detectaron fue grueso. Hasta 2020, cuando se incorpor¨® estar en situaci¨®n de desempleo, hab¨ªa tres v¨ªas de entrada para acceder al descuento del bono social: tener rentas bajas (un m¨¢ximo de 24.000 euros si se dan otras condiciones especiales), ser familia numerosa o beneficiarse de una pensi¨®n m¨ªnima de incapacidad o jubilaci¨®n sin ingresos adicionales. ¡°Esta ¨²ltima v¨ªa deja fuera a otro tipo de pensionistas, como las viudas, y a los pensionistas que reciban alg¨²n ingreso o, tras la ¨²ltima reforma, ingresos que superen los 500 euros mensuales. Eso s¨ª, en muchos casos, esos pensionistas pueden acceder por la otra puerta de entrada, la de renta, ya que no superan los ingresos m¨¢ximos¡±, cuenta en el blog de Civio Eva Belmonte, compa?era de Cabo y responsable de la investigaci¨®n de BOSCO. ¡°Pero si esas personas marcan la casilla de pensionista, que lo son, la aplicaci¨®n rechaza su solicitud. Lo hace pese a comprobar su renta y a sabiendas de que s¨ª tienen derecho por renta¡±.

Tambi¨¦n comprobaron que cuando alguno de los miembros de la unidad familiar no daba su consentimiento para que se examinaran sus datos de renta se les denegaba. Aunque pertenecieran a una familia numerosa y por tanto tuvieran derecho a la ayuda independientemente de sus ingresos.

Rastreando un problema

¡°Nos dimos cuenta de que algo fallaba cuando vimos que solicitaba el bono social mucha menos gente de la que ten¨ªa derecho a ella¡±, dice Cabo. Seg¨²n c¨¢lculos del propio Gobierno, en 2019 ten¨ªan derecho a la ayuda unos 5,5 millones de hogares, pero el Ejecutivo estimaba que solo 2,5 la solicitar¨ªan. Al final lo hicieron 1,1 millones de familias, una cifra baja. Civio elabor¨® junto con la CNMC una gu¨ªa para que los interesados supieran c¨®mo rellenar la solicitud, una tarea compleja. Porque hay muchos papeles que presentar y no precisamente ante la Administraci¨®n. Los consumidores tienen que pedirle el bono social a las el¨¦ctricas; estas transfieren los datos de sus clientes al Gobierno, que a su vez los inserta en BOSCO. Es el sistema inform¨¢tico quien le dice luego a las operadores cu¨¢les de sus clientes pueden disfrutar de los descuentos.

Al cabo de un tiempo, algunos de los que usaron la gu¨ªa y que sab¨ªan que reun¨ªan las condiciones se quejaron de que no se les hab¨ªa concedido la ayuda. El equipo de Civio revis¨® su aplicaci¨®n y vio que estaba todo en orden. Entonces pidi¨® acceso al Ministerio de Transici¨®n Ecol¨®gica la documentaci¨®n t¨¦cnica con la que se hab¨ªa elaborado BOSCO. ¡°Vimos que hab¨ªa habido problemas en la forma en que hab¨ªan traducido el Decreto Ley en especificaciones t¨¦cnicas para la aplicaci¨®n autom¨¢tica. Lo que no sabemos es si hay m¨¢s errores en la traducci¨®n de esas especificaciones en el c¨®digo fuente¡±, se?ala Cabo.

Por eso pidieron que se les mostraran las tripas del algoritmo. El Juzgado Central de lo Contencioso Administrativo n¨²mero 8 resolvi¨® en febrero que liberar el c¨®digo violar¨ªa el derecho a la propiedad intelectual que ostenta el Gobierno y afectar¨ªa tanto a la seguridad p¨²blica como a la defensa nacional. Fuentes del Ministerio recalcan ese aspecto: facilitar el acceso al c¨®digo fuente, sostienen, podr¨ªa dar pie al hackeo del sistema. Desde Civio contraargumentan que no piden las contrase?as de nada, sino poder estudiar la arquitectura del sistema para comprobar que no perjudique a nadie. La organizaci¨®n ya ha anunciado que recurrir¨¢ la sentencia y que llegar¨¢ hasta el Tribunal Supremo.

Gobernanza algor¨ªtmica y seguridad

Gemma Galdon, directora de la consultora Eticas, cree que la sentencia era previsible. ¡°Cuando se solicita acceso al c¨®digo de los algoritmos, el due?o siempre se escuda en la propiedad intelectual. No conozco ning¨²n caso legal en el que el derecho de la empresa a protegerla haya quedado superado por el derecho al acceso¡±, subraya.

Galdon y su equipo, que tambi¨¦n siguen la pista de BOSCO desde hace tiempo, plantean una estrategia de acci¨®n diferente. ¡°Vamos a hacer una reclamaci¨®n formal para saber si se han cumplido las condiciones legales que rodean la aplicaci¨®n de un algoritmo en asuntos p¨²blicos. La ley nacional y comunitaria dice que cuando se somete un asunto p¨²blico a decisiones automatizadas ese algoritmo debe ser auditado y ser sometido a una valoraci¨®n de impacto¡±, a?ade.

Para Ana Valdivia, investigadora en el King¡¯s College London especializada en el impacto social de los algoritmos, este caso expone la llamada paradoja de la eficiencia, en referencia a la fe que tienen los gobiernos en la infalibilidad de estos programas inform¨¢ticos para gestionar asuntos p¨²blicos. ¡°Hay quien piensa que los sistemas algor¨ªtmicos toman decisiones de manera m¨¢s eficiente porque procesan informaci¨®n de forma m¨¢s r¨¢pida que los humanos y son m¨¢s baratos que la mano de obra. Pero implementar un algoritmo en la vida real es lo contrario a eficiente¡±, escribe en un art¨ªculo publicado a principios de mes junto con el jurista Javier de la Cueva. ¡°Hay que digitalizar el proceso, reunir los datos, limpiarlos, entrenar el algoritmo, evaluarlo, implementarlo en el sistema y probar que funciona en la vida real, entre otras tareas. Adem¨¢s, los errores como los de BOSCO pueden perjudicar seriamente la eficiencia¡±.

Estos dos expertos creen que el caso del bono social ilustra las fricciones entre la ley y los algoritmos. ¡°Mientras los ciudadanos deber¨ªan tener el derecho a saber si una decisi¨®n ha sido tomada por un algoritmo, los tribunales dictan sentencias a favor de la opacidad algor¨ªtmica¡±, sostienen.

La imposibilidad de acceder al c¨®digo fuente de un algoritmo que toma decisiones sobre la cosa p¨²blica tiene, a su parecer, varias implicaciones relevantes. Principalmente impide saber ¡°si se ha llegado al resultado final mediante un razonamiento que no contempla la ley¡±. En en el c¨®digo fuente donde se puede ver las categor¨ªas y delimitaciones conceptuales aplicadas por los ingenieros, que en el caso de BOSCO llevaron a error. ¡°Un sistema de caja negra, en el que las normas que determinan por qu¨¦ un caso es preferible a otro son desconocidas, afecta a la capacidad de las partes de apelar contra la decisi¨®n¡±, concluyen los acad¨¦micos.

Puedes seguir a EL PA?S TECNOLOG?A en Facebook y Twitter o apuntarte aqu¨ª para recibir nuestra newsletter semanal.