VeriPol, el pol¨ªgrafo ¡®inteligente¡¯ de la polic¨ªa, puesto en cuesti¨®n por expertos en ¨¦tica de los algoritmos

La ¨¦tica se abre poco a poco espacio entre la tecnolog¨ªa. Un viento nuevo que cuestiona el mantra de que la t¨¦cnica carece de errores, de que es casi incontrovertible. Por s¨ª misma no dispone de bondad o maldad. Pero su uso, confecci¨®n y aprendizaje, siempre dependientes del ser humano, guardan estrecha relaci¨®n con tales atributos morales. Y a esta revisi¨®n se ha sometido un sistema de inteligencia artificial como VeriPol, un algoritmo dise?ado para detectar denuncias falsas y desplegado en todas las comisar¨ªas espa?olas desde hace poco m¨¢s de dos a?os.

Presentado como ¨²nico en el mundo, analiza y detecta las combinaciones de palabras m¨¢s comunes cuando se miente a un polic¨ªa. Entre las palabras que predominan en las denuncias falsas est¨¢n los ¡°tirones¡± desde ¡°atr¨¢s¡± o por la ¡°espalda¡±, de la ¡°mochila¡± o ¡°bolso¡±, efectuados por un agresor con ¡°casco¡± o vestido de ¡°negro¡±. Las descripciones no se centran normalmente en los hechos, sino en los objetos sustra¨ªdos y su valor. De acuerdo con los datos recogidos por su impulsor, el inspector Miguel Camacho, el sistema cuenta con un 91% de acierto. Como toda inteligencia artificial, su entrenamiento requiere datos. En este caso, provienen del an¨¢lisis de 1.122 denuncias de 2015 ¡ª534 verdaderas y 588 falsas¡ª.

Aqu¨ª comienzan las dudas ¨¦ticas. Aunque la polic¨ªa no ha querido contestar a ninguna pregunta, la informaci¨®n recabada para poner en marcha VeriPol desatiende la diversidad social de Espa?a, seg¨²n algunos expertos en privacidad. La mayor¨ªa de datos proceden de Andaluc¨ªa, seg¨²n los expertos consultados, y por ello, como argumenta Ricardo Baeza-Yates, director de Ciencia de Datos en la Northeastern University y catedr¨¢tico de Inform¨¢tica de la Universitat Pompeu Fabra, la cobertura de todo el espacio muestral del lenguaje no est¨¢ reflejada en el sistema. ¡°El problema no es ya la cantidad, que un millar no es mucho, sino la variedad de vocablos empleados en Espa?a. Para m¨ª es un error extrapolar el uso del lenguaje en Andaluc¨ªa a otras autonom¨ªas como Galicia y Pa¨ªs Vasco. Por no mencionar los inmigrantes, que ni est¨¢n incluidos¡±.

Una de las programadoras del algoritmo, Lara Quijano, profesora e investigadora en la Universidad Aut¨®noma de Madrid, afirma que el entrenamiento al que se someti¨® a la inteligencia artificial parti¨® de poco m¨¢s de un millar de datos an¨®nimos, escogidos aleatoriamente. Un polic¨ªa trabaj¨® durante todo un a?o eliminando cualquier referencia que permitiera geolocalizar la denuncia. Ni nombres ni calles ni barrios. ¡°As¨ª evit¨¢bamos caer en sesgos innecesarios. Nos aseguramos de que el algoritmo era incapaz de procesar alguna referencia a una localidad o ¨¢rea geogr¨¢fica concreta. Esto queda recogido en el art¨ªculo de investigaci¨®n que publicamos¡±.

No existe una cifra m¨¢gica v¨¢lida, pero Baeza-Yates establece como realmente representativo uno por 10.000 habitantes de cada Comunidad. Lorena Jaume-Palasi, integrante del consejo asesor del Gobierno para inteligencia artificial, entiende que una herramienta como VeriPol requiere unos datos din¨¢micos, capaces de atender a todo tipo de culturas socioling¨¹¨ªsticas. Pone el ejemplo de una mujer musulmana que vaya a denunciar, que cuenta con sus propias expresiones e incluso puede sentirse amedrentada al verse rodeada de muchos hombres y alterar su forma de hablar. ¡°El lenguaje corporal tambi¨¦n importa en la denuncias y aqu¨ª no aparece. Este sistema crea tipos ideales. No describe la realidad, sino que, de forma artificial, establece una descripci¨®n mecanizada de la realidad. La realidad es m¨¢s din¨¢mica que solo unas palabras¡±, precisa Jaume-Palasi.

Los sesgos se acrecientan un poco m¨¢s por la forma en que se emplea VeriPol. En principio, deber¨ªa procesar el lenguaje natural de los denunciantes, aunque, en realidad, descifra aquello que los polic¨ªas recogen en las denuncias. El algoritmo no interpreta directamente las palabras y expresiones de quienes acuden a una comisar¨ªa. Nadie duda de la profesionalidad del Cuerpo Nacional de Polic¨ªa, sino del entrenamiento que recibe la inteligencia artificial en un asunto tan sensible, que conlleva sanciones administrativas y hasta penales. ¡°Que se equivoque un 9% implica que el sistema acusa err¨®neamente a nueve de cada 100 personas. Y esto es un conflicto ¨¦tico muy grave¡±, sostiene Baeza-Yates.

Rebekah Overdorf, ingeniera inform¨¢tica e investigadora en la Universidad Polit¨¦cnica de Lausana, recuerda que, como cualquier otro modelo de machine learning, este sistema aprende patrones a partir de los datos provistos. En este caso, los atestados policiales establecen la frontera entre verdad y mentira. Es decir, si la denuncia de una v¨ªctima recogida por un polic¨ªa, por el motivo que sea, emplea un lenguaje similar al de las falsas, ser¨ªa definido por el sistema como enga?oso ¡ªaun cuando s¨ª ha sufrido un robo¡ª. ¡°Esta herramienta no muestra si un testimonio es falso. ?nicamente concluye cu¨¢nto se parece a las denuncias que ya han sido previamente catalogadas como verdaderas o falsas durante el entrenamiento¡±, razona.

Mayor normativa espec¨ªfica

La polic¨ªa recordaba en la presentaci¨®n de la herramienta que en ning¨²n caso VeriPol enjuicia a los denunciantes, sobre todo porque ser¨ªa ilegal debido a que est¨¢ prohibido sancionar a una persona solo tras un proceso de automatizaci¨®n. La decisi¨®n final depende de los agentes. El debate legal, entonces, se traslada a c¨®mo regular el uso de la inteligencia artificial. Natalia Martos, fundadora de Legal Army, aboga por desarrollar en Espa?a una normativa espec¨ªfica, que atienda el impacto de la automatizaci¨®n en ¨¢mbitos tan sensibles como el del perfilado social. ¡°Podr¨ªamos estar indefensos ante determinadas decisiones que dejamos en manos de las m¨¢quinas. Vamos con retraso en la regulaci¨®n. Finlandia, Singapur y Jap¨®n ser¨ªan unos buenos ejemplos de c¨®mo afrontar esta realidad¡±.

Al margen de discutir si resulta factible homogeneizar el concepto de veracidad y falsedad, la ciencia de datos ha demostrado que pol¨ªgrafos como VeriPol no son concluyentes, les falta validez para usarlos como prueba. Para Jaume-Palasi es a¨²n m¨¢s delicado que se se?ale a las presuntas v¨ªctimas, cuyo testimonio se pone en entredicho directamente por las autoridades policiales ¡ªseg¨²n cifras de la polic¨ªa, en 2019 utiliz¨® el algoritmo en un 35% de las denuncias¡ª. ¡°Conceptualmente es muy problem¨¢tico. Estamos cambiando los fundamentos jur¨ªdicos. Ya no hablamos de in dubio pro reo (en caso de duda favorecer al acusado). Cuestionamos directamente a las v¨ªctimas¡±.

Tambien hay dudas sobre el dilema entre falsos positivos y falsos negativos que siempre acompa?a a la inteligencia artificial. La relevancia aqu¨ª es que hablamos tanto de personas que logran salirse con la suya como de otras acusadas injustamente ¡ª¡±y los errores siempre van ocurrir con la tecnolog¨ªa¡±, apunta Overdorf¡ª. La sociedad ha de plantearse d¨®nde pone el list¨®n de la tolerancia. ¡°?Debemos aceptar m¨¢s denuncias falsas con el fin de no acusar a una v¨ªctima inocente? ?A cu¨¢ntos inocentes estamos dispuestos a acusar para atrapar a los malos? ?Qui¨¦n determina este umbral? ?Un programador? ?El legislador? ?Es arbitrario?¡±, plantea Overdorf.

Una forma de atajar tales disyuntivas, al menos as¨ª lo desliza Baeza-Yates, ser¨ªa crear una regulaci¨®n para que un comit¨¦ de ¨¦tica externo, sin conflictos de inter¨¦s, apruebe los algoritmos empleados por instituciones y empresas que afecten a las personas. ¡°Hay un tendencia de que la tecnolog¨ªa puede hacer m¨¢s de lo que realmente puede. Ah¨ª est¨¢ la frenolog¨ªa tecnol¨®gica. La ciencia existe, pero la aplicamos falsamente, como a la hora de identificar criminales por sus rasgos faciales o para determinar si alguien miente por c¨®mo se expresa¡±.

Diferentes expertos exigen que VeriPol se siente en el div¨¢n de la ¨¦tica. Jaume-Palasi se muestra categ¨®rica al definirlo como un sistema de victimizaci¨®n, que parte de conceptos sesgados debido a c¨®mo extrae y eval¨²a los datos. La m¨¢quina exagera un determinado ¨¢ngulo de las denuncias. Cuanto m¨¢s se utilice, m¨¢s ampl¨ªa la visi¨®n y la manera de ver la realidad con la que ha sido entrenada. ¡°En inteligencia artificial hace falta un trabajo interdisciplinar. No podemos pedir que un ingeniero sea jurista, soci¨®logo y cient¨ªfico del dato. No hay modelo perfecto ni tampoco una estad¨ªstica 100% v¨¢lida¡±, concluye.

Puedes seguir a EL PA?S TECNOLOG?A en Facebook, Twitter, Instagram o suscribirte aqu¨ª a nuestra Newsletter.