Cuando el gatillo lo dispara un algoritmo

La IA no forma parte de la guerra del futuro, sino del presente. Aunque su uso queda muchas veces oculto bajo el secreto militar, se sabe que en los conflictos del Alto Karabaj, Ucrania o Gaza se ha empleado profusamente y ha multiplicado la capacidad de alguno de los contenientes en campos como la log¨ªstica, la selecci¨®n de blancos, la defensa antia¨¦rea o el lanzamiento de ataques coordinados. La posibilidad de procesar millones de datos en segundos acorta el tiempo de reacci¨®n, elevando el ritmo del combate hasta una velocidad que el ser humano es incapaz de seguir, y aboca al riesgo de que sea la m¨¢quina la que lleve la iniciativa.

Mientras la revoluci¨®n de la tecnolog¨ªa militar se acelera, pol¨ªticos y juristas avanzan a su propio ritmo, con debates que se prolongan meses o incluso a?os, en la discusi¨®n de un marco legal que permita hacer frente a un nuevo escenario en el que el dedo que aprieta el gatillo puede acabar siendo un algoritmo.

¡°El debate que se plantea con estas tecnolog¨ªas es si hace falta un nuevo derecho internacional que las regule o basta con rellenar lagunas, reinterpretar el derecho existente; y, entretanto, establecer normas de conducta responsable por parte de los Estados¡±, reflexiona el general auditor Jer¨®nimo Dom¨ªnguez Bascoy, un estudioso de las implicaciones de las nuevas tecnolog¨ªas militares en el derecho internacional humanitario.

Aunque el uso militar de la IA ha saltado a la opini¨®n p¨²blica con motivo de la ofensiva sobre Gaza, la primera vez de la que hay constancia de su empleo en combate fue hace tres a?os precisamente en el mismo escenario, con la Operaci¨®n Guardian de los Muros, de las Fuerzas de Defensa de Israel (IDF), sobre la Franja. Un alto oficial del Ej¨¦rcito israel¨ª la calific¨® entonces como ¡°la primera guerra de IA de la historia¡±.

Hay dudas de que fuese realmente la primera, pues el informe de un panel de Naciones Unidas menciona el uso en 2019, en la guerra civil libia, del Kargu 2, un dron turco que presum¨ªa de su capacidad de ataque aut¨®nomo. Ante la pol¨¦mica, los fabricantes alegaron que se refer¨ªan a su ¡°autonom¨ªa de navegaci¨®n¡±, no a que disparase sin intervenci¨®n humana. Menos dudas presenta el empleo del Harop, el dron de origen israel¨ª empleado por Azerbay¨¢n en el conflicto de Nagorno-Karabaj, al que se atribuye buena parte de su victoria sobre Armenia, en enero pasado; o el incremento exponencial de las llamadas municiones merodeadoras, que sobrevuelan como aves rapaces hasta localizar un blanco, en la invasi¨®n de Ucrania.

La IA tiene una amplia gama de aplicaciones militares; algunas m¨¢s inocuas, como la log¨ªstica o el mantenimiento predictivo, que permite anticipar cu¨¢ndo sustituir cada pieza mediante la implantaci¨®n de m¨²ltiples sensores en veh¨ªculos, buques o aviones. Tambi¨¦n se utiliza en misiones ISR (Inteligencia, Vigilancia y Reconocimiento) y mejora exponencialmente la eficacia de los sistemas de mando y control. Su incorporaci¨®n a la C¨²pula de Hierro ha permitido que este escudo antia¨¦reo israel¨ª multiplique su capacidad para identificar drones y misiles en caso de ataque masivo y priorice los que debe neutralizar antes por su mayor peligrosidad.

¡°Hay otras funciones m¨¢s controvertidas¡±, admite Dom¨ªnguez Bascoy, tambi¨¦n diplomado en Derecho Internacional Militar, que ha trabajado como asesor jur¨ªdico en varios cuarteles generales de la OTAN y la Uni¨®n Europea. Las IDF han utilizado en su ofensiva sobre Gaza el Habsora (Evangelio, en hebreo), un sistema de producci¨®n a gran escala de objetivos militares. ¡°Desde el punto de vista jur¨ªdico no es un arma, es una herramienta de apoyo a la decisi¨®n¡±, explica el general. ¡°Te da en unos segundos lo que equipos humanos tardar¨ªan semanas en producir: cientos de objetivos militares, bas¨¢ndose en datos obtenidos por m¨²ltiples sensores y en informaci¨®n de campa?as anteriores¡±.

Se supone que el uso de la IA deber¨ªa implicar mayor precisi¨®n en los ataques y menos da?os colaterales, pero en Gaza sucede lo contrario.

¡°Suponemos que los objetivos que selecciona el IDF son leg¨ªtimos; es decir, combatientes de Ham¨¢s. Sin embargo, por lo que vemos, Israel tiene una gran tolerancia a los da?os colaterales, est¨¢ dispuesto a pagar el precio de un alto n¨²mero de v¨ªctimas civiles para conseguir su prop¨®sito. Y eso nos lleva a otro principio del derecho internacional: la proporcionalidad. Hay que evaluar la ventaja militar que se obtiene y el da?o que se causa. Si el da?o civil incidental tiene mucho m¨¢s peso que la ventaja militar, ese ataque puede ser considerado ilegal e incluso un crimen de guerra. Esa evaluaci¨®n solo est¨¢ al alcance del ser humano, porque hay que sopesar aspectos pol¨ªticos, legales y ¨¦ticos¡±.

En un momento en que se habla del campo de batalla transparente, en el que gracias a la multiplicidad de sensores es posible conocer en tiempo real todo lo que sucede en el teatro de operaciones, la IA introduce una caja negra: el algoritmo, cuyos par¨¢metros son una inc¨®gnita.

¡°El problema que plantea el uso de la IA para el targeting letal [selecci¨®n de blancos a eleminar] es que est¨¦ condicionado por el sesgo que se haya introducido [al programarlo]. La m¨¢quina no tiene moral, no se le pueden pedir cuentas, siempre tiene que haber un humano al que responsabilizar de posibles errores o cr¨ªmenes de guerra que pueda cometer un robot¡±, explica este experto en derecho de la guerra.

En teor¨ªa, quien toma la decisi¨®n ¨²ltima de disparar es el mando militar, pero este dispone de solo unos segundos para decidir.

¡°Es el llamado sesgo de automatizaci¨®n, el riesgo de que el operador, sometido a presi¨®n, acepte acr¨ªticamente todo lo que le propone la m¨¢quina sin contrastarlo. Ya en el targeting tradicional, distinguimos entre el blanco deliberado y el de oportunidad. Creo que la m¨¢quina puede servir de apoyo para el primero, en el que hay tiempo para hacer todo el proceso, incluido el asesoramiento jur¨ªdico y el c¨¢lculo de proporcionalidad. No para el segundo¡±.

Entre los blancos de oportunidad de la guerra de Gaza figuraba la caravana de World Central Kitchen, la ONG del chef espa?ol Jos¨¦ Andr¨¦s, que, pese a estar claramente identificada, fue atacada por el Ej¨¦rcito israel¨ª el pasado 2 de abril cuando repart¨ªa comida en la Franja, con un saldo de siete cooperantes muertos.

¡°Aunque en este caso el ¡®error de identificaci¨®n¡¯ parece que fue exclusivamente humano, no fruto de una decisi¨®n apoyada en una herramienta de IA, resultar¨ªa necesario que, m¨¢s all¨¢ de destituciones y amonestaciones, Israel pusiera en marcha una investigaci¨®n de naturaleza penal. De lo conocido derivan serias dudas en cuanto al respeto a dos principios b¨¢sicos del derecho internacional humanitario: el de distinci¨®n ¡ªsi no est¨¢ claro el estatus de una persona, debe presumirse que es civil¡ª y el de proporcionalidad¡±.

La m¨¢quina no tiene moral, no se le pueden pedir cuentas, siempre tiene que haber un humano al que responsabilizar de posibles errores o cr¨ªmenes de guerra que pueda cometer un robot

Adem¨¢s del Habsora, que selecciona objetivos, el IDF ha empleado en Gaza otro programa de AI: el Lavender (Lavanda), dedicado a identificar a supuestos cuadros de Ham¨¢s o la Yihad Isl¨¢mica como blancos humanos. El sistema compara los datos disponibles de un individuo con una serie de patrones (sexo, edad, antecedentes, itinerarios, relaciones sociales, etc¨¦tera) y aplica un c¨¢lculo de probabilidad del 1 al 10. Si la puntuaci¨®n es muy alta, se considera un blanco leg¨ªtimo.

Para seguir el rastro del supuesto terrorista, se utiliza otro programa, denominado Where is Daddy? (?D¨®nde est¨¢ papa?). Las ejecuciones se realizan de noche, cuando los sospechosos est¨¢n en sus domicilios, lo que provoca cuantiosas v¨ªctimas civiles. Eso sin contar con que su margen de error se estima en un 10%. Seg¨²n una investigaci¨®n de los medios israel¨ªes +972Magazine y Local Call, Lavande se emple¨® para asesinar a 15.000 palestinos en el primer mes y medio de ofensiva sobre Gaza.

Los sistemas de armas con IA se clasifican en tres categor¨ªas en funci¨®n del grado de intervenci¨®n humana. Se llama human in the loop (humano en el circuito) al procedimiento en el que el ser humano juega un papel fundamental en la toma de decisiones; decide el despliegue del sistema y tambi¨¦n qu¨¦ y cu¨¢ndo atacar. En cambio, se habla de human on the loop (humano sobre el circuito) cuando la persona se limita a supervisar el funcionamiento del sistema, por si hay que desactivarlo. Finalmente, en human off the loop (humano fuera del circuito), el control humano desaparece por completo una vez puesto en marcha.

En 2013, un grupo de oeneg¨¦s, encabezado por Human Rigth Watch y Amnist¨ªa Internacional, lanz¨® la campa?a Stop Killer Robots (Alto a los Robost Asesinos) para prohibir las armas aut¨®nomas. El Comit¨¦ Internacional de la Cruz Roja (CICR), que inicialmente era reacio a aprobar nuevos instrumentos legales, porque supon¨ªa reconocer que las Convenciones de Ginebra ten¨ªan lagunas, ha cambiado de opini¨®n: en octubre pasado, la presidenta del CICR, Mirjana Spoliari, y el secretario general de la ONU, Ant¨®nio Guterres, dieron la voz de alarma sobre el ¡°funcionamiento imprevisible¡± de las armas aut¨®nomas e hicieron un llamamiento a los l¨ªderes mundiales para que acordaran un r¨¦gimen de prohibiciones y restricciones de su uso antes de 2026.

Hasta ahora, ha habido escasos avances. En 2014, bajo la presi¨®n de la campa?a Stop Killer Robots, se abri¨® un debate en el seno de la Convenci¨®n de la ONU sobre ciertas armas convencionales y en 2017 se cre¨® un grupo de expertos gubernamentales con el objetivo de intentar fijar unos criterios consensuados.

¡°La verdad es que este grupo ha dado muchas vueltas y ha avanzado muy poco¡±, reconoce el general Dom¨ªnguez Bascoy. ¡°En 2018 hicieron un informe en cuyo anexo fijan los principios que deben guiar el debate. Fue un avance porque dicen que se debe aplicar el derecho internacional humanitario, que siempre tiene que haber un responsable humano o que estos sistemas no se deben antropomorfizar; es decir, no podemos tener un robot de apariencia humana, una especie de Terminator. Es algo que acordaron un¨¢nimemente. El problema es que no hay acuerdo sobre qu¨¦ es un sistema aut¨®nomo letal, sobre a qu¨¦ hay que aplicarlo¡±.

Un sistema que no sea predecible debe estar prohibido

EE UU es contrario a una regulaci¨®n estricta, con prohibiciones y limitaciones, alegando que se trata de tecnolog¨ªas en desarrollo y cualquier normativa puede quedarse desfasada. ¡°Es m¨¢s partidario ¡ªexplica este general auditor¡ª de lo que se denomina soft law [derecho blando] que de instrumentos jur¨ªdicamente vinculantes¡±.

En febrero de 2023, el Departamento de Estado difundi¨® una declaraci¨®n pol¨ªtica, actualizada en noviembre pasado, sobre Uso Responsable de la Inteligencia Artificial y Autonom¨ªa en el ?mbito Militar. Su objetivo es llegar a un consenso internacional, lo m¨¢s amplio posible, en torno al desarrollo, despliegue y utilizaci¨®n de la IA militar. M¨¢s de 50 pa¨ªses se han adherido a la declaraci¨®n, incluida Espa?a.

¡°Es un c¨®digo de buenas pr¨¢cticas, porque Estados Unidos cree que, en este campo, lo que deben hacer los Estados es autolimitarse¡±, se?ala. ¡°La ambici¨®n de la ONU y del Comit¨¦ Internacional de la Cruz Roja es mucho m¨¢s potente; quieren un instrumento vinculante que establezca limitaciones y prohibiciones¡±.

El Ministerio de Defensa espa?ol aprob¨® en julio pasado una Estrategia de Uso de la IA en la que se advierte de que su empleo ¡°estar¨¢ condicionado a la clara e inequ¨ªvoca posibilidad de identificar a la persona responsable del sistema¡±. Espa?a no prev¨¦ inicialmente incorporar la IA al armamento letal, sino a campos como inteligencia, log¨ªstica o ciberdefensa, pero el protocolo advierte de que ¡°estos casos de uso iniciales no impiden la incorporaci¨®n [en el futuro] de otros de inter¨¦s para el Ministerio de Defensa¡±. Es decir, no se descarta nada.

Entre los 50 pa¨ªses que se han adherido a la declaraci¨®n de Washington sobre uso militar de la IA, no est¨¢ Israel, uno de sus mayores aliados.

¡°No est¨¢ porque imagino que no quiere autolimitarse¡±, apunta el general Jer¨®nimo Dom¨ªnguez Bascoy.

Resulta inquietante que esa declaraci¨®n llame a asegurar la capacidad de desactivar las armas aut¨®nomas cuando tengan ¡°un comportamiento no deseado¡±. ?Cabe la posibilidad de que escapen al control del ser humano?

¡°Es un riesgo¡±.

Una pesadilla.

¡°Con la IA, el aprendizaje no queda congelado en un momento determinado. Cuando incorporas un sistema de armas, debes revisar si es acorde al derecho internacional; pero. una vez que lo pones en marcha, ese sistema no es est¨¢tico, sigue aprendiendo por s¨ª mismo. El riesgo es que la m¨¢quina acabe escapando de las manos de su creador. T¨² sabes c¨®mo funciona en los ensayos, pero no c¨®mo responder¨¢ en el campo de batalla, por eso un sistema que no sea predecible debe estar prohibido. Pasos como la declaraci¨®n de Estados Unidos son importantes, pero insuficientes. Yo soy partidario de llegar a un acuerdo internacional jur¨ªdicamente vinculante que establezca reglas claras. No va a ser f¨¢cil¡±.