Lorena Jaume-Palas¨ª: ¡°Crear principios ¨¦ticos universales para la inteligencia artificial es una iniciativa cosm¨¦tica¡±

Bosques, praderas y los verdes pantanos de la reserva natural de Plagefenn. Son los elementos m¨¢s destacados que, seg¨²n explica Lorena Jaume-Palas¨ª, rodean la casa en la que vive con su familia. En cuanto asom¨® la pandemia, se mudaron a Niederfinow, en Brandeburgo, un pueblo de 600 vecinos atravesado por un gran canal que desemboca, 10 kil¨®metros m¨¢s all¨¢, en el ?der, el r¨ªo que marca la frontera entre Alemania y Polonia. Su hija tiene un perfil de alto riesgo y decidieron alejarse de Berl¨ªn en busca de distanciamiento social. Lo encontraron. ¡°Lo m¨¢s peligroso que puede pasar aqu¨ª es que un ciervo entre en tu jard¨ªn y se coma las manzanas del ¨¢rbol¡±, explica en conversaci¨®n telef¨®nica esta mallorquina de 44 a?os.

Bajo esa apariencia de vida mon¨¢stica se esconde una fren¨¦tica actividad profesional. A Jaume-Palas¨ª le interesa y mucho lo que sucede m¨¢s all¨¢ de la tranquila villa germana en la que se ha instalado. Se dedica a reflexionar sobre los l¨ªmites que no se deber¨ªan traspasar con el uso de las tecnolog¨ªas, especialmente de la inteligencia artificial. Es experta en ¨¦tica y filosof¨ªa del derecho aplicadas a la tecnolog¨ªa, aunque con una perspectiva interdisciplinaria que abarca la historia, la sociolog¨ªa o la ling¨¹¨ªstica. Se define como investigadora y activista, aunque hace m¨¢s cosas. Forma parte del Consejo Asesor de Inteligencia Artificial del Gobierno de Espa?a y de otro ¨®rgano an¨¢logo del Parlamento Europeo. Tambi¨¦n eval¨²a desde un punto de vista ¨¦tico los proyectos de investigaci¨®n del Instituto Max Planck, una de las instituciones cient¨ªficas m¨¢s prestigiosas del mundo. Est¨¢ comisariando un festival de tecnolog¨ªa y teor¨ªa cr¨ªtica para la ciudad de Hamburgo del que habla con mucha ilusi¨®n. Y trabaja en alg¨²n proyecto m¨¢s del que no puede hablar para no violar los contratos de confidencialidad que ha firmado.

Jaume-Palas¨ª lleg¨® a Alemania tras acabar el bachillerato. Era una alumna excelente y le interesaba casi todo. Se tom¨® un a?o para pensar a qu¨¦ se quer¨ªa dedicar. Finalmente fue a M¨²nich becada por la fundaci¨®n Studienstiftung para estudiar las teor¨ªas del rational choice, un campo acad¨¦mico interdisciplinario en el que psic¨®logos, economistas, fil¨®sofos, matem¨¢ticos o bi¨®logos estudian el comportamiento humano y animal e intentan formalizarlo. No tard¨® en florecer su inter¨¦s por la tecnolog¨ªa y los desaf¨ªos que implica para la sociedad. Tras trabajar una d¨¦cada en la ONU por medio mundo en temas relacionados con la gobernanza digital, fund¨® AlgorithmWatch, una organizaci¨®n que analiza los procesos algor¨ªtmicos con impacto social. Hace unos a?os abandon¨® la iniciativa e impuls¨® otra, The Ethical Tech Society, ¡°una no organizaci¨®n que re¨²ne a gente muy variada¡±, explica, y que se centra en estudiar desde un punto de vista multidisciplinar la relevancia social de los sistemas autom¨¢ticos.

?Podemos fiarnos de la tecnolog¨ªa?

Fiarse de las personas es una de las caracter¨ªsticas m¨¢s relevantes de los seres humanos. Y eso es clave en el contexto de la tecnolog¨ªa: confiar en quienes est¨¢n desarrollando, implementando, supervisando y usando las herramientas. Cuando hablamos de confiar en una tecnolog¨ªa, en realidad nos referimos a confiar en que la empresa que la ha desarrollado tenga buenos procesos de seguridad, de supervisi¨®n de su uso, as¨ª como en la eficacia de leyes adecuadas. No confiamos en el coche en s¨ª, sino en la marca. La confianza es algo que se da a los humanos y que se queda en los humanos.

?C¨®mo de gruesa es la l¨ªnea que separa un algoritmo que ayuda a la gente de otro que la perjudica? ?Es f¨¢cil ver esa frontera?

Depende mucho del motivo por el que surge cada tecnolog¨ªa. Hay algunas que primero se desarrollan y luego se les busca un contexto de uso. Este tipo de ideas no suelen funcionar. El propio uso de la tecnolog¨ªa depende mucho del contexto y de la ideolog¨ªa con la que se crea. Los problemas que tenemos en la tecnolog¨ªa provienen precisamente en primera instancia de todas las presuposiciones con las que se crea un determinado sistema y con las que se piensa que se puede integrar en una sociedad. Lo que es problem¨¢tico es nuestra carga ideol¨®gica europea.

?A qu¨¦ se refiere?

Solemos acusar a Silicon Valley y a China de una mentalidad nociva, de desarrollar tecnolog¨ªas poco respetuosas con los derechos de los ciudadanos. Pero es precisamente el pensamiento europeo que hemos exportado a EE UU y a otras partes del mundo lo que ha redundado en que la tecnolog¨ªa discrimine o en que est¨¦ orientada al crecimiento capitalista, todo ello en detrimento del medio ambiente o de grupos vulnerables de la sociedad. El concepto de optimizaci¨®n, por ejemplo, procede de una mentalidad muy antigua, humanista, de la que incluso estamos orgullosos en Europa. Decimos que es la cuna de la civilizaci¨®n, pero nos ha beneficiado solo a nosotros, los europeos blancos, a costa del resto del mundo. Y eso no podemos olvidarlo. Todo esto ha cristalizado en una forma de sistematizar el mundo, de hacer ciencia, de hacer normatividad. Porque cuando hablamos de tecnolog¨ªa nos referimos a desarrollar reglas y leyes, con n¨²meros, con f¨®rmulas algor¨ªtmicas. A crear un proceso en el que solo pueda haber dos tipos de persona o diez tipos de color de piel, y en el que todo lo que est¨¦ entre medias queda fuera del c¨¢lculo, se discrimina.

?La aspiraci¨®n de reducir al ser humano a cifras bebe de esa ideolog¨ªa europea?

S¨ª. El pensamiento europeo es cartesiano. Ren¨¦ Descartes quer¨ªa entender c¨®mo podemos hacer ciencia y pens¨® que hac¨ªa falta definir qu¨¦ es un ser humano para luego explorar qu¨¦ reglas podemos crear para hacer ciencia. La racionalidad cartesiana es supuestamente objetiva, implica que el ser humano se puede desprender de su color de piel, de su g¨¦nero, de su identidad sexual, de su lengua y su cultura para hacer observaciones verdaderas. Esa idea de objetividad, que es altamente cuestionable, nos lleva a creer que hay ciencias neutrales. Esa ideolog¨ªa la vemos extrapolada a la ingenier¨ªa o a otros campos, como el derecho o la medicina. Lo que estamos empezando a entender ahora, precisamente con el uso de la inteligencia artificial, es que ah¨ª no puede haber neutralidad.

La tecnolog¨ªa siempre tiene un prop¨®sito.

Exacto. Ni es buena, ni es mala, ni es neutral. En el momento en el que se decide que en un sistema entran X categor¨ªas y las dem¨¢s no existen, se est¨¢ tomando partido. Las decisiones que tomamos al formular una tecnolog¨ªa nunca son objetivas, pero en Europa creemos que lo son gracias a pensadores como Descartes o Francis Bacon. Tambi¨¦n por nuestra herencia esencialista, el af¨¢n de buscar cu¨¢l es la esencia del ser humano antes de definir un proceso. Hobbes, Locke, Rousseau o Stuart Mill exponen su visi¨®n del hombre antes de explicar cu¨¢l es la mejor forma de crear un Estado. El problema de esta visi¨®n humanista y de la Ilustraci¨®n es que tambi¨¦n legitimaron el colonialismo. Fil¨®sofos como Kant bebieron de ese acervo para empezar a categorizar a los seres humanos. Y de ah¨ª derivaron en el siglo XVIII las ideas eugenistas por las cuales unos hombres eran m¨¢s iguales que otros, y por ello era leg¨ªtimo que el ser humano racional controlara y sometiese a la naturaleza y a determinados tipos de personas, como los pueblos ind¨ªgenas y las mujeres.

?Esa herencia intelectual est¨¢ presente hoy en la tecnolog¨ªa?

Eso es parte de la historia del pensamiento humanista, pero tambi¨¦n de la historia de la teor¨ªa de la ciencia con la que hacemos tecnolog¨ªa. Google crea un sistema de reconocimiento biom¨¦trico en el que incluye 10 categor¨ªas diferentes de color de piel. Pero la piel es un continuo, hay cientos de matices. Aunque hubiese 50 categor¨ªas, fracasar¨ªan, si bien reconocen que ser¨ªa demasiado complejo trabajar con tantas variables. Y ah¨ª est¨¢ el quid de la cuesti¨®n: hay seg¨²n qu¨¦ cosas que no se pueden simplificar. Esas ideas fallan porque se basan en que primero hay que definir la esencia de una persona para optimizar un proceso. Gracias a la medicina y la biolog¨ªa sabemos que la piel no es indicador de nada. Las razas son un concepto cultural, no biol¨®gico; la piel no te puede decir de qu¨¦ identidad o cultura eres. Tener que categorizar a la gente en 10 colores de piel no tiene sentido y provocar¨¢ discriminaci¨®n, porque habr¨¢ personas mal clasificadas o que no ser¨¢n reconocidas. Todo esto proviene de esa aproximaci¨®n de hacer ciencia que tiene m¨¢s de 600 a?os de antig¨¹edad y que ha sido definida y determinada por hombres privilegiados en un continente privilegiado.

?Me puede poner alg¨²n ejemplo m¨¢s?

En 2020 hubo muchos incendios en Australia. El pensamiento occidental, cuando quiere resolver un problema, parte del individuo y luego trata de superar la naturaleza. Lo que se hizo, entre otras cosas, fue crear exoesqueletos para bomberos. Para optimizar no su seguridad, sino su fuerza, de modo que pudieran llevar todav¨ªa m¨¢s peso. Tambi¨¦n se trabaj¨® en la optimizaci¨®n de la ruta de los aviones cisterna. No funcion¨®. En ese contexto ten¨ªa mucho m¨¢s sentido lo que hizo un consorcio de tecnol¨®gicas abor¨ªgenes en el noroeste del pa¨ªs, en una reserva. Revisaron rituales que fueron prohibidos por el hombre blanco hac¨ªa m¨¢s de 200 a?os y entendieron que el fuego es parte de un proceso anual, y que lo importante es ver cu¨¢ndo tiene sentido hacer una intervenci¨®n puntual quemando maleza manualmente para evitar que en determinados momentos de sequ¨ªa el fuego sea a¨²n mayor. A partir de esos rituales, que contemplaban qu¨¦ tipo de condiciones medioambientales deb¨ªan tenerse en cuenta para hacer esos fuegos, crearon un calendario con inteligencia artificial y programaron drones de vigilancia. En esa zona hubo un 75% menos de fuegos que en el resto del pa¨ªs. Uno puede desarrollar tecnolog¨ªa, pero lo importante es entender el contexto en el que se quiere aplicar.

?C¨®mo valora la aproximaci¨®n de las empresas a la ¨¦tica de la inteligencia artificial?

Depende del frente en el que nos fijemos. Es cierto que est¨¢n surgiendo muchos grupos de investigaci¨®n que creen que se pueden desarrollar una serie de principios generales con los que los algoritmos, independientemente del contexto de uso, puedan ser dise?ados e implementados. Pero eso procede de un mal entendimiento de c¨®mo funciona la ¨¦tica. Porque esta demandar¨ªa ante todo contexto. Pretender crear principios horizontales, para todos los sectores, no son m¨¢s que iniciativas cosm¨¦ticas. Ser¨ªa como crear reglas para la estad¨ªstica que sirvieran tanto a un ginec¨®logo como a un militar. No vamos con las estad¨ªsticas de nuestro historial m¨¦dico y le decimos a nuestro banquero que nos las interprete.

?Cu¨¢l es entonces el camino?

Los principios ¨¦ticos tendr¨ªan que ser contextuales y menos enfocados en la tecnolog¨ªa. La tecnolog¨ªa se ha convertido en la excusa para no tratar problemas de asimetr¨ªas de poder dentro de contextos sociales. Se la puede culpar de las desigualdades para evitar tener que enfocarse en las injusticias sociales.

Ha mencionado antes la discriminaci¨®n algor¨ªtmica. ?C¨®mo cree que habr¨ªa que tratarla?

Creer que hay discriminaci¨®n algor¨ªtmica es una simplificaci¨®n de los problemas que surgen en la interacci¨®n con las tecnolog¨ªas. Somos animales tecnol¨®gicos. La idea de que podemos resolver el problema de la discriminaci¨®n con f¨®rmulas matem¨¢ticas ya es err¨®nea. Es mucho m¨¢s complejo que eso, va m¨¢s all¨¢ de problemas en la recolecci¨®n y procesamiento de datos o en la formulaci¨®n. Tiene mucho que ver con las intenciones y el contexto en el que usamos algo. La discriminaci¨®n de la inteligencia artificial se situ¨® en el mapa a partir de la investigaci¨®n de ProPublica sobre Compas, un sistema muy extendido en EE UU que usa inteligencia artificial para calcular las probabilidades de reincidencia de los presos cuando se estudia concederles la libertad condicional. Se vio que la herramienta era discriminatoria porque suger¨ªa desproporcionadamente a los jueces estadounidenses que la gente negra iba a volver a delinquir. Los intentos de corregirlo se centraron en ver las sugerencias que hac¨ªa el programa, pero pasaron cuatro a?os hasta que un investigador se pregunt¨® c¨®mo interpretaban el sistema los propios jueces. Y result¨® que lo hac¨ªan bas¨¢ndose en sus prejuicios: si el sistema dec¨ªa que un afroamericano ten¨ªa pocas probabilidades de reincidir y el juez era racista, retorc¨ªa el sistema para que no se le diera la condicional. Y viceversa. Volvemos al contexto: esta tecnolog¨ªa fue desarrollada por blancos para controlar poblaciones no blancas, porque sabemos que la mayor¨ªa de los reclusos de EE UU son negros. Es absurdo pensar que una m¨¢quina va a poder resolver los sesgos discriminatorios de un juez, que es la argumentaci¨®n que se dio para desarrollar Compas.

?Qu¨¦ casos le han llamado m¨¢s la atenci¨®n ¨²ltimamente de malos usos de la inteligencia artificial?

Los sistemas de predicci¨®n, cada vez m¨¢s comunes. Realmente no son predicciones, sino especulaciones hechas a partir de datos y presuposiciones del pasado. En las fronteras de la UE se est¨¢n utilizando pol¨ªgrafos que usan inteligencia artificial e intentan analizar si los refugiados dicen la verdad. En Espa?a tenemos VioG¨¦n, el sistema de predicci¨®n para intentar dilucidar si una mujer va a ser v¨ªctima de violencia dom¨¦stica. Son nuevos intentos de hallar una verdad para contextos en los que no tiene nada de sentido, porque se requiere una evaluaci¨®n individual de la persona. Y esa evaluaci¨®n individual no se puede hacer con tecnolog¨ªas que lanzan consideraciones gen¨¦ricas. Otro ejemplo son los algoritmos gen¨¦ticos, los que se usan en coches aut¨®nomos: calculan qu¨¦ pasa si el veh¨ªculo va por todas las v¨ªas posibles y, cuando prev¨¦n colisi¨®n, eliminan esa ruta del c¨®mputo. Si mi hija hiciera algo as¨ª para salir de la habitaci¨®n, d¨¢ndose golpes contra las paredes hasta que lograra pasar por la puerta, dir¨ªa que tiene un problema cognitivo, pero en tecnolog¨ªa lo llamamos aprendizaje autom¨¢tico.

?Las instituciones est¨¢n respondiendo a estos desaf¨ªos? ?Las normativas que ya ha sacado Bruselas y las que prepara van en la buena direcci¨®n?

Para nada. Por un lado, estas legislaciones europeas est¨¢n normalizando tecnolog¨ªas que no tienen ni siquiera una base cient¨ªfica, como la biometr¨ªa y el reconocimiento de emociones, que est¨¢n basados en teor¨ªas eugenistas y behavioristas que son consideradas hoy obsoletas. En el campo de la ingenier¨ªa est¨¢n siendo resucitadas sin conocimiento de causa. La UE las est¨¢ naturalizando, porque cuando pone reglas al respecto pero no las cuestiona, sino que las define como tecnolog¨ªas susceptibles de uso, las legitima. En segundo lugar, reducen el problema y el conflicto de este tipo de tecnolog¨ªa a una cuesti¨®n de seguridad y de calidad. Y, en tercer lugar, hay que recordar que son leyes mercantiles y que tienen la intenci¨®n de dise?ar tecnolog¨ªa con m¨¦todos regulatorios. Se trata de ser competitivos y participar en el mercado. Y, como pas¨® con el Reglamento General de Protecci¨®n de Datos, se busca que la regulaci¨®n pueda ser exportada y tenga impacto global. Volvemos a esa idea de imponer el modelo normativo europeo en el resto del mundo, como ya se hizo con el derecho romano y germano gracias al colonialismo. Pero no van a solucionar los problemas que plantea el uso de estas tecnolog¨ªas.

Lo que hagamos hoy definir¨¢ nuestra relaci¨®n con la inteligencia artificial en los pr¨®ximos a?os. ?Qu¨¦ mundo se encontrar¨¢ su hija de mayor?

De momento nos lo planteamos todo como un proyecto de reforma, pero estamos en una situaci¨®n medioambiental y social que no requiere reforma, sino transformaci¨®n. Y eso es algo totalmente distinto, porque implica cambiar la estructura con la que operamos. Si bien tenemos mucha ceguera en ese punto, creo que las nuevas generaciones son conscientes de nuestra historia pasada, de lo que tenemos que reparar y de esa necesidad de transformaci¨®n. Eso me da esperanza. Hay muchas iniciativas que lo contemplan. Es verdad que tambi¨¦n hay reacciones fascistas y racistas, pero son los estertores de capas privilegiadas que se ven amenazadas y por eso reaccionan de forma m¨¢s estent¨®rea. Tengo la sensaci¨®n de que hay motivos para ser optimistas. Las nuevas generaciones vienen fuerte. Y el mundo est¨¢ colapsando, as¨ª que habr¨¢ que cambiar s¨ª o s¨ª.