La caja negra de la IA que se resiste a los investigadores

Cuando una red neuronal se ejecuta ni los investigadores m¨¢s especialistas saben qu¨¦ est¨¢ ocurriendo. Y no hablamos de biolog¨ªa sino de un algoritmo de inteligencia artificial ¡ªaquellos basados en aprendizaje profundo¡ª que por imitar las conexiones entre neuronas se denominan as¨ª. Este tipo de sistemas mantienen una caja negra indescifrable para los cient¨ªficos de datos, las mentes m¨¢s brillantes de la academia o los ingenieros de OpenAI y Google, y acaban de recibir el premio Nobel.

Las matem¨¢ticas que sirven de fundamento a estos algoritmos se comprenden bien. Pero no as¨ª los comportamientos que genera la red. ¡°Aunque sabemos qu¨¦ datos entran en el modelo y cu¨¢l es la salida, es decir, el resultado o la predicci¨®n, no podemos explicar de manera clara c¨®mo se lleg¨® a esta salida¡±, se?ala Ver¨®nica Bol¨®n Canedo investigadora de IA en el Centro de Investigaci¨®n en Tecnolox¨ªas da Informaci¨®n e as Comunicaci¨®ns da Universidade da Coru?a.

Esto sucede con ChatGPT, Google Gemini, Claude (el modelo de la startup Anthropic), Llama (el de Meta) o cualquier generador de im¨¢genes como Dall-E. Pero tambi¨¦n con todo sistema basado en redes neuronales, en aplicaciones de reconocimiento facial o motores de recomendaci¨®n de contenido.

Otros algoritmos de inteligencia artificial, como los ¨¢rboles de decisi¨®n o la regresi¨®n lineal, empleados en medicina o econom¨ªa, s¨ª son descifrables. ¡°Sus procesos de decisi¨®n pueden interpretarse y visualizarse f¨¢cilmente. Se pueden seguir las ramas del ¨¢rbol para saber exactamente c¨®mo se lleg¨® a un resultado determinado¡±, indica Bol¨®n.

Esto es importante porque inyecta transparencia al proceso y, por tanto, ofrece garant¨ªas a quien utiliza el algoritmo. No en vano, el Reglamento de IA de la UE insiste en la necesidad de tener sistemas transparentes y explicables. Y esto es algo que la propia arquitectura de las redes neuronales impide. Para entender la caja negra de estos algoritmos hay que visualizar una red de neuronas o nodos conectados entre s¨ª.

¡°Cuando metes un dato en la red quiere decir que empiezas a calcular. Disparas los c¨¢lculos con los valores que hay en los nodos¡±, apunta Juan Antonio profesor de investigaci¨®n en el Instituto de investigaci¨®n de Inteligencia Artificial del CSIC. La informaci¨®n entra en los primeros nodos y de ah¨ª se propaga, viajando en forma de n¨²meros a otros nodos, que a su vez la rebotan a los siguientes. ¡°Cada nodo calcula un n¨²mero, que env¨ªa a todas sus conexiones, teniendo en cuenta el peso (el valor num¨¦rico) de cada conexi¨®n. Y los nuevos nodos que lo reciben calculan otro n¨²mero¡±, a?ade el investigador.

Hay que tener en cuenta que los modelos de deep learning (aprendizaje profundo) actuales tienen miles o millones de par¨¢metros. Estos indican el n¨²mero de nodos y de conexiones que tiene la red despu¨¦s de haber sido entrenada y, por tanto, todos los valores que pueden influir en el resultado de una consulta. ¡°En las redes neuronales profundas hay much¨ªsimos elementos que se multiplican y se combinan. Esto hay que imagin¨¢rselo en millones de elementos. Es imposible sacar de ah¨ª una ecuaci¨®n con sentido¡±, asevera Bol¨®n. La variabilidad es alt¨ªsima.

Algunas fuentes de la industria han estimado que GPT-4 tiene casi 1,8 billones de par¨¢metros. Seg¨²n esta tesis, para cada idioma utilizar¨ªa unos 220.000 millones de par¨¢metros. Esto significa que hay 220.000.000.000 variables que pueden impactar en la respuesta del algoritmo cada vez que se le pregunta algo.

A la caza de sesgos y otros problemas

Debido a la opacidad de estos sistemas es m¨¢s dif¨ªcil corregir sus sesgos. Y la falta de transparencia genera desconfianza a la hora de usarlos, sobre todo en ¨¢mbitos delicados, como la atenci¨®n m¨¦dica o la justicia. ¡°Si entiendo lo que hace la red puedo analizarla y predecir si va a haber errores o problemas. Es una cuesti¨®n de seguridad¡±, advierte Rodr¨ªguez Aguilar. ¡°Querr¨ªa saber cu¨¢ndo funciona bien y por qu¨¦. Y cu¨¢ndo no funciona bien y por qu¨¦¡±.

Los grandes nombres de la IA son conscientes de esta carencia y trabajan en iniciativas para tratar de entender mejor c¨®mo funcionan sus propios modelos. El enfoque de OpenAI consiste en usar una red neuronal para observar el mecanismo de otra red neuronal con el fin de comprenderlo. Anthropic, la otra startup puntera y cuyos fundadores provienen de la anterior, estudia las conexiones que se forman entre los nodos y el circuito que se genera al propagarse la informaci¨®n. Ambas buscan elementos m¨¢s peque?os que los nodos, como los patrones de activaci¨®n de estos o sus conexiones, para analizar el comportamiento de una red. Acuden a la m¨ªnima expresi¨®n con la intenci¨®n de escalar el trabajo, pero no es f¨¢cil. ¡°Tanto OpenAI como Anthropic intentan explicar redes mucho m¨¢s peque?as. OpenAI intenta entender las neuronas de GPT-2, porque la red de GPT-4 es demasiado grande. Tienen que empezar con algo mucho m¨¢s peque?o¡±, aclara Rodr¨ªguez Aguilar.

Descifrar esta caja negra tendr¨ªa beneficios. En los modelos de lenguaje, los algoritmos m¨¢s populares en estos momentos, se evitar¨ªan razonamientos equivocados y se limitar¨ªan las famosas alucinaciones. ¡°Un problema que potencialmente podr¨ªas resolver es que muchas veces los sistemas dan respuestas inconsistentes. Ahora se funciona de una manera muy emp¨ªrica. Como no sabemos interpretar la red, se hace un entrenamiento lo m¨¢s exhaustivo posible y, si funciona bien el entrenamiento y se pasa el test, se lanza el producto¡±, explica Rodr¨ªguez Aguilar. Pero este proceso no siempre sale bien, como qued¨® claro en el lanzamiento de Google Gemini, que al principio generaba im¨¢genes de nazis con rasgos asi¨¢ticos o vikingos negros.

Este vac¨ªo de informaci¨®n sobre c¨®mo funcionan los algoritmos tambi¨¦n estar¨ªa en consonancia con las aspiraciones legislativas. ¡°El Reglamento europeo de la IA exige que los desarrolladores proporcionen explicaciones claras y comprensibles sobre c¨®mo funcionan los sistemas de IA, especialmente en aplicaciones de alto riesgo¡±, incide Bol¨®n, aunque matiza que los sistemas se podr¨¢n usar si los usuarios reciben explicaciones suficientes sobre las bases de las decisiones que toma el sistema.

Rodr¨ªguez Aguilar coincide en que hay herramientas para poder explicar los resultados del algoritmo, aunque no se sepa exactamente qu¨¦ ocurre durante el proceso. ¡°Pero lo m¨¢s preocupante, m¨¢s que la explicabilidad y la transparencia, para m¨ª es el tema de la robustez, que los sistemas sean seguros. Lo que se busca es identificar circuitos en la red que puedan no ser seguros y den lugar a comportamientos que no sean seguros¡±, destaca.

El objetivo final es mantener bajo control a la IA, sobre todo cuando se utilice en cuestiones sensibles. ¡°Si vas a colocar una IA que sugiera tratamientos en un hospital, que dirija un veh¨ªculo aut¨®nomo o que d¨¦ recomendaciones financieras, hay que estar seguros de que funciona¡±. De ah¨ª la obsesi¨®n de los investigadores por entender qu¨¦ ocurre en las tripas de un algoritmo. Va m¨¢s all¨¢ de una curiosidad cient¨ªfica.