Un experimento logra que una m¨¢quina relacione conceptos como hacen los humanos

El cerebro humano tiene una propiedad clave que hace posible el lenguaje y nos permite elaborar pensamientos sofisticados: la generalizaci¨®n composicional. Es la habilidad de combinar de forma novedosa elementos ya conocidos con otros que se acaban de aprender. Por ejemplo, una vez que un ni?o sabe saltar, entiende perfectamente qu¨¦ significa saltar con las manos arriba o con los ojos cerrados. En la d¨¦cada de 1980 se teoriz¨® que las redes neuronales artificiales, el motor en el que se apoyan la inteligencia artificial y el aprendizaje autom¨¢tico, ser¨ªan incapaces de establecer esas conexiones...

El cerebro humano tiene una propiedad clave que hace posible el lenguaje y nos permite elaborar pensamientos sofisticados: la generalizaci¨®n composicional. Es la habilidad de combinar de forma novedosa elementos ya conocidos con otros que se acaban de aprender. Por ejemplo, una vez que un ni?o sabe saltar, entiende perfectamente qu¨¦ significa saltar con las manos arriba o con los ojos cerrados. En la d¨¦cada de 1980 se teoriz¨® que las redes neuronales artificiales, el motor en el que se apoyan la inteligencia artificial y el aprendizaje autom¨¢tico, ser¨ªan incapaces de establecer esas conexiones. Un art¨ªculo publicado en la revista Nature ha demostrado que s¨ª pueden, lo que abre potencialmente un gran campo de mejora en la disciplina.

Los autores del estudio han desarrollado un innovador m¨¦todo de entrenamiento, que han bautizado como metaaprendizaje para composicionalidad (meta-learning for compositionality, en el original en ingl¨¦s), en el que se actualiza constantemente la red neuronal y se la dirige a trav¨¦s de una serie de episodios para que sea capaz de relacionar experiencias. Posteriormente, realizaron experimentos con voluntarios a los que se les someti¨® a las mismas pruebas que a las m¨¢quinas. Los resultados muestran que la m¨¢quina fue capaz de generalizar tan bien o mejor que las personas.

¡°Durante 35 a?os, los investigadores de la ciencia cognitiva, la inteligencia artificial, la ling¨¹¨ªstica y la filosof¨ªa han debatido si las redes neuronales pueden lograr una generalizaci¨®n sistem¨¢tica similar a la humana. Hemos probado por primera vez que s¨ª¡±, afirma Brenden Lake, profesor adjunto del Centro de Ciencia de Datos y del Departamento de Psicolog¨ªa de la NYU y uno de los autores del trabajo.

Los grandes modelos de lenguaje, como ChatGPT, son capaces de generar textos coherentes y bien estructurados a partir de las instrucciones que se les d¨¦. El problema es que, antes de llegar a ser capaces de hacerlo, se les tiene que entrenar con una cantidad ingente de datos. Es decir, se procesan extens¨ªsimas bases de datos y se desarrollan algoritmos de inteligencia artificial o aprendizaje autom¨¢tico (machine learning) que sean capaces de extraer patrones y aprendan, por ejemplo, que hay una alt¨ªsima probabilidad de que a las palabras ¡°El c¨¦sped es de color¡± las siga la palabra ¡°verde¡±.

Estos procesos de entrenamiento son lentos y muy costosos en t¨¦rminos energ¨¦ticos. Para entrenar un modelo como ChatGPT, que tiene en cuenta m¨¢s de 175.000 millones de par¨¢metros, hace falta mucha capacidad computacional. Esto es, varios centros de datos (naves industriales llenas de ordenadores) funcionando d¨ªa y noche durante semanas o meses.

¡°Nosotros proponemos una soluci¨®n parcial a este problema que se basa en una idea de las ciencias cognitivas¡±, explica por tel¨¦fono Marco Baroni, investigador del ICREA y profesor del departamento de Traducci¨®n y Lenguas Sociales de la Universitat Pompeu Fabra de Barcelona y coautor del estudio. ¡°Los humanos podemos aprender muy r¨¢pidamente porque tenemos la facultad de la generalizaci¨®n composicional. Es decir, que si yo nunca he o¨ªdo la frase ¡®saltar dos veces¡¯, pero s¨ª s¨¦ qu¨¦ es ¡®saltar¡¯ y qu¨¦ es ¡®dos veces¡¯, lo puedo entender. Eso no es capaz de hacerlo ChatGPT¡±, se?ala Baroni. La herramienta estrella de OpenAI ha tenido que aprender qu¨¦ es saltar una vez, saltar dos veces, cantar una vez, cantar dos veces¡­

El tipo de entrenamiento propuesto por Lake y Baroni puede servir para que los grandes modelos de lenguaje aprendan a generalizar con menos datos de entrenamiento. El siguiente paso, dice Baroni, es demostrar que su experimento es escalable. Ya han probado que funciona en un contexto de laboratorio; ahora toca hacerlo con un modelo conversacional. ¡°No tenemos acceso a ChatGPT, que es un producto propiedad de OpenAI, pero hay muchos modelos m¨¢s peque?os y muy potentes desarrollados por centros acad¨¦micos. Usaremos alguno de ellos¡±, subraya Baroni.

Una de las intenciones de los autores es, de hecho, ¡°democratizar la inteligencia artificial¡±. El hecho de que los grandes modelos de lenguaje necesiten enormes cantidades de datos y de potencia de c¨¢lculo limita la cantidad de proveedores a un pu?ado de empresas con la infraestructura necesaria: Microsoft, Google, Amazon, Meta, etc¨¦tera. Si la propuesta de Lake y Baroni demuestra su val¨ªa entrenando este tipo de modelos, se abrir¨ªa la puerta a que operadores m¨¢s modestos puedan desarrollar sus propios sistemas y que estos no tengan nada que envidiar a ChatGPT o Bard.

El avance presentado por estos dos cient¨ªficos puede ser de utilidad tambi¨¦n en otras disciplinas. ¡°Brenan y yo venimos del campo de la psicolog¨ªa ling¨¹¨ªstica. No creemos que las m¨¢quinas piensen como los seres humanos, pero s¨ª que entender c¨®mo funcionan las m¨¢quinas puede decirnos algo acerca de c¨®mo lo hacen los humanos¡±, destaca Baroni. ¡°De hecho, demostramos que cuando nuestro sistema se equivoca, el error no es tan grueso como los de ChatGPT, sino que son parecidos a los de las personas¡±.

As¨ª ha sucedido, por ejemplo, con un fallo relacionado con la iconicidad, un fen¨®meno en ling¨¹¨ªstica presente en todas las lenguas del mundo por el que si se dice A y B, salgo de casa y voy a comer, eso quiere decir que antes salgo y luego voy a comer. ¡°En tareas de tipo experimental, si le ense?as al sujeto humano que, cuando se dice A y B, el orden correcto es B y A, suele haber fallos. Ese tipo de error tambi¨¦n lo hace nuestro sistema¡±, ilustra el investigador italiano.

?Qu¨¦ recorrido puede tener el m¨¦todo ideado por Lake y Baroni? Todo depender¨¢ de qu¨¦ suceda cuando se pruebe con grandes modelos de lenguaje. ¡°No sabr¨ªa decir si es una l¨ªnea de investigaci¨®n que vaya a ofrecer grandes avances a corto o medio plazo¡±, opina Teodoro Calonge, profesor Titular del departamento de Inform¨¢tica en la Universidad de Valladolid, quien ha revisado el c¨®digo usado en los experimentos. Y a?ade, en declaraciones a la plataforma SMC Espa?a: ¡°Desde luego, no creo que vaya a dar respuesta a los interrogantes que actualmente se plantean en el campo de la explicabilidad de la inteligencia artificial y, en particular, en el campo de la inteligencia artificial¡±.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.