?Por qu¨¦ alucinar con GPT-4? Una idea escurridiza sobre su poder

Ha sido una semana importante para la inteligencia artificial. Los gigantes Google y Microsoft, inmersos en una feroz competici¨®n, anunciaron cada uno por separado que van a integrar una IA asistente en sus aplicaciones m¨¢s populares, desde Gmail a Word. Un algoritmo escribir¨¢ tus correos; Google Docs podr¨¢ reescribir tus peores p¨¢rrafos, y un copiloto, como lo llaman en Microsoft, sabr¨¢ analizar tus tablas de Excel para decirte con palabras lo que encuentra.

Adem¨¢s, claro, lleg¨® GPT-4.

Se acaba de actualizar el modelo de lenguaje que mueve a ChatGPT, la aplicaci¨®n responsable de catapultar esta nueva tecnolog¨ªa hasta la popularidad de masas. GPT-4 es m¨¢s potente ¡ªes decir, m¨¢s inteligente¡ª y a?ade nuevas funciones. Se presenta con un curr¨ªculo impresionante: esta versi¨®n es capaz de aprobar un mont¨®n de ex¨¢menes de nivel universitario, en escritura, comprensi¨®n lectora o matem¨¢ticas, a menudo con unas notas que lo colocar¨ªan entre el 10% mejor de la clase.

Hay muchos ejemplos de sus capacidades. GPT-4 puede mirar una foto de un esquema pintado a mano y crear una web sencilla; puede programar peque?os videojuegos o resumir y comparar art¨ªculos largos. Yo le pas¨¦ el test de l¨®gica de ¡®Piensa claro¡¯, que hizo muy bien.

Pero hoy quiero detenerme en una caracter¨ªstica de estas inteligencias artificiales que se malinterpreta. Se presenta como una limitaci¨®n de GPT-4 y otros modelos similares, cuando es, bajo mi punto de vista, un motivo de asombro.

Diferenciar entre capacidades y objetivos

Una cr¨ªtica com¨²n a estas inteligencias artificiales consiste en decir que ?solo? son modelos estad¨ªsticos que predicen cu¨¢l es la palabra m¨¢s probable para continuar un texto. No hacen nada m¨¢s, dicen sus cr¨ªticos, no son nada espectacular.

Es al rev¨¦s.

Es cierto que GPT-4 ha aprendido as¨ª, en gran medida. Su entrenamiento consisti¨® en jugar un juego muy simple: dada una secuencia de texto, deb¨ªa predecir la siguiente palabra (o token) y acertar con la m¨¢xima frecuencia que pudiese. Por ejemplo, ante la frase ?Benidorm es un destino de sol y ___?, seguramente ganaba diciendo ?playa?. Su aprendizaje consisti¨® en jugar ese juego, una y otra vez, con una frase y luego con otra, hasta usar casi todo el texto de internet y acabar siendo buen¨ªsimo en ese juego diminuto.

Por lo tanto, s¨ª, GPT entren¨® con el objetivo de predecir palabras, pero sus capacidades que emergieron de ese aprendizaje pueden ser muchas otras. Habilidades de lenguaje, de l¨®gica o de razonamiento. Y no es f¨¢cil saber exactamente cu¨¢les tiene, porque lo que sucede dentro de una red neuronal es algo en gran medida desconocido.

Para apreciar la diferencia es ¨²til entender c¨®mo funciona GPT y c¨®mo es su aprendizaje. Los grandes modelos de lenguaje son un tipo de redes neuronales, unas estructuras matem¨¢ticas que pueden verse como una enorme tabula rasa, con miles de millones de posibles conexiones entre nodos, conectando sus entradas (un texto; a veces im¨¢genes) con sus salidas (otro texto). Imaginad una m¨¢quina de pinball gigantesca, donde las entradas son las bolas que rebotan por toda la estructura para, seg¨²n sus propiedades, acabar en ciertas salidas. La red es una estructura flexible capaz de generar formas funcionales enormemente complejas.

Pero es trascendental entender que ning¨²n programador altera esa estructura a mano. No inserta reglas concretas.

Entonces ?c¨®mo se organiza esa red para funcionar? ?De d¨®nde sale la configuraci¨®n concreta que logra que GPT-4 sepa sumar, finja enfadarse o entienda qu¨¦ es la adolescencia? Casi todo eso aparece en el entrenamiento que describ¨ªa antes, un proceso aut¨®nomo, que justifica el t¨¦rmino de ¡°inteligencia artificial¡±. Arriesg¨¢ndome a simplificar, el aprendizaje consiste en jugar millones de veces el juego de predecir la siguiente palabra de una frase, ajustando en cada tirada alguno de los par¨¢metros o pesos que definen la red, en un viejo proceso de optimizaci¨®n matem¨¢tica. ¡°Al final, se trata de determinar qu¨¦ pesos capturar¨¢n mejor los ejemplos de entrenamiento que se han dado¡±, resume Stephen Wolfram. Este proceder iterativo teje la madeja gigante que es la red neuronal para que resulte muy buena prediciendo palabras, porque esa es funci¨®n objetivo.

?D¨®nde est¨¢ el malentendido del que hablaba? En pensar que eso es lo ¨²nico que hace GPT-4 o cualquiera red neuronal. Su funci¨®n objetivo define su meta, s¨ª, pero no sus capacidades. En realidad, cualquier habilidad que resulte ¨²til para predecir palabras puede emerger potencialmente dentro de la red. Si le ayuda saber multiplicar, razonar con l¨®gica o saber pensar como un ni?o, podr¨ªa ¡ªquiz¨¢¡ª aprender todo eso.

Y esa es la raz¨®n de mi fascinaci¨®n.

Por supuesto, esto no significa que estos artefactos est¨¦n vivos, que tengan conciencia ni nada parecido. Tampoco que sean inteligentes de la forma en que lo somos los humanos. Pero s¨ª son emergentes: algoritmos capaces de tener habilidades que nadie puso en ellos, pero que aparecieron empujadas por un proceso de mejora en persecuci¨®n de un objetivo. Uno simple ¡ªpredecir palabras¡ª, pero suficiente para que aprendan a escribir mala poes¨ªa y pintar bonitos paisajes.

Si quer¨¦is un s¨ªmil exagerado, ?sab¨¦is qu¨¦ es tambi¨¦n el resultado de un proceso emergente parecido? Nosotros los seres humanos. La teor¨ªa de la evoluci¨®n dice que el motor de la vida es maximizar un resultado: sobrevivir y propagar genes. Es un objetivo limitado, en realidad, ni elevado ni rom¨¢ntico, pero ha sido suficiente para traernos hasta aqu¨ª y empujarnos a pintar en paredes, contemplar las estrellas y pensar en beb¨¦s que duermen.

P.D. Este texto es un intento honrado de compartir mis impresiones sobre una tecnolog¨ªa que me interesa, y que estudi¨¦ hace dos d¨¦cadas, aunque no soy ning¨²n experto. Si quer¨¦is una visi¨®n menos entusiasta, los esc¨¦pticos han celebrado el art¨ªculo de Noam Chomsky: La falsa promesa de ChatGPT (ingl¨¦s). Tambi¨¦n os recomiendo esto de Ezra Klein, entre la fascinaci¨®n y el miedo, y si quer¨¦is detalles matem¨¢ticos, esto de Stephen Wolfram.

Otras historias

? 1. Cu¨¢nto invierte tu municipio en educaci¨®n

Mis compa?eros han buceado en los datos de liquidaciones de todos los ayuntamientos de Espa?a para investigar cuanto invierten en escuelas, clases y otras partidas relacionadas con la educaci¨®n. Hay ciudades como Pamplona que gastan 20 veces m¨¢s que Almer¨ªa: casi 500 euros por cada ni?o o joven, lo que supone un 10% de todo su presupuesto municipal.

En el art¨ªculo pod¨¦is consultar el gasto de vuestro municipio con un mapa interactivo.

? 2. Nos fue bien prediciendo los Oscar

La semana pasada, acertamos los premios a mejor pel¨ªcula, direcci¨®n, animaci¨®n. Tambi¨¦n con tres de los cuatro premios a actores y actrices, todos menos el que ve¨ªamos m¨¢s dudoso, la estatuilla a la mejor actriz de reparto, que eran casi un cara o cruz entre Angela Bassett (37% de probabilidad) y Jamie Lee Curtis (35%), y que acab¨® en manos de la segunda.

? 3. Pregunta: ?Sali¨® GPT-4 en las noticias?

Con la publicaci¨®n del nuevo modelo de lenguaje se puede cumplir una de mis predicciones para 2023, aunque todav¨ªa no he comprobado si sali¨® en los telediarios. ?Lo hab¨¦is visto all¨ª?

?Me ayudas? Reenv¨ªa esta newsletter a qui¨¦n quieras, y si no est¨¢s suscrito, ap¨²ntate aqu¨ª. Es un bolet¨ªn exclusivo para suscriptores de EL PA?S, pero cualquiera puede recibirlo durante un mes de prueba. Tambi¨¦n puedes seguirme en Twitter, en @kikollan, o escribirme con pistas o comentarios, a kllaneras@elpais.es.