No habr¨¢ inteligencia artificial general

En enero de 2020, un f¨ªsico te¨®rico y profesor en la Universidad Johns Hopkins llamado Jared Kaplan public¨® un paper llamado Leyes de Escalamiento para Modelos de Lenguaje Neurales. Su influencia es tan grande que la hip¨®tesis que propon¨ªa nos parece hoy de caj¨®n. Dec¨ªa que los modelos generativos mejoran de manera predecible al aumentar el n¨²mero de par¨¢metros, la cantidad de datos de entrenamiento y la potencia computacional. Es la ley de escalamiento: cuando m¨¢s grande y m¨¢s datasets digiere, mejor ¡°p...

En enero de 2020, un f¨ªsico te¨®rico y profesor en la Universidad Johns Hopkins llamado Jared Kaplan public¨® un paper llamado Leyes de Escalamiento para Modelos de Lenguaje Neurales. Su influencia es tan grande que la hip¨®tesis que propon¨ªa nos parece hoy de caj¨®n. Dec¨ªa que los modelos generativos mejoran de manera predecible al aumentar el n¨²mero de par¨¢metros, la cantidad de datos de entrenamiento y la potencia computacional. Es la ley de escalamiento: cuando m¨¢s grande y m¨¢s datasets digiere, mejor ¡°piensa¡± el modelo. Salvo por un detalle, que en aquel momento no parec¨ªa importante. Cuando m¨¢s sofisticado es el modelo, m¨¢s sofisticadas son sus ¡°alucinaciones¡± y, por lo tanto, m¨¢s dif¨ªciles de detectar.

Kaplan y su equipo entrenaron varios modelos de diferentes tama?os con diferentes cantidades de datos. Comprobaron que, al aumentar la cantidad de datos y el tama?o del modelo, aumentaba la precisi¨®n y la coherencia de las respuestas y se reduc¨ªan los errores de predicci¨®n. Como ocurre en la naturaleza, la exposici¨®n a una mayor diversidad de ejemplos parec¨ªa ayudarles a ¡°entender¡± mejor las complejidades del lenguaje humano. Kaplan detect¨® tambi¨¦n que aumentaba su habilidad para generalizar conocimientos y aplicar con ¨¦xito lo aprendido a situaciones y contextos nuevos. Es irresistible la comparaci¨®n con el ni?o o animal que aprende a medida que se expone al mundo. Esa comparaci¨®n ser¨ªa falsa y enga?osa. Incluso la palabra aprendizaje es una estafa. Alucinaci¨®n tambi¨¦n lo es.

Los grandes modelos del lenguaje, sean Gemini, Claude o GPT, son sistemas complejos, igual que las especies de animales, las ciudades, los negocios o las lenguas. Quiere decir que est¨¢n compuestos de muchas partes interconectadas que interact¨²an entre ellas de acuerdo a leyes que no pueden ser inferidas a partir la suma de sus partes. El primero en notarlo estas leyes que llamamos ¡°de potencia¡± fue Galileo, cuando observ¨® que los ¨¢rboles no crec¨ªan hasta el infinito porque, a partir de cierto tama?o, su tronco deja de crecer hacia arriba y se ramifica de forma m¨¢s compleja y jer¨¢rquica.

Conocemos algunas de esas leyes. La ley de Kleiber dice que cuando un organismo duplica su tama?o, su tasa metab¨®lica no se duplica, sino que crece solo un 41%. En otras palabras, un animal el doble de grande que otro no necesita comer el doble porque su eficiencia metab¨®lica aumenta con su tama?o, lo que quiere decir que envejece m¨¢s lentamente. La ley de Zipf dice que la segunda palabra m¨¢s frecuente de cualquier lengua aparece aproximadamente la mitad de veces que la m¨¢s frecuente, la tercera palabra un tercio, y as¨ª sucesivamente.

La ley de escalamiento de Jared Kaplan sugiere que, con acceso a m¨¢s m¨¢quinas, m¨¢s energ¨ªa y m¨¢s contenidos, los modelos se convertir¨¢n en agentes inteligentes con la capacidad de entender el mundo. Es la ¨²nica base de la actual carrera hacia la inteligencia artificial general (IAG). La persistencia de las alucinaciones es la prueba de que no suceder¨¢, al menos con esta tecnolog¨ªa. Los modelos viven encerrados en un mundo de palabras, un universo wittgensteniano compuesto exclusivamente de signos, jerarqu¨ªas y estad¨ªstica. No pueden mentir, alucinar o equivocarse porque todas las palabras son verdaderas cuando dejan de describir el mundo. No habr¨¢ IAG con esta tecnolog¨ªa. Cualquiera que diga lo contrario miente, o se ha dejado enga?ar.