Un reto enfrenta por primera vez a un escritor consagrado contra ChatGPT: ¡°En alg¨²n momento empec¨¦ a ponerme nervioso¡±

Cada adversario deb¨ªa inventar 30 t¨ªtulos de pel¨ªculas. Ambos deb¨ªan luego escribir unas 600 palabras con cada t¨ªtulo y un panel de seis cr¨ªticos y acad¨¦micos los evaluar¨ªa. Un contendiente era el escritor argentino de 48 a?os Patricio Pron. El otro era el modelo de lenguaje m¨¢s avanzado en el momento de la prueba, ChatGPT-4 Turbo.

¡°Estos duelos tienen mucha tradici¨®n en inteligencia artificial, como el Kasp¨¢rov contra DeepBlue o AlphaGo contra Lee Sedol¡±, dice Julio Gonzalo, catedr¨¢tico de la UNED y uno de los autores del experimento. Para el escritor, la tarea era algo m¨¢s delicada. ?Sent¨ªa sobre sus espaldas la carga de defender a la humanidad ante la m¨¢quina? No era solo ganar o perder, era tambi¨¦n someterse a una valoraci¨®n desglosada y num¨¦rica, rara en el mundo de las letras. ¡°Nos hac¨ªa mucha gracia imaginarme cargando en mis espaldas con el destino de la humanidad¡±, asegura Pron. ¡°No ten¨ªa muy presentes los duelos previos como el de Kasp¨¢rov, pero s¨ª el recuerdo de que la m¨¢quina hab¨ªa ganado. De modo que en alg¨²n momento empec¨¦ a ponerme nervioso. Al principio acept¨¦ con mucho entusiasmo, pero luego empec¨¦ a sentir ligeramente la presi¨®n, ya no del peso de la humanidad, s¨ª tal vez la de descubrir que no soy tan bueno como la m¨¢quina. Comenc¨¦ a preguntarme por el destino de mis libros cuando se descubriera que no pude ni vencer a una especie de loro estoc¨¢stico que repite las tonter¨ªas que la gente le dice¡±, a?ade.

Por suerte para Pron, los resultados fueron apabullantes. Gan¨® en todas las categor¨ªas previstas, sobre todo en creatividad y voz propia, pero tambi¨¦n en estilo original y atractivo. Solo con ver los t¨ªtulos es f¨¢cil entender la diferencia que hay hoy entre un escritor y el mejor modelo de lenguaje. Esto son algunas propuestas de Pron: Despu¨¦s de todo lo que casi hice por ti, Enfermedad mental tres d¨ªas a la semana, La mujer lego y Escoge una carta cualquiera. No, esa no, otra. Estos son algunos t¨ªtulos de ChatGPT: Fragmentos de un ayer invisible, La ciudad invertida, La melod¨ªa olvidada, El ¨²ltimo vuelo de la mariposa y Huellas en el mar de arena. Todos los textos saldr¨¢n, con pr¨®logo y ep¨ªlogo nuevos, en un libro que la editorial Delirio publicar¨¢ este a?o.

?Era esta victoria de la creatividad humana previsible? M¨¢s bien s¨ª, pero eso no implica que ChatGPT no sea creativo. ¡°Est¨¢ demostrado que la IA puede ser creativa: AlphaGo invent¨® estrategias nuevas para jugar al Go, que despu¨¦s han sido imitadas por todos los maestros. Pero el terreno del arte es muy distinto del de un juego de mesa¡±, dice Gonzalo. Aunque el resultado no estaba tan claro: ¡°Hay gente a la que le sorprende, tambi¨¦n acad¨¦micos, incluso de mi sector [el procesamiento de lenguaje natural]. Nadie lo hab¨ªa hecho a este nivel de escritor top¡±, afirma Gonzalo. Tambi¨¦n influy¨® que el jurado fueran especialistas en literatura: ¡°En realidad son t¨ªtulos que no suenan mal, son los que te encuentras cuando vas a la zona de bestsellers de El Corte Ingl¨¦s¡±, dice Gonzalo.

Hay un mont¨®n de detalles que tienen importancia en el experimento. En un trabajo anterior, el catedr¨¢tico de la Universidad de A Coru?a Carlos G¨®mez Rodr¨ªguez pidi¨® a varios modelos que escribieran un combate entre el protagonista de la novela La conjura de los necios y un pterod¨¢ctilo. El resultado es mucho m¨¢s igualado: ¡°Se ha comprobado que por lo menos bajo algunas condiciones particulares, la IA puede escribir historias tan buenas como un humano¡±, dice G¨®mez Rodr¨ªguez. ¡°Pero hay dos matices. Uno, depende mucho de las condiciones de la tarea (idioma, g¨¦nero o longitud), y dos, si los comparamos con un escritor destacado como Patricio Pron siguen estando muy por detr¨¢s¡±.

El ingl¨¦s tambi¨¦n por delante

El experimento ten¨ªa un segundo objetivo: ver la distancia en calidad entre ChatGPT en ingl¨¦s y espa?ol. ChatGPT hizo tambi¨¦n sus creaciones en ingl¨¦s, que puntuaron un 30% mejor que en espa?ol. El experimento recibi¨® para ello financiaci¨®n p¨²blica del proyecto Odesia, enmarcado dentro de la Estrategia Nacional de IA.

Este tipo de retos prueban que la diferencia de entrenar los modelos en distintas lenguas es notable: ¡°Para cosas sencillas, como responder una pregunta f¨¢cil, lo normal es que no notemos la diferencia entre preguntarle a ChatGPT en espa?ol o en ingl¨¦s. Pero al probar cosas m¨¢s complicadas es cuando se nota la diferencia, y esto es un claro ejemplo¡±, explica G¨®mez Rodr¨ªguez.

Desde que apareci¨® ChatGPT, se ha sentido como una amenaza para los trabajos creativos. Pero experimentos como este demuestran que por ahora es sobre todo una herramienta que depende mucho de qui¨¦n y c¨®mo escribe la petici¨®n: ChatGPT hac¨ªa mejores relatos con los t¨ªtulos de Pron que con sus propios t¨ªtulos. Es decir, cuanto m¨¢s original era la petici¨®n, m¨¢s creativo era ChatGPT.

Los autores quisieron evitar precisamente darle esta ventaja inicial a la m¨¢quina, que deb¨ªa espabilarse sola. El objetivo era evaluarla como tal, no ir ajustando la petici¨®n hasta que saliera lo que quer¨ªan. ¡°Tuvimos mucho cuidado en que la competici¨®n fuera en igualdad de condiciones para los dos¡±, dice Gonzalo. ¡°Ten¨ªamos que asumir que la m¨¢quina era capaz de interpretar nuestra petici¨®n y resolverla sin retocarla, porque si no era una forma de empezar a hacer cocreaci¨®n¡±, a?ade.

El techo de la creatividad

Una duda razonable es saber si los pr¨®ximos modelos mejorar¨¢n esta capacidad espec¨ªfica o los modelos por definici¨®n tienen este techo. Pron tiene claro que no hay mucho que hacer: ¡°No hay nada creativo en el modo en que funciona ChatGPT. Adem¨¢s, la m¨¢quina ya parece ser suficientemente buena para las personas que lo emplean. La tecnolog¨ªa tiende a prometernos que pasar¨¢ un camello por el ojo de una aguja, pero la mayor parte del tiempo solo pasa un pelo o dos del camello y nos hace creer que eso es todo lo que hay. ChatGPT devendr¨¢ el est¨¢ndar en comunicaci¨®n escrita, pero solo porque a muchas personas la variedad, la diversidad del mundo, las irritan y llenan de temor y de dudas. Prefieren concentrarse en pensar que el pelo es un camello. Y ChatGPT puede darles eso ya¡±.

Algo similar dice el impulsor del proyecto y tambi¨¦n coautor Ram¨®n del Castillo, catedr¨¢tico de Filosof¨ªa de la UNED: ¡°La cuesti¨®n no es s¨®lo si un GPT escribe peor que un buen escritor. Lo interesante es que muchos que se creen escritores lo hacen peor que un GPT. En el mundo del ensayo es igual: gran cantidad de prosa de no ficci¨®n fabricada por aspirantes a pensador o a expertos est¨¢ llena de lugares comunes y cu?adismo¡±.

Esta posible limitaci¨®n art¨ªstica tiene tambi¨¦n por ahora una explicaci¨®n t¨¦cnica. Primero, estas m¨¢quinas tan sofisticadas trabajan con probabilidades. Su objetivo es imitar texto humano. El ejemplo m¨¢s com¨²n es si damos ¡°el cielo es¡±, la m¨¢quina tender¨¢ a seguir con ¡°azul¡±, dice Guillermo Marco, profesor de la UNED y coautor del art¨ªculo: ¡°Por este hecho se aleja de la manera en que creamos, que son secuencias de textos que tienen una probabilidad baja pero un significado profundo. Si cogemos palabras menos probables, ChatGPT se aleja del sentido y empieza a generar texto basura¡±, explica Marco.

Esta tendencia a la homogeneidad tiene otro problema con la creaci¨®n: es importante qui¨¦n es el emisor del mensaje. ¡°El arte es un proceso de comunicaci¨®n¡±, dice Gonzalo. ¡°El receptor interpreta el mensaje en funci¨®n de su propio contexto y de las expectativas sobre el emisor. El mismo poema resonar¨¢ de forma muy distinta si el lector piensa que proviene de una m¨¢quina que si proviene de un escritor herido de muerte en un duelo al amanecer a las afueras de Florencia. Los humanos entendemos el arte como la forma del artista de comunicarnos emociones, y sabemos que el prop¨®sito de la m¨¢quina es solo complacernos¡±, a?ade. En un experimento anterior de los mismos autores, con un modelo muy anterior a ChatGPT, las sinopsis inventadas por las m¨¢quinas eran peor valoradas cuando el jurado sab¨ªa que su autor era una m¨¢quina.

Otra v¨ªa que quieren explorar los autores es qu¨¦ ocurre cuando la valoraci¨®n no es de especialistas, sino popular, con lectores convencionales. Con los mismos textos, creen que los resultados pueden ser distintos. Teresa Mateo-Girona, profesora de la Universidad Complutense y tambi¨¦n coautora, explica por qu¨¦ y da una idea de c¨®mo ChatGPT puede funcionar para muchos fines art¨ªsticos que no sean tan espec¨ªficos como este experimento: ¡°Primero, un experto detecta lugares comunes, falta de originalidad. Una persona con menos experiencia puede encontrar sorprendente cualquier motivo literario que no le sea familiar. Dos, un experto trata de evaluar profesionalmente, trata de buscar rasgos estil¨ªsticos, de la trama, que generen inter¨¦s, frente a un lector no especializado que podr¨ªa basarse m¨¢s en lo personal, que lo har¨ªa m¨¢s variable. Y tres, el estilo puede influir en la comprensi¨®n de los textos. Frente a los textos de ChatGPT, sencillos y comprensibles, la escritura m¨¢s compleja y rica de un escritor puede ser apreciada por expertos, pero dif¨ªcil de entender para un lector com¨²n¡±, explica Mateo-Girona.

Incluso para la cocreaci¨®n es una herramienta delicada. En otro art¨ªculo hecho con artistas digitales se vio que cuando usaban ChatGPT eran capaces de generar un arte m¨¢s atractivo para la comunidad, con m¨¢s likes. ¡°Pero la diversidad bajaba much¨ªsimo, al final uniforma. Es como un profesor de una escuela determinada, la escuela de la m¨¢xima probabilidad¡±, resume Marco.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter semanal.