Un grupo de lectores prefiere poes¨ªa escrita por ChatGPT antes que cl¨¢sicos como Shakespeare o Sylvia Plath

¡°Escucho la llamada de la naturaleza, el susurro de los ¨¢rboles, / el murmullo del r¨ªo, el zumbido de las abejas, / el trinar de los p¨¢jaros, y el aullido del viento, / todo tejido en una sinfon¨ªa que nunca parece acabar¡±. Son los primeros versos de una poes¨ªa generada por ChatGPT 3.5 en el estilo de Walt Whitman en ingl¨¦s y traducida tambi¨¦n por la misma m¨¢quina. Es tambi¨¦n la mejor para un panel de casi 700 personas sin un conocimiento especial de poes¨ªa que deb¨ªan escoger entre poemas cl¨¢sicos reales en ingl¨¦s ...

¡°Escucho la llamada de la naturaleza, el susurro de los ¨¢rboles, / el murmullo del r¨ªo, el zumbido de las abejas, / el trinar de los p¨¢jaros, y el aullido del viento, / todo tejido en una sinfon¨ªa que nunca parece acabar¡±. Son los primeros versos de una poes¨ªa generada por ChatGPT 3.5 en el estilo de Walt Whitman en ingl¨¦s y traducida tambi¨¦n por la misma m¨¢quina. Es tambi¨¦n la mejor para un panel de casi 700 personas sin un conocimiento especial de poes¨ªa que deb¨ªan escoger entre poemas cl¨¢sicos reales en ingl¨¦s y versos generados en unos segundos por la m¨¢quina.

Un nuevo estudio compara docenas de poemas generados por ChatGPT con ejemplos reales de poetas cl¨¢sicos en ingl¨¦s, desde Chaucer y Shakespeare a T. S. Eliot, Sylvia Plath, Emily Dickinson o Allen Ginsberg. Los autores hicieron dos experimentos: en uno solo ped¨ªan si ese poema era obra humana o de la IA, en el otro preguntaban por la calidad. En ambos la IA pasa por humano o supera sus presuntas capacidades. En ning¨²n caso los autores del experimento escog¨ªan el mejor poema que escrib¨ªa ChatGPT, sino simplemente el primer resultado.

?C¨®mo puede ser? La respuesta sencilla es que la poes¨ªa es dif¨ªcil de entender y el grupo de lectores prefer¨ªa comprender lo que le¨ªa, que en su opini¨®n era un signo claro de humanidad: ¡°Los resultados sugieren que el lector medio prefiere poemas m¨¢s accesibles y que pueda entender¡±, dice Brian Porter, profesor de la Universidad de Pittsburgh y coautor del trabajo. El panel de lectores parec¨ªa creer que los versos dif¨ªciles de entender de un escritor como T. S. Eliot eran algo parecido a alucinaciones y los descartaba como posible autor¨ªa humana. Los cinco poemas mejor valorados fueron producidos por la IA, mientras que los peor valorados eran todos humanos.

¡°Algunos participantes explicaban que el contenido emocional de un poema era se?al de que hab¨ªa sido escrito por un humano¡±, explica Porter, aunque en realidad era obra de ChatGPT. ¡°Otros parecen interpretar frases confusas o dif¨ªciles como errores de la IA, y no como elecciones intencionadas de un poeta. Los resultados sugieren que las personas toman el hecho de que les guste un poema como se?al de que fue escrito por un humano y no por una IA¡±, a?ade Porter.

El tema del estudio no era, sin embargo, la capacidad humana para distinguir los cl¨¢sicos de la lengua inglesa, sino la capacidad de la m¨¢quina para colar poemas artificiales como reales, y en eso gan¨®: ¡°La idea principal del experimento es que la IA es capaz de crear poemas que transmiten emociones e ideas de una forma que suena aceptablemente como si los hubiera escrito una persona¡±, dice Porter.

?Y los expertos qu¨¦ har¨ªan?

?Habr¨ªan dado respuestas m¨¢s precisas un grupo de cr¨ªticos, acad¨¦micos o lectores expertos? Un grupo de acad¨¦micos espa?oles ya hizo esa prueba. Se aliaron con el escritor argentino Patricio Pron para competir en relatos con la m¨¢quina y ser juzgado por un peque?o panel de cr¨ªticos. Se impuso el escritor humano: ¡°La diferencia entre cr¨ªticos y lectores es abismal¡±, dice Julio Gonzalo, catedr¨¢tico de la UNED y autor de ese art¨ªculo.

¡°Es f¨¢cil que la IA confunda a personas no expertas¡±, dice Guillermo Marco, investigador de la UNED y coautor del trabajo con Pron, y tambi¨¦n poeta. ¡°Se llega a una conclusi¨®n que igual ya sab¨ªamos, pero est¨¢ muy bien haberla medido: un blockbuster bien dise?ado con big data puede tener m¨¢s probabilidad de ¨¦xito que algo m¨¢s arriesgado¡±, a?ade Marco.

La ventaja del trabajo con el escritor Patricio Pron es que sus relatos eran nuevos. Los autores de este trabajo ven precisamente esa dificultad para hacer este estudio de poemas con expertos: ¡°Sospechamos que un grupo de expertos en poes¨ªa podr¨ªa hacerlo mejor y planeamos probarlo pronto, pero eso implica encontrar poemas cl¨¢sicos que los expertos en poes¨ªa no reconozcan de inmediato, lo cual resulta bastante dif¨ªcil¡±, dice Porter.

Los autores tambi¨¦n comprobaron que si advert¨ªan a los participantes que el poema era generado por IA autom¨¢ticamente les gustaba menos. Es una prudencia humana que no piensan que vaya a desaparecer r¨¢pido, dice Porter: ¡°No estoy seguro de que la gente llegue a aceptar la poes¨ªa generada por IA, o incluso el arte generado por IA en general. El lenguaje suele ser una herramienta para que una persona comunique pensamientos e ideas a otra, y la IA, en el fondo, solo est¨¢ imit¨¢ndolo¡±.

Un tema est¨¦tico

En su ¨²ltimo art¨ªculo, Gonzalo y Marco han comprobado que las m¨¢quinas no necesitan de capacidades extraordinarias para burlar la habilidad humana de valorar un texto creativo. Un peque?o modelo de lenguaje de 500 millones de par¨¢metros (una versi¨®n antigua de ChatGPT ten¨ªa 175.000 millones) les bast¨® para comprobar que ya era suficiente para pasar con nota la mayor¨ªa de criterios de un lector com¨²n: ¡°Con estos experimentos uno llega a preguntas que est¨¢n m¨¢s en el terreno de la sociolog¨ªa o de la est¨¦tica sobre c¨®mo se configura el gusto en una sociedad o su educaci¨®n¡±, explica Marco. ¡°Es dif¨ªcil juzgar un arte sin suficientes experiencias previas¡±, a?ade.

Marco es incluso m¨¢s claro con los l¨ªmites de la capacidad de la IA para crear experiencias art¨ªsticas: ¡°El arte tiene que ver con la comunicaci¨®n de la experiencia humana. La IA es como herramienta muy muy poderosa, pero terminar¨¢ siendo una especie de autotune de la creatividad. Nunca ser¨¢ aut¨®noma ni tendr¨¢ la necesidad de expresarse si no recibe una instrucci¨®n¡±, dice

Este ¨¦xito de la IA ante el juicio humano ha llevado a sus autores a preguntarse si no hay que acelerar alguna regulaci¨®n que obligue a advertir cu¨¢ndo un contenido es artificial. ¡°Si los lectores valoran menos un texto generado por IA y no se avisa que se est¨¢ usando texto generado por IA, existe el riesgo de que el dinero de las personas se obtenga bajo falsas pretensiones: podr¨ªan pagar un precio que no habr¨ªan aceptado si supieran que hay texto o arte creado por IA de por medio¡±, dice Porter.