Las m¨¢quinas entrenadas con datos artificiales llevan al colapso de la IA: ¡°Pierden la percepci¨®n de la realidad¡±

Si se le pide a un modelo de inteligencia artificial (IA) que genere im¨¢genes de perros al azar, la m¨¢quina va a recrear las im¨¢genes de un golden retriever como la raza de perro m¨¢s popular, pero tambi¨¦n algunos d¨¢lmatas o bulldogs franceses, aunque en menor cantidad por ser razas m¨¢s raras. Pero si otros modelos de IA se entrenaran con los datos producidos por esa m¨¢quina, con el golden retriever sobrerrepresentado, poco a poco se olvidar¨¢n de las razas menos comunes y solo mostrar¨¢n esa raza. Finalmente, devolver¨¢n ¨²nicamente manchas marrones que se asemejan a esos perros. Una investigaci¨®n demuestra que despu¨¦s de entrenar una y otra vez a un modelo de IA con contenido generado por la misma m¨¢quina, el modelo colapsa, dejando as¨ª de funcionar, dando malas respuestas y proporcionando informaci¨®n incorrecta. ¡°Empiezan a producir ejemplos que nunca ser¨ªan creados por el modelo original, es decir, empiezan a malinterpretar la realidad bas¨¢ndose en errores introducidos por sus predecesores¡±, explica el estudio que alerta de c¨®mo las m¨¢quinas que se entrenan con informaci¨®n sint¨¦tica ¡°pierden la percepci¨®n de la realidad¡±.

¡°Empieza a perder informaci¨®n porque no est¨¢ claro si los datos recogidos son suficientes para cubrir todos los casos posibles. Los modelos est¨¢n sesgados e introducen sus propios errores, y los modelos del futuro pueden percibir err¨®neamente la realidad, ya que se entrenar¨¢n con datos sesgados procedentes de otros modelos¡±, explica Ilia Shumailov, coautor del estudio publicado hoy en la revista Nature, punta de lanza de la mejor ciencia, e investigador de la Universidad de Oxford, que actualmente trabaja para Google DeepMind. Los datos se ¡°envenenan¡±, seg¨²n expresa el estudio.

Los autores del estudio presentan unos modelos matem¨¢ticos que ilustran la idea del colapso: demuestran que una IA puede pasar por alto algunos datos en su entrenamiento (por ejemplo, l¨ªneas de texto menos comunes) y solo entrenarse con una parte de ellos. Por ejemplo, se hizo una prueba con un texto sobre arquitectura medieval como entrada original y en el noveno entrenamiento termin¨® dando una lista de liebres. ¡°Los modelos aprenden unos de otros. Cu¨¢nto m¨¢s aprenden, m¨¢s degradan su rendimiento y empiezan a generar texto repetitivo que es independiente de la petici¨®n de entrada¡±, a?ade Shumailov.

Hoy en d¨ªa es una pr¨¢ctica habitual que los modelos se entrenen con datos sint¨¦ticos, aquellos que no han sido creados por humanos, sino que imitan datos del mundo real. As¨ª lo se?ala el ¨²ltimo informe de ChatGPT-4 de OpenAI. En principio, ser¨ªa casi imposible distinguir si los datos han sido generados por m¨¢quinas o humanos, pero si no se toman medidas para controlar el colapso, las consecuencias son ¡°la degradaci¨®n de la calidad del contenido, la contaminaci¨®n de datos, y la perpetuaci¨®n de los sesgos¡±, describe Luis Herrera, arquitecto de soluciones en Databricks Espa?a.

?Por qu¨¦ las empresas tecnol¨®gicas que est¨¢n detr¨¢s de los modelos de lenguaje permiten estas pr¨¢cticas? ¡°Las IA son entrenadas con enormes cantidades de datos presentes en internet, producidos por personas que tienen derechos legales de autor¨ªa de su material. Para evitar demandas judiciales o para ahorrar costes, las empresas tecnol¨®gicas utilizan datos generados por sus propias IA para seguir entrenando sus m¨¢quinas¡±, explica V¨ªctor Etxebarria, catedr¨¢tico de la Universidad del Pa¨ªs Vasco, en declaraciones al portal especializado SMC Espa?a. Sin embargo, a?ade: ¡°Este procedimiento cada vez m¨¢s generalizado hace que las IA no sirvan para ninguna funci¨®n realmente fiable. Transforma las IA en herramientas no solo in¨²tiles para ayudarnos a solucionar nuestros problemas, sino que puedes ser nocivas, si basamos nuestras decisiones en informaci¨®n incorrecta¡±.

El contenido creado puede ser utilizado para entrenar a otros modelos o incluso para entrenarse a ellos mismos. Incluso el bucle de degradaci¨®n puede empezar de forma involuntaria, cuando las m¨¢quinas se entrenan con contenidos de internet, pero que han sido vertidos a su vez por otras m¨¢quinas. Lorena Jaume-Palas¨ª, experta en ¨¦tica algor¨ªtmica y asesora del Parlamento Europeo, alerta sobre peligro del origen de los datos sint¨¦ticos: ¡°El buscador de Google es uno de los sitios en los que la calidad ha decrecido. Hay una gran variedad en la procedencia de este tipo de datos y la calidad en ning¨²n momento puede ser buena. Son trillones de datos humanamente imposibles de corregirlos todos¡±. Y hace hincapi¨¦ en el ¡°colapso ecol¨®gico¡± que provoca estos modelos: ¡°Los centros de datos se est¨¢n llevando toda el agua. Va a llegar un momento en que vamos a tener que decidir a qui¨¦n le damos agua y a qui¨¦n no¡±.

Pablo Haya Coll, investigador de la Universidad Aut¨®noma de Madrid, destaca una limitaci¨®n de estos sistemas: ¡°Esta t¨¦cnica puede llevar a corromper el LLM [un gran modelo de lenguaje, como ChatGPT, por sus siglas inglesas]. Es un aviso sobre la calidad de los datos utilizados en la construcci¨®n de estos LLM. A medida que se adoptan m¨¢s estos LLM, m¨¢s datos sint¨¦ticos terminan en internet, lo que podr¨ªa afectar hipot¨¦ticamente a los entrenamientos de versiones futuras¡±.

Las conclusiones del estudio plantean un escenario donde solo se utilizan datos generados por la IA. En un contexto real, es probable que siempre haya una parte de los datos generados por humanos: como m¨ªnimo, los que hay disponibles ahora. Pero todav¨ªa no est¨¢ claro c¨®mo se pueden diferenciar esos datos. Shumailov, autor principal del estudio, sugiere que se haga con ¡°el mantenimiento de listas y las marcas de agua¡±.

Para este investigador y sus colegas, entrenar un modelo con datos generados sint¨¦ticamente es posible, pero el filtrado debe tomarse muy en serio. Toju Duke, exdirectora de IA responsable de Google, explicaba a EL PA?S en octubre del a?o pasado que se pueden entrenar a los modelos con datos generados por IA, siempre y cuando entre la regulaci¨®n en juego: ¡°Tenemos que ser capaces de comprobar los hechos y las fuentes. Tenemos que poder revisar estas cosas antes de lanzarlas. No podemos simplemente dejar que salgan, eso es una locura¡±.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y X o apuntarte aqu¨ª para recibir nuestra newsletter sema c