El sucio secreto de la inteligencia artificial

Acciones ya cotidianas como consultar la mejor ruta para ir a alg¨²n sitio o traducir un texto requieren grandes cantidades de recursos energ¨¦ticos, hidr¨¢ulicos y minerales. Esas aplicaciones funcionan en la nube, un eufemismo para designar millones de potentes ordenadores organizados en extensos centros de datos. Para que las aplicaciones del m¨®vil funcionen hacen falta legiones de computadoras que almacenen billones de datos y hagan operaciones en fracciones de segundo (por ejemplo, el c¨¢lculo de distancias teniendo en cuenta el tr¨¢fico). Se estima que el consumo energ¨¦tico de los centros de datos supone entre el 1% y el 2% del total mundial. Pero todo apunta a que estas cifras se van a disparar.

La inteligencia artificial (IA) generativa, la que hace posible los chatbots inteligentes como ChatGPT, as¨ª como las herramientas que generan ilustraciones originales o m¨²sica a partir de texto, necesita mucho poder de computaci¨®n. Las grandes tecnol¨®gicas, con Microsoft y Google a la cabeza, han decidido integrar estas funcionalidades en los buscadores, en los editores de texto o en el email. Nuestra relaci¨®n con los programas de uso habitual va a cambiar: hasta ahora, apret¨¢bamos una serie de comandos para llevar a cabo ciertas actividades; dentro de poco nos encontraremos conversando con la m¨¢quina, pidi¨¦ndole tareas que antes hac¨ªamos nosotros.

?Qu¨¦ efecto tendr¨¢ en el medio ambiente este cambio de paradigma? Nadie lo sabe, pero todas las estimaciones son al alza. ¡°La IA puede parecer et¨¦rea, pero est¨¢ moldeando f¨ªsicamente el mundo¡±, sentencia Kate Crawford en Atlas of AI. La australiana, investigadora principal de Microsoft Research y directora del AI Now Institute, alert¨® hace dos a?os de que los ¡°costes planetarios¡± asociados a esta tecnolog¨ªa no paran de crecer. Algunos cient¨ªficos calculaban hace cuatro a?os que el sector tecnol¨®gico supondr¨ªa el 14% de las emisiones mundiales para 2040; otros, que la demanda energ¨¦tica de los centros de datos se multiplicar¨¢ por 15 hasta 2030.

Todas esas previsiones pueden quedarse cortas. Son de antes de la irrupci¨®n de ChatGPT. Google y Microsoft acumulan centenares de millones de usuarios. ?Qu¨¦ pasa si todos ellos empiezan a usar herramientas apoyadas en IA generativa? El canadiense Martin Bouchard, cofundador de los centros de datos Qscale, cree que se necesitar¨ªa al menos cuatro o cinco veces m¨¢s potencia computacional por cada b¨²squeda. Preguntados por sus niveles de consumo actuales y por sus previsiones de crecimiento en la era de la IA generativa, Google y Microsoft han preferido no aportar a este peri¨®dico datos concretos, m¨¢s all¨¢ de reiterar su intenci¨®n de alcanzar la neutralidad de carbono para 2030. Para Crawford, eso ¡°significa que compensan sus emisiones comprando el cr¨¦dito de la gente¡± a trav¨¦s de acciones de maquillaje medioambiental, como plantar ¨¢rboles u otras acciones similares.

¡°La IA generativa produce m¨¢s emisiones que un buscador corriente, que tambi¨¦n consume mucha energ¨ªa porque al fin y al cabo son sistemas complejos que bucean en millones de p¨¢ginas web¡±, indica Carlos G¨®mez Rodr¨ªguez, catedr¨¢tico de Computaci¨®n e Inteligencia Artificial de la Universidad de La Coru?a. ¡°Pero la IA genera todav¨ªa m¨¢s emisiones que los buscadores, porque usa unas arquitecturas basadas en redes neuronales, con millones de par¨¢metros que hay que entrenar¡±.

?Cu¨¢nto contamina la IA?

Hace un par de a?os que la huella de carbono de la industria inform¨¢tica alcanz¨® a la de la aviaci¨®n cuando estaba en su m¨¢ximo. Entrenar un modelo de procesamiento natural del lenguaje equivale a tantas emisiones como las que expulsar¨¢n cinco coches de gasolina durante toda su vida, incluyendo el proceso de fabricaci¨®n, o 125 vuelos de ida y vuelta entre Pek¨ªn y Nueva York. M¨¢s all¨¢ de las emisiones, el consumo de recursos h¨ªdricos para la refrigeraci¨®n de los sistemas (Google gast¨® 15.800 millones de litros en 2021, seg¨²n un estudio de Nature, mientras que Microsoft declar¨® 3.600 millones de litros), as¨ª como la dependencia de metales raros para elaborar los componentes electr¨®nicos, hacen de la IA una tecnolog¨ªa con grandes repercusiones en el medio ambiente.

Entrenar un modelo de procesamiento natural del lenguaje equivale a tantas emisiones como las que expulsar¨¢n cinco coches de gasolina durante toda su vida

No existen datos sobre cu¨¢nta energ¨ªa y de qu¨¦ tipo consumen las grandes tecnol¨®gicas, las ¨²nicas con una infraestructura lo suficientemente robusta como para entrenar y alimentar los grandes modelos de lenguaje en los que se apoya la IA generativa. Tampoco hay cifras concretas de la cantidad de agua que gastan para refrigerar los sistemas, cuesti¨®n que ya est¨¢ provocando tensiones en pa¨ªses como EE UU, Alemania u Holanda. Las empresas no est¨¢n obligadas a facilitar esa informaci¨®n. ¡°Lo que tenemos son estimaciones. Por ejemplo, entrenar GPT3, el modelo en el que se basa ChatGPT, habr¨ªa generado unas 500 toneladas de carbono, el equivalente a ir y volver a la Luna en coche. Tal vez no es mucho, pero hay que tener en cuenta que el modelo se tiene que reentrenar peri¨®dicamente para incorporar datos actualizados¡±, sostiene G¨®mez. OpenAI acaba de presentar otro modelo m¨¢s avanzado, GPT4. Y la carrera seguir¨¢.

Otra estimaci¨®n dice que el uso que se hab¨ªa hecho de electricidad en enero de 2023 en OpenAI, la empresa responsable de ChatGPT, podr¨ªa equivaler al uso anual de unas 175.000 familias danesas, que no son las que m¨¢s gastan. ¡°Esto son proyecciones con las cifras actuales de ChatGPT; si se generaliza todav¨ªa m¨¢s su uso, podr¨ªamos estar hablando de un consumo equivalente de electricidad de millones de personas¡±, a?ade el catedr¨¢tico.

La opacidad de datos empezar¨¢ a disiparse pr¨®ximamente. La UE es consciente del creciente consumo energ¨¦tico de los centros de datos. Bruselas tiene en marcha una directiva que se empezar¨¢ a discutir el a?o que viene (y, por tanto, tardar¨ªa al menos dos a?os en entrar en vigor) que fija exigencias de eficiencia y transparencia energ¨¦tica. EE UU trabaja en una normativa similar.

El costoso entrenamiento de los algoritmos

¡°Las emisiones de carbono de la IA se pueden descomponer en tres factores: la potencia del hardware que se utiliza, la intensidad de carbono de la fuente de energ¨ªa que lo alimenta y la energ¨ªa que se usa en el tiempo que dura el entrenamiento del modelo¡±, explica ?lex Hern¨¢ndez, investigador posdoctoral en el Instituto de Inteligencia Artificial de Quebec (MILA).

Es en el entrenamiento donde se concentran la mayor parte de las emisiones. Ese entrenamiento es un proceso clave en el desarrollo de los modelos de aprendizaje autom¨¢tico, la modalidad de IA que m¨¢s r¨¢pido ha crecido en los ¨²ltimos a?os. Consiste en mostrarle al algoritmo millones de ejemplos que le ayuden a establecer patrones que le permitan predecir situaciones. En el caso de los modelos de lenguaje, por ejemplo, se trata de que cuando vea las palabras ¡°la Tierra es¡± sepa que tiene que decir ¡°redonda¡±.

El uso de electricidad en enero de 2023 en OpenAI, la empresa responsable de ChatGPT, equivale al uso anual de unas 175.000 familias danesas

La mayor¨ªa de los centros de datos utilizan unos procesadores avanzados llamados GPU para realizar el entrenamiento de los modelos de IA. Los GPU necesitan much¨ªsima energ¨ªa para funcionar. El entrenamiento de los grandes modelos de lenguaje requiere de decenas de miles de GPU, que necesitan operar d¨ªa y noche durante semanas o meses, seg¨²n detalla un reciente informe de Morgan Stanley.

¡°Los grandes modelos de lenguaje tienen una arquitectura muy grande. Un algoritmo de aprendizaje autom¨¢tico que te ayude a elegir a qui¨¦n contratar quiz¨¢s necesite 50 variables: d¨®nde trabaja, qu¨¦ salario tiene ahora, experiencia previa, etc¨¦tera. GhatGPT tiene m¨¢s de 175.000 millones de par¨¢metros¡±, ilustra Ana Valdivia, investigadora postdoctoral en computaci¨®n e IA en King¡¯s College London. ¡°Hay que reentrenar toda esa especie de estructura, y adem¨¢s alojar y explotar los datos sobre los que se trabaja. Ese almacenaje tambi¨¦n tiene un consumo¡±, a?ade.

Hern¨¢ndez, del MILA, acaba de presentar un art¨ªculo en el que analiza el consumo energ¨¦tico de 95 modelos. ¡°Hay poca variabilidad del hardware usado, pero si entrenas tu modelo en Quebec, donde la mayor¨ªa de la electricidad es hidroel¨¦ctrica, reduces en un factor de 100 o m¨¢s las emisiones de carbono respecto a lugares donde predomina el carb¨®n, el gas u otros¡±, subraya el investigador. Se sabe que los centros de datos chinos se alimentan en un 73% de electricidad generada con carb¨®n, lo que supuso la emisi¨®n de al menos 100 millones de toneladas de CO? en 2018.

Dirigido por Yoshua Bengio, cuya aportaci¨®n en las redes neuronales profundas le vali¨® el premio Turing (considerado el Nobel de la inform¨¢tica), el MILA ha desarrollado una herramienta, Code Carbon, capaz de medir la huella de carbono de quienes programan y entrenan algoritmos. El objetivo es que los profesionales la integren en su c¨®digo para saber cu¨¢nto emiten y que eso les ayude a tomar decisiones.

M¨¢s capacidad computacional

Existe el problema a?adido de que la capacidad de computaci¨®n necesaria para entrenar los mayores modelos de IA se duplica cada tres o cuatro meses. As¨ª lo revel¨® ya en 2018 un estudio de OpenAI, que tambi¨¦n avisaba de que ¡°merece la pena prepararse para cuando los sistemas necesiten unas capacidades mucho mayores a las actuales¡±. Es una velocidad muy superior a la que marcaba la Ley de Moore, seg¨²n la cual el n¨²mero de transistores (o potencia) de los microprocesadores se duplica cada dos a?os.

¡°Teniendo en cuenta los modelos que se est¨¢n entrenando en la actualidad, s¨ª que hace falta m¨¢s capacidad computacional para garantizar su funcionamiento. Seguramente, las grandes tecnol¨®gicas ya est¨¢n comprando m¨¢s servidores¡±, augura G¨®mez.

Para Hern¨¢ndez, las emisiones derivadas del uso de la IA es menos preocupante por varios motivos. ¡°Hay mucha investigaci¨®n dirigida a reducir el n¨²mero de par¨¢metros y complejidad de la energ¨ªa que necesitan los modelos, y eso mejorar¨¢. Sin embargo, no hay tantas formas de reducirlas en el entrenamiento: ah¨ª hace falta semanas de uso intensivo. Lo primero es relativamente sencillo de optimizar; lo segundo, no tanto¡±.

Una de las posibles soluciones para que los entrenamientos sean menos contaminantes ser¨ªa reducir la complejidad de los algoritmos sin perder eficacia. ¡°?Realmente hacen falta tantos millones de par¨¢metros para lograr modelos que funcionen bien? GhatGPT, por ejemplo, ha demostrado tener muchos sesgos. Se est¨¢ investigando la forma de lograr los mismos resultados con arquitecturas m¨¢s simples¡±, reflexiona Valdivia.

Puedes seguir a EL PA?S Tecnolog¨ªa en Facebook y Twitter o apuntarte aqu¨ª para recibir nuestra newsletter semanal.