Muchas empresas tecnológicas han mejorado la eficiencia energética diseñando sus propios procesadores a medida para cálculos de IA —como el chip Trainium2 de Amazon Web Services o las unidades de procesamiento tensorial Ironwood de Google—, según declaraciones de dichas empresas. En cuanto a NVIDIA, el director de sostenibilidad de la empresa, Josh Parker, afirma que sus GPU especializadas en IA han avanzado mucho con respecto a las que se utilizan para los videojuegos y ahora están diseñadas para ejecutar tareas de IA de la forma más eficiente posible; otras innovaciones, como hacer más eficientes las interconexiones entre las GPU, también han contribuido a ello. “En los últimos ocho años, las GPU de NVIDIA han mejorado 45,000 veces su eficiencia energética para cargas de trabajo de modelos de lenguaje a gran escala”, afirma.
Los ingenieros también están explorando métodos de computación alternativos. Los procesadores de IA convencionales calculan codificando números en un sistema binario de unos y ceros, lo que se consigue activando y desactivando transistores (representar el número 5, por ejemplo, requiere cuatro transistores para representar el código 0101). Pero los transistores pueden hacer más que funcionar como interruptores binarios que permiten o no el flujo de electrones; también pueden funcionar como diales analógicos y mantener voltajes intermedios que representan diferentes números. Eso requiere menos transistores y menos energía para los cálculos. “La gente sabe desde hace décadas que hacer ciertas cosas en analógico… puede ser mucho más eficiente energéticamente”, afirma Kumar.
Por ejemplo, el ingeniero eléctrico Paul Manea, del instituto de investigación alemán Forschungszentrum Jülich, y sus colegas están trabajando en el desarrollo de dispositivos llamados “celdas de ganancia” que están repletas de transistores que funcionan de esta manera. Es importante destacar que las celdas de ganancia pueden tanto almacenar los datos necesarios para procesar una consulta como calcular la respuesta. Esto supera otro gran cuello de botella energético de los sistemas informáticos convencionales, en los que el almacenamiento en memoria y el cálculo se producen en componentes de hardware separados.
Esto resulta especialmente problemático para los LLM basados en transformadores, ya que cada vez que generan una palabra, deben trasladar la consulta y la respuesta parcialmente escrita desde la memoria al procesador. Manea y sus colegas estiman que las celdas de ganancia, en lugar de las GPU tradicionales, pueden reducir en cuatro órdenes de magnitud el consumo energético de una de las partes que más energía consumen de los LLM basados en transformadores. Pero será necesario seguir perfeccionándolas antes de que puedan utilizarse más ampliamente, afirma Manea.
La noción de dispositivos que almacenan y procesan información es una idea clave de la computación “neuromórfica”, un campo emergente de la ingeniería informática inspirado en el cerebro humano, que consume energía en órdenes de magnitud mucho menores que las computadoras. Otro invento inspirado en el cerebro son los chips que codifican la información no en flujos de datos continuos, sino —al igual que las células nerviosas humanas— en la sincronización de los “picos” de voltaje que se propagan por el sistema. Permitir que los componentes descansen hasta que se necesiten “podría traducirse potencialmente en un menor consumo de energía”, afirma Eleni Vasilaki, experta en aprendizaje automático bioinspirado de la Universidad de Sheffield, en Inglaterra.
Maaß, por ejemplo, forma parte de un equipo que recibió aproximadamente 5.8 millones de dólares del Gobierno alemán para probar chips neuromórficos, entre otras estrategias, con el fin de reducir la energía necesaria para los modelos de IA. Algunos chips inspirados en el cerebro ya están disponibles en el mercado, pero la tecnología aún está lejos de resultar atractiva para la informática convencional, afirma el experto en nanoelectrónica Tony Kenyon, del University College de Londres, cuyo equipo recibió recientemente 17 millones de dólares del Gobierno británico para desarrollar la computación neuromórfica.
Otros científicos están desarrollando chips que procesan la información no con electrones, sino a través de la interacción de fotones —partículas de luz— con la materia (los cables de fibra óptica, que codifican y transmiten datos como pulsos de luz, se utilizan en todo el mundo). Con los fotones se puede transmitir más información al mismo tiempo y las señales se pueden modificar mucho más rápido, afirma Elena Goi, investigadora en computación fotónica de la Universidad Friedrich Schiller de Jena, en Alemania.
Varias empresas han desarrollado chips capaces de realizar algunos cálculos de IA, mediante métodos ópticos, afirma Joshi; él recientemente estimó que la fabricación de chips ópticos podría consumir hasta un orden de magnitud menos de energía que los convencionales del mismo tamaño. Joshi espera que, “en 10 años, tengamos una solución práctica que pueda implementarse de forma generalizada en los centros de procesamiento de datos”.
