El futuro será ‘GenAI on device’ o podría no ser… rentable

Los costes operativos y en infraestructuras que acarrea la inteligencia artificial generativa (GenAI), sin considerar los aspectos medioambientales asociados a su expansión, se han convertido en uno de los asuntos estrella del último Mobile World Congress (MWC) de Las Vegas, en los que ha quedado claro que el futuro será GenAI on device o podría no ser… rentable.

La llamada de alerta proviene de un estudio de Tirias Research que pronostica que, si se mantiene la tendencia actual, se superarán los 76.000 millones de dólares en 2028 en costes operativos y en infraestructuras, más del doble del coste operativo anual estimado del servicio en la nube de Amazon Web Services, que posee un tercio del mercado de infraestructura mundial.

Para elaborar sus cálculos, Tirias Research cuenta con que se multiplique por cuatro el rendimiento informático del hardware, pero también con un aumento de 50 veces en las cargas de trabajo de procesamiento, incluso aunque se produzca una rápida tasa de innovación en torno a los algoritmos de inferencia y su eficiencia.

Las redes neuronales se optimizarán y seguirán mejorando, lo que incrementará la capacidad de los servidores, pero ese factor favorable se verá afectado por un incremento en la utilización de la IA generativa y la continua aparición de casos de uso más exigentes y de modelos más sofisticados con órdenes de magnitud crecientes.

Compañías como Qualcomm llevan un tiempo insistiendo en que el futuro debe ser híbrido, entre los centros de datos y los dispositivos, a los que deberá derivarse parte de la carga de la GenAI. Su Qualcomm AI Engine está presente ya en más de 2.000 millones de dispositivos, entre ellos móviles, PC, tabletas, cámaras de seguridad, robots y vehículos.

“Transferir las cargas de trabajo de IA de los centros de datos con un supuesto rendimiento de procesamiento infinito a dispositivos de bajo coste y con limitaciones de energía requiere una nueva forma de pensar”, afirma la GSMA, la gran asociación de operadoras móviles y organizadora del MWC, en su blog.

La urgencia se percibe en el ritmo al que se están implementando de nuevas formas de compilación, cuantificación de bits y ajuste, tanto en las empresas a la vanguardia de la IA como en la comunidad de código abierto. Si no se adoptan soluciones innovadoras, el crecimiento puede desafiar a los modelos de negocio y la rentabilidad de los servicios emergentes que incorporan GenAI, según GSMA.

En su informe, Qualcomm profundiza en la idea de que “el futuro de la IA debe ser híbrido, con el procesamiento de la IA distribuido entre la nube y los dispositivos. Una arquitectura de IA híbrida, o la ejecución de la IA sólo en un dispositivo, ofrece beneficios en términos de coste, energía, rendimiento, privacidad, seguridad y personalización, a escala global”.

Otra línea de trabajo tiene que ver con los parámetros necesarios para entrenar los modelos de lenguaje extenso (LLM) en los que se basa la GenAI. Meta ha presentado su modelo Llama 2 con versiones de 7.000 millones y 13.000 millones de parámetros, que en algunos casos ha sido capaz de superar al modelo GPT-3 de 175.000 millones. El Gecko de Google necesita aún menos parámetros y los modelos compatibles con dispositivos se están volviendo cada vez más capaces.

En el ámbito del internet de las cosas (IoT), las tareas de reconocimiento de imágenes y otros modelos de visión artificial frecuentemente requieren de unos 1.000 millones de parámetros para el entrenamiento de los LLM. El objetivo a final de año, según el presidente de Qualcomm, Cristiano Amon, que no olvidemos que tiene interés de parte, es que los dispositivos ejecuten modelos con más de 10.000 millones de parámetros antes de que acabe el año.

Esta transformación puede servir de base para mover la toma de decisiones de la nube a un procesamiento más eficiente en los dispositivos, donde se pueden aprovechar mejor los datos personales, la ubicación y la información de sensores, información que quizás los clientes no quieran compartir con un servicio en la nube.

A estas alturas, hay pocas dudas de que la IA generativa se ha convertido en el tema más candente de 2023 y todas las empresas, todos los sectores, han encargado a sus equipos que encuentren la forma de integrarla en sus negocios. Ya sea transformando el servicio al cliente, la planificación minorista, la creación de contenido u otras ideas nuevas.