La Inferencia de IA como Motor de Productividad

Cuando solicitamos a una IA generativa que responda a una pregunta o cree una imagen, los modelos de lenguaje generan «tokens» de inteligencia que se combinan para proporcionar el resultado. Este proceso se conoce como inferencia de IA.

«Las fábricas de IA generan tokens de IA. Su producto es la inteligencia. En la era de la IA, esta inteligencia aumenta los ingresos y las ganancias.» — Kevin Acocella, NVIDIA

Equilibrando Velocidad y Rendimiento

Las fábricas de IA deben equilibrar dos demandas competitivas para ofrecer una inferencia óptima: la velocidad por usuario y el rendimiento general del sistema. Pueden mejorar ambos factores escalando a más FLOPS y mayor ancho de banda, agrupando y procesando cargas de trabajo de IA para maximizar la productividad.

Limitaciones Energéticas y Soluciones Innovadoras

En una fábrica de IA de 1 megavatio, un sistema NVIDIA Hopper con ocho GPU H100 conectadas por Infiniband genera 100 tokens por segundo (TPS) por usuario en el mejor de los casos, o 2.5 millones de TPS en volumen máximo. Sin embargo, el trabajo real ocurre en el espacio intermedio, donde cada punto a lo largo de la curva representa lotes de cargas de trabajo para que la fábrica de IA procese, cada uno con su propia combinación de demandas de rendimiento.

«Las fábricas de IA son las máquinas de la próxima revolución industrial.» — Kevin Acocella, NVIDIA

Avances en Arquitectura y Software

La arquitectura NVIDIA Blackwell puede hacer mucho más con 1 megavatio que la arquitectura Hopper, y hay más por venir. Optimizar las pilas de software y hardware significa que Blackwell se vuelve más rápido y eficiente con el tiempo.

Blackwell recibe otro impulso cuando los desarrolladores optimizan las cargas de trabajo de la fábrica de IA de forma autónoma con NVIDIA Dynamo, el nuevo sistema operativo para fábricas de IA. Dynamo divide las tareas de inferencia en componentes más pequeños, enrutando y re-enrutando dinámicamente las cargas de trabajo a los recursos de cómputo más óptimos disponibles en ese momento.

El artículo puede contener imprecisiones y/o errores, consulte la web del fabricante para obtener la principal información.