En el centro de la Visión de Intel se encuentra un pronóstico importante: la inversión empresarial en GenAI está a punto de cuadruplicarse de 40 mil millones de dólares en 2024 a la impresionante cifra de 151 mil millones de dólares para 2027. Sin embargo, en medio de este optimismo, el camino hacia la adopción empresarial está plagado de obstáculos.
Intel está firmemente comprometido a abordar estos desafíos brindando soluciones GenAI escalables, seguras y de extremo a extremo que enfrentan los obstáculos más críticos de la IA, desde complejidades de seguridad e integración hasta preocupaciones de costos. Con un firme enfoque en permitir la transformación, Intel está diseñando una estrategia integral de IA empresarial, adoptando un enfoque basado en un ecosistema abierto en toda su línea de productos, que abarca las PC con IA, la informática de punta y el centro de datos.
Robando el show: Acelerador Intel Gaudi 3
A la vanguardia de la Visión de Intel se encuentra la presentación del acelerador Intel Gaudi 3 AI, que sigue el rendimiento y la eficiencia establecidos de su predecesor, el acelerador Intel Gaudi 2 AI. Al ofrecer a los clientes la flexibilidad de un software abierto basado en la comunidad y una red Ethernet estándar de la industria, Gaudi 3 marca un importante avance en la escalabilidad del sistema.
Diseñado para el rendimiento y la eficiencia de GenAI, el Gaudi 3 ofrece mejoras impresionantes con respecto a su predecesor. Con cómputo de IA 4x para BF16, un aumento de 1.5x en la memoria y un ancho de banda de red 2x, promete una productividad incomparable para el entrenamiento de IA y la inferencia en modelos de lenguajes grandes (LLM) y modelos multimodales.
Justin Hotard, vicepresidente ejecutivo y director general de Centro de Datos y Grupo de IA de Intel, subraya la importancia de Gaudí 3 para abordar el panorama cambiante del mercado de la IA. Destaca la demanda de una mayor elección entre las empresas y enfatiza la convincente combinación de precio, rendimiento, escalabilidad y ventaja de tiempo de obtención de valor de Gaudí 3.
En sectores críticos como las finanzas, la manufactura y la atención médica, las empresas están ampliando rápidamente la accesibilidad a la IA, pasando de la implementación experimental a la implementación a gran escala de proyectos de IA generativa (GenAI). Intel considera que el acelerador Gaudi 3 es fundamental para cumplir con estos requisitos, ya que ofrece versatilidad a través de software abierto basado en la comunidad y redes Ethernet estándar para escalar sistemas y aplicaciones de IA de manera flexible.
La arquitectura personalizada de Gaudi 3 está diseñada para una computación de IA eficiente a gran escala, fabricada en un proceso de 5 nanómetros (nm) y equipada con características clave:
- Motor de cómputo dedicado a la IA: Con un motor de cómputo heterogéneo que comprende 64 núcleos de procesador tensorial (TPC) programables y personalizados para IA y ocho motores de multiplicación de matrices (MME), Gaudi 3 sobresale en el manejo de operaciones matriciales complejas fundamentales para los algoritmos de aprendizaje profundo.
- Aumento de memoria para requisitos de capacidad de LLM: con amplia capacidad de memoria, ancho de banda y memoria estática de acceso aleatorio (SRAM) integrada, Gaudi 3 procesa de manera eficiente grandes conjuntos de datos GenAI, mejorando el rendimiento de la carga de trabajo y la rentabilidad del centro de datos.
- Escalado eficiente del sistema para Enterprise GenAI: Integrado con veinticuatro puertos Ethernet de 200 gigabits, Gaudi 3 permite una conexión en red flexible y de estándar abierto, lo que facilita un escalamiento eficiente para admitir grandes grupos de computación y, al mismo tiempo, elimina la dependencia de un proveedor.
- Software de industria abierta para la productividad de los desarrolladores: el software Gaudi integra el marco PyTorch y proporciona modelos optimizados basados en la comunidad Hugging Face, lo que mejora la productividad de los desarrolladores y la facilidad de portabilidad de modelos entre tipos de hardware.
- Gaudi 3 PCIe: al presentar un nuevo factor de forma en la línea de productos, la tarjeta complementaria Gaudi 3 PCIe ofrece alta eficiencia y menor consumo de energía, ideal para cargas de trabajo como ajuste fino, inferencia y generación aumentada de recuperación (RAG).
Se espera que ofrezca importantes mejoras de rendimiento para tareas de capacitación e inferencia en los principales modelos GenAI, el acelerador Gaudi 3 está preparado para revolucionar la IA y la computación de alto rendimiento (HPC). Desempeñará un papel vital en Falcon Shores, la GPU de próxima generación de Intel, integrando la propiedad intelectual Intel Gaudi e Intel Xe con una única interfaz de programación de GPU basada en la especificación Intel oneAPI.
Intel Gaudí 3 vs NVIDIA
Durante la sesión de apertura, el CEO de Intel, Pat Gelsinger, tomó el centro del escenario para presentar el acelerador Intel Gaudi 3 AI. Se espera que Gaudi 3 ofrezca un tiempo de entrenamiento un 50 por ciento más rápido en comparación con NVIDIA H100 en los parámetros Llama2 7B y 13B y GPT-3 175B. Además, el acelerador Gaudi 3 puede producir un rendimiento de inferencia un 50 por ciento mayor y una eficiencia energética de inferencia un 40 por ciento mejor en los parámetros Llama 7B y 70B y en los modelos de parámetros Falcone 180B en comparación con NVIDIA H200. Además, Gaudi 3 ha demostrado una inferencia un 30 por ciento más rápida que NVIDIA H200 en los parámetros Llama 7B y 70B y en los modelos de parámetros Falcon 180B.
Con impresionantes métricas de rendimiento, Gaudi 3 cuenta con un notable rendimiento de inferencia un 50 por ciento mejor y una eficiencia energética un 60 por ciento mejor en comparación con las alternativas de la industria.
Con el respaldo de los principales fabricantes de equipos originales, como Dell Technologies, Supermicro, Lenovo y HPE, y mejorado con funciones como compatibilidad con tarjetas PCIe, Gaudi 3 emerge como una GPU con un tremendo potencial en el panorama de la IA.
Procesadores Intel Xeon 6
Además del acelerador Intel Gaudi 3, Intel proporcionó actualizaciones sobre sus productos y servicios de próxima generación en todos los segmentos de IA empresarial, con nuevos procesadores Intel Xeon 6.
Los procesadores Intel Xeon 6 ofrecerán soluciones de rendimiento eficiente para ejecutar las soluciones GenAI actuales, incluido RAG, que producen resultados específicos de la empresa utilizando datos patentados. Intel presentó una nueva marca para sus procesadores de próxima generación para centros de datos, nube y borde. Los procesadores Intel Xeon 6 con nuevos núcleos eficientes (E-core) brindarán eficiencia. Al mismo tiempo, Intel Xeon 6 con núcleos de rendimiento (P-core) ofrecerá un mayor rendimiento de IA y se lanzará poco después de los procesadores E-core.
Se espera que los procesadores Intel Xeon 6 con E-cores (anteriormente con el nombre en código Sierra Forest) ofrezcan un rendimiento por vatio mejorado 2.4 veces y una densidad de rack 2.7 veces mayor que los procesadores Intel Xeon de segunda generación. Los procesadores Intel Xeon 2 con núcleos P (anteriormente con nombre en código Granite Rapids) incorporan soporte de software para el formato de datos MXFP6, lo que reduce la latencia del token posterior hasta 4 veces con respecto a la cuarta generación Xeon usando FP6.5 y la capacidad de ejecutar 4 mil millones de parámetros Llama16. modelos.
Amazon