En su evento "Avanzando con la IA" en San José, AMD presentó la serie Instinct MI350, su última generación de GPU, junto con una agresiva hoja de ruta para futuras plataformas de aceleración de IA. Basada en la avanzada arquitectura CDNA4, la serie MI350 promete mejoras sustanciales en el rendimiento para cargas de trabajo de IA exigentes. Este anuncio también incluyó un avance de la futura línea Instinct, lo que subraya el compromiso de AMD con la innovación continua en hardware de IA.
Serie AMD Instinct MI350
El Serie AMD Instinct MI350, impulsado por la nueva arquitectura CDNA4, representa un avance significativo en la computación de IA. Diseñada específicamente para cargas de trabajo de IA, la arquitectura CDNA4 introduce motores matriciales mejorados, compatibilidad con nuevos formatos de datos y mejoras cruciales en la eficiencia energética.
Empaquetado avanzado y arquitectura de chiplets: la base del MI350
La serie MI350 está construida sobre la avanzada tecnología de empaquetado de chiplets 3D de AMD, evolucionando a partir de la serie MI300 con mejoras clave.
Diseño y fabricación de chiplets
En esencia, el paquete de la GPU incluye ocho Chiplets de Cómputo Aceleradores (XCD), los principales motores de cálculo. Estos XCD se fabrican con un avanzado proceso de nodo Node 3+ de 3 nm, una mejora de la tecnología de 5 nm utilizada en la serie MI300, lo que contribuye significativamente a una mayor eficiencia energética. Cada XCD alberga cuatro motores de sombreado, cada uno con ocho unidades de cómputo CDNA4 activas, lo que da como resultado 32 CU por XCD y un total de 256 CU para el acelerador.
Como complemento a los XCD, se encuentran dos matrices de E/S (IOD), una reducción de las cuatro IOD de la serie MI300. Estas IOD, fabricadas con un proceso de 6 nm, gestionan el acceso a la memoria, las operaciones de E/S y la comunicación entre chips. Este diseño optimizado de dos IOD, combinado con interconexiones internas más amplias, mantiene los objetivos de ancho de banda a la vez que reduce el consumo de energía.
Integración física y unidad lógica
El ensamblaje físico implica el montaje de los XCD y las pilas de memoria HBM3E en un intercalador Chip-on-Wafer-on-Substrate (COOS). Un aspecto crucial de este diseño es la unión híbrida de los XCD con los IOD situados debajo. Esta técnica de unión híbrida 3D crea interconexiones excepcionalmente densas y de alto ancho de banda entre los chiplets de cómputo y E/S, superando con creces las construcciones 2.5D tradicionales, lo cual es vital para el suministro eficiente de datos a los XCD, que consumen mucha energía. Además, esta avanzada integración 3D contribuye a una menor huella de la GPU, lo que puede mejorar el rendimiento de fabricación y la fiabilidad operativa.
A pesar de su compleja construcción de chiplets, el MI350 funciona lógicamente como una GPU única y unificada. Cada XCD constituye un Complejo de Aceleración de Cómputo, equipado con recursos globales, incluyendo un procesador de comandos y una caché L4 de 2 MB.
Subsistema de memoria mejorado
Para alimentar adecuadamente los potentes núcleos CDNA4, la serie MI350 incorpora un subsistema de memoria sustancialmente mejorado. Está equipada con ocho pilas de memoria HBM3E, lo que proporciona una capacidad total de 288 GB por GPU. Cada pila de 36 GB, compuesta por 12 dispositivos de 24 Gbit de altura, opera a la velocidad máxima de pin HBM3E de 8 Gbps por pin.
La arquitectura también conserva la Infinity Cache de AMD, una caché crucial de memoria ubicada entre el HBM y las cachés Infinity Fabric/L2. Esta caché consta de 128 canales, cada uno con 2 MB de caché, lo que suma un total de 256 MB para la GPU. Para optimizar la eficiencia de la entrega de ancho de banda con menor consumo, AMD ha ampliado los buses de red integrados en los IOD y los opera a un voltaje reducido. Esta optimización reduce la energía por bit, lo que permite a la serie MI350 alcanzar un ancho de banda de memoria por vatio aproximadamente 1.3 veces superior en comparación con su predecesora, la serie MI300.
Además, para gestionar eficazmente la amplia memoria física de 288 GB, se han mejorado significativamente las cachés de traducción universal (UTC), análogas a los búferes de traducción de CPU (TLB). La serie MI350 introduce controles de tamaño de página más granulares tanto en UTC L1 como L2, junto con mayores capacidades. Estas mejoras permiten un mayor alcance de los TLB y una gestión de la memoria virtual más eficiente.
Mejoras de Infinity Fabric
Tecnología Infinity Fabric de AMD Sigue siendo fundamental para la escalabilidad del MI350 y el rendimiento de la comunicación entre GPU. El ancho de banda biseccional del enlace Infinity Fabric AP que conecta los dos IOD se ha incrementado sustancialmente a 5.5 TB/s, lo que facilita la transferencia eficiente de datos entre las dos mitades de la GPU.
Para la comunicación externa, cada GPU MI350 cuenta con siete enlaces Infinity Fabric, lo que permite la conectividad directa entre GPU en configuraciones como una plataforma UBB 8 de 2.0 GPU. Estos enlaces operan a 38.4 Gbps por pin. En una configuración OAM de 8 GPU, esta configuración ofrece un ancho de banda biseccional de aproximadamente 153.6 GB/s en cada dirección por enlace. AMD también ha perfeccionado las técnicas de empaquetado y compresión de datos en estos enlaces externos para aumentar el ancho de banda efectivo entregado. Internamente, Infinity Fabric garantiza que todos los XCD tengan acceso intercalado completo y detallado a todo el espacio de memoria HBM3E en ambos IOD, presentando la memoria como un recurso único, plano y unificado a las unidades de cómputo.
Arquitectura del núcleo computacional CDNA4
En el corazón de la potencia de procesamiento del MI350 se encuentra el Unidad de cómputo CDNA4, ha sufrido una importante reestructuración adaptada a la IA.
Las capacidades de matemática matricial experimentan un impulso sustancial: las CU MI350 ofrecen un aumento del doble en el rendimiento por CU para operaciones de 2 bits (BF16, FP16) y 16 bits (FP8, INT8) en comparación con sus contrapartes MI8. La serie MI300 también introduce compatibilidad de hardware con los formatos de microescala especificados por OCP MX, específicamente FP350 y FP6, que escalan proporcionalmente a partir de FP4. Cabe destacar que la implementación de AMD permite que FP8 opere a la misma velocidad computacional que FP6. Esta decisión estratégica posiciona a AMD como líder en FP4, un formato emergente con potencial para el entrenamiento de IA. Además, se ha incorporado una nueva ALU vectorial, compatible con operaciones de 6 bits y capaz de acumular resultados de BF2 en FP16, mejorando así el rendimiento para ciertas operaciones vectoriales de baja precisión.
Para soportar estas mejoras en el rendimiento de los tensores, se ha aumentado el tamaño de la Unidad de Datos Locales (LDS) por CU, y las nuevas capacidades optimizan el ancho de banda para cargar datos desde la memoria global al LDS. Reconociendo posibles cuellos de botella en operaciones como softmax y mecanismos de atención, el rendimiento de las funciones trascendentales también se ha incrementado junto con las mejoras en el núcleo tensorial.
Varias otras mejoras arquitectónicas contribuyen al rendimiento y la flexibilidad:
- Redondeo estocástico respaldado por hardware: mitiga el sesgo al realizar una conversión descendente de FP32 a formatos de menor precisión mediante la inyección de entropía.
- Instrucción del operador lógico 3 (LUT3): ofrece a los programadores una mayor flexibilidad para implementar operaciones lógicas personalizadas de tres entradas.
- Nuevos operadores Min-Max: permiten a los programadores controlar la propagación de NaN durante las comparaciones, lo que les permite propagar valores NaN o seleccionar el número de punto flotante que no sea NaN, lo que ayuda en la gestión robusta de datos de IA.
Si bien la IA es el enfoque principal, la serie MI350 mantiene la compatibilidad con operaciones de punto flotante de 64 bits (FP64) tanto en unidades vectoriales como matriciales. Sin embargo, una diferencia clave con el MI300 es que, en este último, las operaciones matriciales FP350 se ejecutan a la misma velocidad que las unidades vectoriales FP64, prácticamente la mitad de la velocidad de las matrices FP64 del MI64.
Finalmente, la combinación de un mayor ancho de banda HBM3E y una cantidad de CU ligeramente menor (256 en el MI350X/355X frente a 304 en el MI300X) implica que cada CU de la serie MI350 se beneficia de un mayor ancho de banda de memoria global por ciclo. Esto es crucial para acelerar tanto las operaciones con uso intensivo de GEMM (Multiplicación General de Matrices) como la aritmética vectorial con ancho de banda limitado.
Particionado para flexibilidad: NPS y particionamiento computacional
La serie AMD MI350 presenta capacidades de partición mejoradas, ofreciendo una asignación altamente flexible de sus importantes recursos para maximizar la utilización y la eficiencia en diversas cargas de trabajo.
Para la gestión de memoria, el MI350 proporciona dos modos NUMA (acceso a memoria no uniforme) principales:
- NPS1: trata toda la memoria HBM288E de 3 GB como un único dominio NUMA unificado intercalando el acceso a los datos en las ocho pilas HBM.
- NPS2: Divide la memoria en dos dominios NUMA separados, cada uno correspondiente a uno de los dos IOD y sus cuatro pilas HBM asociadas. Si bien el acceso a la memoria dentro de cada IOD en modo NPS2 se mantiene con intercalación de grano fino, se vuelve de grano grueso entre los IOD. Este modo, especialmente al combinarse con la partición de cómputo, permite optimizar la localización espacial.
Cabe destacar que AMD ha optado por no admitir el modo NPS4 en el MI350 (que sí estaba disponible en el MI300). Esta decisión se debe al acoplamiento de memoria más estrecho entre los dos IOD en la nueva arquitectura, lo que redujo las posibles ventajas de rendimiento derivadas de una mayor subdivisión de la memoria.
En el lado computacional, la GPU se puede configurar para operar en varios modos:
- SPX (Ejecución de partición única): la GPU funciona como un motor único y potente, normalmente utilizado con el modo de memoria NPS1.
- DPX, QPX, OPX (ejecución de partición dual, cuádruple y octal): la GPU se puede dividir en dos, cuatro o incluso ocho particiones de cómputo independientes, respectivamente.
Estas particiones de cómputo se pueden combinar con configuraciones de memoria NPS1 o NPS2, con la restricción de que la granularidad de la partición de cómputo debe ser al menos tan fina como, o más fina que, la partición de memoria (por ejemplo, el modo SPX es incompatible con la partición de memoria NPS2).
Estas versátiles opciones de particionamiento son compatibles tanto con implementaciones bare-metal como con SR-IOV (Virtualización de E/S de Raíz Única), lo que las hace ideales para entornos virtualizados multiusuario. Por ejemplo, en entornos de nube o de centro de datos, una sola GPU MI350 puede segmentarse lógicamente para atender a múltiples usuarios o aplicaciones simultáneamente. Cada usuario recibe una porción dedicada de memoria y recursos de cómputo, lo que garantiza la calidad del servicio y la seguridad, lo cual resulta especialmente valioso en escenarios donde diferentes máquinas virtuales requieren acceso aislado al hardware de la GPU.
MI350X vs. MI355X: Adaptados a diferentes implementaciones
La serie MI350 se presenta con dos variantes principales que satisfacen diferentes necesidades de implementación y envolventes térmicas:
- MI350X: Esta variante está diseñada para un menor consumo de energía, con una potencia de diseño térmico (TDP) de hasta un kilovatio. Es compatible con implementaciones refrigeradas por aire, lo que ofrece una mayor compatibilidad con las infraestructuras de centros de datos existentes.
- MI355X: Con un sistema operativo de mayor potencia, de hasta 1.4 kilovatios TDP, el MI355X está orientado principalmente a implementaciones refrigeradas por líquido, lo que le permite ofrecer el máximo rendimiento.
Si bien ambas variantes se basan en el mismo hardware fundamental, la mayor potencia operativa del MI355X permite frecuencias de reloj sostenidas más altas. Esto se traduce en una mejora del rendimiento de aproximadamente un 20 % en cargas de trabajo reales de extremo a extremo, en comparación con el MI350X. Están disponibles en tres configuraciones de rack validadas.
Redes AMD Pensando Pollara
Además de las nuevas GPU, AMD presentó en profundidad sus soluciones de red Pollara, mostrando importantes avances arquitectónicos diseñados para satisfacer la creciente demanda de sistemas de inteligencia artificial a gran escala. La tarjeta de red Pollara 400 AI, basada en la tecnología adquirida por AMD tras la adquisición de Pensando, introduce un nuevo nivel de programabilidad e inteligencia en las estructuras de red de IA.
La clave de la innovación de Pollara reside en su arquitectura programable. A diferencia del hardware de función fija, la NIC de Pollara incorpora un núcleo MPU programable P4. Este diseño es crucial, ya que los requisitos de las redes de IA cambian constantemente, con la rápida aparición de nuevos protocolos, mecanismos de transporte y necesidades de telemetría. La programabilidad permite que la NIC de Pollara se adapte mediante actualizaciones de software, lo que permite la implementación de esquemas personalizados de gestión de tráfico, nuevos algoritmos de equilibrio de carga y mecanismos de control de congestión a medida sin necesidad de reemplazar el hardware. Esta flexibilidad es crucial para la preparación de los centros de datos de IA para el futuro y la rápida respuesta a las características cambiantes de las cargas de trabajo.
Para abordar los cuellos de botella comunes en la red, Pollara introduce la multidifusión. Para la comunicación entre GPU, los datos de una única conexión pueden distribuirse simultáneamente entre múltiples enlaces físicos de red. Este enfoque mejora la utilización y el rendimiento general de la red al evitar la congestión en cualquier ruta. La propia NIC gestiona las complejidades de esta distribución, incluyendo la reordenación de los paquetes que pueden llegar a su destino fuera de secuencia.
La eficiencia de la red se mejora mediante el reconocimiento selectivo de retransmisiones. En las redes tradicionales, la pérdida de un solo paquete puede desencadenar la retransmisión de una extensa secuencia de datos. Pollara también implementa un método más preciso donde solo se reenvían los paquetes perdidos. Esto reduce significativamente la redundancia de datos en la red, mejorando el ancho de banda efectivo. La solución de red Pollara también está diseñada para un funcionamiento robusto en diversos entornos de red, incluyendo aquellos con conexiones con pérdidas. Incorpora un control de congestión sofisticado, programable y con reconocimiento de rutas. Esta capacidad reduce la dependencia de estructuras de red sin pérdidas, cuya implementación y mantenimiento pueden ser complejos y costosos a las escalas masivas que requieren los clústeres de IA modernos.
AMD también participa activamente en el Consorcio Ultra Ethernet, contribuyendo a la implementación de sus estándares. El UEC busca definir una Ethernet de próxima generación optimizada para la IA, centrándose en un balanceo de carga eficiente, una mayor confiabilidad y un control de congestión específico para la IA. La adhesión a estos estándares abiertos promueve la interoperabilidad y fomenta un ecosistema más amplio.
Finalmente, la tecnología Pollara está diseñada para funcionar sinérgicamente dentro de la plataforma más amplia de AMD, lo que permite la coinnovación entre los componentes de CPU, GPU y NIC. Esto incluye capacidades como la descarga de operaciones colectivas, donde la NIC gestiona tareas de comunicación específicas que requieren un uso intensivo de la red (aquellas que no requieren computación en la GPU). Esto libera recursos de la GPU para sus tareas de procesamiento principales.
ROCm 7: Un ecosistema de software abierto para IA avanzada
Estas innovaciones de hardware se sustentan en el anuncio de ROCm 7, la última evolución de la plataforma de software abierto de AMD, diseñada para maximizar el rendimiento y la accesibilidad. Programada para una vista previa pública hoy antes de su lanzamiento completo en agosto, AMD informa que ROCm 7 ofrece una asombrosa mejora de entre 3 y 3.5 veces en el rendimiento de inferencia y entrenamiento en hardware existente, en comparación con su predecesora.
Para clientes empresariales, AMD lanza ROCm AI Enterprise, una suite integral que ofrece gestión de clústeres, MLOps y herramientas de desarrollo de aplicaciones para implementaciones a gran escala. Simultáneamente, AMD facilita el acceso a desarrolladores individuales con una nueva nube para desarrolladores, que incluye créditos de GPU gratuitos para fomentar la experimentación. Este impulso a la accesibilidad va aún más allá, con ROCm 7 ampliando oficialmente la compatibilidad con dispositivos cliente, incluyendo portátiles y estaciones de trabajo con Windows, lo que garantiza que los desarrolladores puedan crear y probar aplicaciones de IA sin problemas en todo el ecosistema AMD.
El camino a seguir
AMD está dedicada a un ciclo anual rápido de innovación, con una hoja de ruta de productos que se extiende más allá de su serie MI350.
Con miras a un lanzamiento previsto para 2026, AMD está desarrollando la serie MI400, que será el núcleo de una solución totalmente integrada a escala de rack, denominada Helios. Esta plataforma se está diseñando específicamente para entrenar modelos de IA de vanguardia y gestionar tareas de inferencia distribuida a gran escala. El sistema Helios será una plataforma AMD integrada que incorporará las futuras CPU EPYC, denominadas Venice, las GPU Instinct MI400 y la red Pensando de próxima generación, en concreto la tarjeta de red Vulcano 800G AI. Una completa pila de software ROCm, que incluye un Fabric Manager dedicado para la implementación y la gestión automatizadas, también formará parte de esta solución. Con énfasis en los estándares abiertos, el rack Helios cumplirá con las especificaciones OCP. Utilizará Ultra Ethernet (UEC) para escalar la red entre racks e introducirá Ultra Accelerator Link (UAL 1.0) para escalar la comunicación dentro de un mismo rack.
La GPU Instinct MI400 está diseñada específicamente para aplicaciones de IA a gran escala. Las especificaciones preliminares indican capacidades impresionantes, incluyendo 40 PetaFLOPS de rendimiento FP4 y 20 PetaFLOPS de rendimiento FP8. Se espera que cada GPU cuente con 432 gigabytes de memoria HBM, lo que proporciona aproximadamente 20 TB/s de ancho de banda de memoria HBM, y ofrecerá 300 Gigabits por segundo de ancho de banda de escalamiento horizontal. Como complemento a la GPU, la tarjeta de red de IA Vulcano 800G estará preparada para UEC y será compatible con UAL junto con PCIe Gen6, con UAL proporcionando el doble de ancho de banda que PCIe Gen6. Se prevé que esta tarjeta de red ofrezca hasta ocho veces más ancho de banda de escalamiento horizontal por GPU en comparación con la generación anterior de Polara. AMD tiene ambiciosos objetivos de rendimiento para la solución de rack Helios, proyectando que ofrecerá hasta diez veces más rendimiento de IA en los modelos front-end más avanzados en comparación con la MI355. En comparación con Vera Rubin en 2026, Helios pretende ofrecer FLOPS brutos competitivos, un 50 % más de capacidad HBM, un 50 % más de ancho de banda de memoria HBM y hasta un 50 % más de ancho de banda de escalamiento horizontal.
La hoja de ruta de AMD se extiende aún más, con el desarrollo ya en marcha para la serie MI500 y las posteriores arquitecturas a escala de rack, previstas para 2027 y años posteriores. Estas futuras plataformas integrarán la serie MI500, junto con las CPU EPYC de próxima generación, con nombre en código Verano, y nuevos avances en la tecnología de redes Pensando. Sin embargo, no se reveló información adicional en el evento.
Amazon