Axelera AI está distribuyendo Europa, la unidad de procesamiento de IA (AIPU) de segunda generación que ha estado presentando desde el año pasado, y se lanza con servidores validados de Dell y Supermicro integrados. La propuesta de la compañía de Eindhoven es la inferencia en la infraestructura que controla el cliente: sistemas agenciales, modelos de lenguaje y visión, IA generativa y visión artificial ejecutándose en un servidor estándar de montaje en rack en las instalaciones, para compradores de servicios financieros, salud, legales, defensa y gubernamentales cuyas normas de cumplimiento o soberanía les impiden acceder a la IA en la nube pública. Europa se presenta en tres versiones: como chip desnudo para clientes que diseñan sus propias placas, como la tarjeta PCIe Axelera Edge 232p de media altura y media longitud, y como el servidor Axelera Server 250p de altura y longitud completas.
629 TOPS a 45 W, con preprocesamiento y postprocesamiento integrados.
El rendimiento principal de Europa, según la página de producto de Axelera, es de 629 TOPS en INT4, INT8 o INT16 con un TDP de 45 W, gracias a ocho núcleos de procesamiento de IA de segunda generación, el doble que en la primera generación de Metis. Junto a ellos se encuentran 16 núcleos vectoriales RISC-V que gestionan el preprocesamiento y el postprocesamiento en el chip, liberando así la CPU principal para la lógica de la aplicación, además de un decodificador de vídeo integrado que evita que las canalizaciones de visión envíen fotogramas a través de la memoria del sistema. La memoria es de 128 MB de SRAM L2 con un ancho de banda de DRAM de 200 GB/s, y el silicio está fabricado con el proceso de 5 nm de Samsung. Las tablas comparativas de Axelera afirman que el rendimiento por dólar es de 3 a 5 veces superior y el rendimiento por vatio de 2 a 3 veces superior frente a competidores no identificados en los modelos Llama 3 8B, Llama 3 70B y Llama 3.2 11B Vision, siendo la configuración de cuatro chips la que aporta la mayor parte de las ventajas; estas cifras combinan las pruebas internas de Axelera con los datos de referencia NIM publicados por la competencia.
Las fotos de las tarjetas muestran cómo los dos formatos dividen el trabajo. Sin el disipador de calor, el Server 250p lleva cuatro AIPU Europa en fila a lo largo de una placa de longitud completa, que coincide con la columna "Europa 4Chip" en los gráficos de Axelera, mientras que el Edge 232p monta una sola AIPU en una placa de media longitud. Ambas son tarjetas PCIe estándar que, según Axelera, se pueden instalar en servidores existentes sin necesidad de reconstruir el entorno en torno a una nueva plataforma, y el Edge 232p es el que se distribuye actualmente en sistemas validados: Dell XE5 y Supermicro 111AD, que se unen a una lista de plataformas OEM validadas de Advantech, Axiomtek, HPE, Lenovo y Seco, con más por anunciar. "Diseñamos nuestra arquitectura en torno a algunas de las limitaciones más difíciles en la computación: potencia, energía, coste y la necesidad de procesar datos localmente", dijo Fabrizio Del Maffeo, CEO y cofundador de Axelera AI. “Europa aplica esos mismos principios, expandiéndose desde la IA física a la IA empresarial, brindando a las organizaciones el rendimiento que necesitan para cargas de trabajo cada vez más sofisticadas, al tiempo que mantienen el control de sus datos, infraestructura y economía.”
Una cadena de herramientas desde Métis hasta Europa.
El software se basa en Voyager Toolchain, que compila y optimiza modelos existentes para cada componente de Axelera, desde los módulos Metis integrados hasta el servidor 250p, utilizando definiciones de canalización YAML para que una aplicación de visión o lenguaje desarrollada en Metis se traslade a Europa sin necesidad de reescribirla. Sobre esta se encuentra Voyager Wingman , la capa de desarrollo agencial que Axelera presentó en julio, la cual adapta las canalizaciones de inferencia existentes, crea otras nuevas y optimiza el código. La última novedad es AxeleraScript (AxScript), el método de compilación de modelos que Axelera reveló la semana pasada para ampliar la compatibilidad con modelos, un aspecto que la compañía señala como el factor limitante para muchos clientes y proveedores de silicio.
Del Maffeo ofrecerá una ponencia titulada "El punto de inflexión de la IA física: cambios en la industria, barreras para la adopción y el imperativo de la infraestructura" hoy a las 11:00 hora local en la AI Infra Summit en Santa Clara, el mismo evento donde Lightbits presenta su motor de caché Inferra KV y Europa se encuentra en el stand 930. Axelera afirma haber implementado su solución en más de 600 clientes hasta la fecha; Europa es la parte que debe demostrar que el mismo diseño centrado en el borde se mantiene cuando la carga de trabajo es un modelo de 70 mil millones de parámetros que atiende a múltiples usuarios desde un solo servidor.
Amazon