SambaNova y Supermicro fabricarán y venderán sistemas de inferencia desagregados que combinan GPU NVIDIA con las unidades de flujo de datos reconfigurables (RDU) SN50 de SambaNova. Supermicro planea inicialmente adquirir 10 000 chips SN50. Los racks se incorporarán al catálogo de soluciones modulares para centros de datos (DCBBS) de Supermicro, y esta última se encargará de su integración, pruebas, distribución y soporte. Ambas compañías describen los 10 000 chips como una cifra de planificación para un lanzamiento por fases; ninguna ha revelado un compromiso de compra, precios ni fecha de envío.
Las GPU de NVIDIA ejecutan el prellenado, las RDU SN50 ejecutan la decodificación.
La división sigue las dos fases de la inferencia LLM. El procesamiento previo procesa la solicitud y está limitado por la capacidad de cómputo, que SambaNova asigna a las GPU de NVIDIA; la decodificación genera la respuesta token a token y está limitada por la memoria, que asigna al SN50. La justificación de SambaNova para esta combinación es que las cargas de trabajo de los agentes pasan la mayor parte del tiempo en la decodificación, ya que un agente realiza miles de llamadas al modelo y cada respuesta determina su siguiente acción, por lo que una etapa de decodificación más rápida acorta todo el ciclo.
SN50 es la quinta generación de RDU de SambaNova, y la compañía afirma que admite los modelos más grandes con un alto rendimiento sin una densidad de potencia de rack extrema, lo que permite a los operadores añadir capacidad de inferencia en las instalaciones existentes y mantener las GPU que ya poseen en tareas de precarga. SambaNova asegura que el SambaRack SN50, con refrigeración por aire y capacidad para hasta 256 aceleradores, ofrece cinco veces más capacidad de cómputo por acelerador y cuatro veces más ancho de banda de red que su generación anterior.
SambaRack SN50 admite 16 RDU por rack, por lo que el plan inicial de 10 000 chips se traduce en aproximadamente 625 racks si Supermicro mantiene esa densidad. SambaNova no ha publicado cifras de rendimiento, latencia ni consumo energético para los sistemas combinados de GPU y RDU, y Supermicro no ha especificado las configuraciones de los servidores, los modelos de GPU ni las interconexiones, ni cuántas GPU y RDU admite cada sistema. El catálogo DCBBS de Supermicro ya incluye los racks NVIDIA Vera Rubin NVL72 y el rack de CPU Vera que utiliza para entornos aislados de agentes.
Supermicro se encarga de la integración y el soporte técnico in situ.
Supermicro se encarga de la integración del sistema, las pruebas, la entrega y la atención al cliente, incluido el servicio in situ, mientras que los ingenieros de SambaNova adaptan los modelos al SN50, los optimizan para el hardware y ayudan a Supermicro con las implementaciones. Para los compradores, el cambio radica en el canal de distribución: las RDU SN50 se pueden pedir junto con las GPU de Supermicro del mismo modo que el resto de un rack, con un único proveedor responsable del sistema.
«La IA agencial es la próxima generación de inferencia y debe estar presente en todas partes», afirmó Rodrigo Liang, cofundador y director ejecutivo de SambaNova. «Supermicro desarrolla infraestructura de IA para centros de datos a nivel mundial. Ahora, los clientes pueden solicitar unidades de desarrollo remoto SN50 junto con GPU, de un socio líder mundial en el que confían. Así es como la inferencia rápida y eficiente se escala».
“Nuestra colaboración con SambaNova amplía nuestra extensa cartera de DCBBS al permitir arquitecturas heterogéneas que integran la computación GPU con la aceleración de inferencia especializada, lo que ayuda a los clientes a implementar soluciones de IA eficientes y escalables”, dijo Charles Liang, presidente y director ejecutivo de Supermicro.
NeoClouds y Sovereign Clouds son los objetivos iniciales.
Las empresas comenzarán con NeoClouds y nubes soberanas, para luego expandirse a empresas que ejecutan IA en sus propias instalaciones. SambaNova espera que la asociación ponga en servicio una capacidad de inferencia de alto rendimiento sustancialmente mayor en 2027 de la que podría lograr por sí sola, y no ha revelado los nombres de los clientes ni el cronograma para los 10 000 chips. El acuerdo se produce tras el cierre, en julio, de una ronda de financiación de 1 000 millones de dólares con una valoración de 11 000 millones de dólares, que incluyó el despliegue de sistemas SN40 y SN50 por parte de JPMorgan Chase para inferencia en las instalaciones, y su colaboración en inferencia heterogénea con Intel.
Amazon