A SambaNova e a Supermicro irão construir e vender sistemas de inferência desagregados que combinam GPUs NVIDIA com as Unidades de Fluxo de Dados Reconfiguráveis (RDUs) SN50 da SambaNova. Inicialmente, a Supermicro planeja adquirir 10,000 chips SN50. Os racks serão integrados ao catálogo de Soluções de Blocos de Construção para Data Centers (DCBBS) da Supermicro, que também será responsável pela integração, testes, entrega e suporte dos mesmos. Ambas as empresas descrevem os 10,000 chips como uma meta para um lançamento gradual; nenhuma delas divulgou um compromisso de compra, preços ou data de entrega.
As GPUs NVIDIA executam o Prefill, enquanto as RDUs SN50 executam a decodificação.
A divisão segue as duas fases da inferência LLM. O pré-preenchimento processa o prompt e é limitado em poder computacional, tarefa que o SambaNova atribui às GPUs NVIDIA; a decodificação gera a resposta um token por vez e é limitada em memória, tarefa que é atribuída ao SN50. A justificativa do SambaNova para essa combinação é que as cargas de trabalho de agentes passam a maior parte do tempo na decodificação, pois um agente faz milhares de chamadas de modelo e cada resposta controla sua próxima ação; portanto, um estágio de decodificação mais rápido encurta todo o ciclo.
O SN50 é a quinta geração de RDU da SambaNova, e a empresa afirma que ele atende aos maiores modelos com alto desempenho sem densidade de energia extrema no rack, permitindo que os operadores adicionem capacidade de inferência em instalações existentes e mantenham as GPUs que já possuem em operação de pré-carregamento. A SambaNova alega que o SambaRack SN50 oferece 5 vezes mais poder computacional por acelerador e 4 vezes mais largura de banda de rede em comparação com a geração anterior. O equipamento é refrigerado a ar e escalável para até 256 aceleradores.
O SambaRack SN50 comporta 16 RDUs por rack, portanto, o plano inicial de 10,000 chips resulta em cerca de 625 racks, caso a Supermicro mantenha essa densidade. A SambaNova não divulgou dados de throughput, latência ou consumo de energia para os sistemas combinados de GPU e RDU, e a Supermicro não especificou as configurações dos servidores, modelos de GPU, interconexões ou quantas GPUs e RDUs cada sistema comporta. O catálogo DCBBS da Supermicro já inclui os racks NVIDIA Vera Rubin NVL72 e o rack de CPU Vera, que é utilizado para ambientes de teste de agentes.
A Supermicro gerencia a integração e o suporte no local.
A Supermicro cuida da integração do sistema, testes, entrega e suporte ao cliente, incluindo serviço no local, enquanto os engenheiros da SambaNova integram os modelos ao SN50, ajustam-nos para o hardware e auxiliam a Supermicro nas implementações. Para os compradores, a mudança está no canal de distribuição: os RDUs SN50 podem ser encomendados juntamente com as GPUs da Supermicro da mesma forma que o restante de um rack, com um único fornecedor responsável pelo sistema.
“A IA Agentic é a próxima onda de inferência e precisa estar disponível em todos os lugares”, disse Rodrigo Liang, cofundador e CEO da SambaNova. “A Supermicro constrói infraestrutura de IA para data centers globalmente. Agora, os clientes podem encomendar RDUs SN50 juntamente com GPUs, de um parceiro líder mundial em quem confiam. É assim que a inferência rápida e eficiente se torna escalável.”
“Nossa colaboração com a SambaNova expande nosso amplo portfólio de DCBBS, possibilitando arquiteturas heterogêneas que integram computação em GPU com aceleração de inferência especializada, ajudando os clientes a implantar soluções de IA eficientes e escaláveis”, disse Charles Liang, presidente e CEO da Supermicro.
NeoClouds e Sovereign Clouds são os alvos iniciais.
As empresas começarão com NeoClouds e nuvens soberanas, expandindo posteriormente para empresas que executam IA em suas próprias instalações. A SambaNova espera que a parceria coloque em operação, em 2027, uma capacidade de inferência de alto desempenho substancialmente maior do que conseguiria sozinha, e não divulgou nomes de clientes nem um cronograma para os 10,000 chips. O acordo sucede o fechamento, em 1º de julho, de um financiamento de US$ 1 bilhão, com uma avaliação de US$ 11 bilhões, que coincidiu com a implantação dos sistemas SN40 e SN50 para inferência local pelo JPMorgan Chase, e com sua colaboração em inferência heterogênea com a Intel.
Amazon