SambaNova e Supermicro realizzeranno e venderanno sistemi di inferenza disaggregati che combinano GPU NVIDIA con le unità di flusso dati riconfigurabili (RDU) SN50 di SambaNova. Supermicro prevede inizialmente di fornire 10,000 chip SN50. I rack andranno ad aggiungersi al catalogo DCBBS (Data Center Building Block Solutions) di Supermicro, che si occuperà dell'integrazione, del collaudo, della consegna e dell'assistenza. Entrambe le aziende descrivono i 10,000 chip come una cifra indicativa per un lancio graduale; nessuna delle due ha ancora comunicato un impegno di acquisto, un prezzo o una data di spedizione.
Le GPU NVIDIA eseguono Prefill, le RDU SN50 eseguono Decode
La suddivisione segue le due fasi dell'inferenza LLM. La fase di pre-riempimento elabora il prompt ed è limitata dalla potenza di calcolo, che SambaNova assegna alle GPU NVIDIA; la fase di decodifica genera la risposta un token alla volta ed è limitata dalla memoria, che viene assegnata all'SN50. La motivazione di SambaNova per questa combinazione è che i carichi di lavoro agentivi trascorrono la maggior parte del tempo nella fase di decodifica, poiché un agente effettua migliaia di chiamate al modello e ogni risposta condiziona la sua azione successiva, quindi una fase di decodifica più veloce accorcia l'intero ciclo.
SN50 è la quinta generazione di RDU di SambaNova e, secondo l'azienda, supporta i modelli più grandi con un throughput elevato senza un'eccessiva densità di potenza del rack, consentendo agli operatori di aggiungere capacità di inferenza nelle strutture esistenti e di mantenere le GPU già in loro possesso in funzione di precaricamento. SambaNova dichiara una potenza di calcolo per acceleratore 5 volte superiore e una larghezza di banda di rete 4 volte maggiore rispetto alla generazione precedente per SambaRack SN50, che è raffreddato ad aria e scalabile fino a 256 acceleratori.
SambaRack SN50 ospita 16 RDU per rack, quindi il piano iniziale di 10,000 chip si traduce in circa 625 rack se Supermicro mantiene questa densità. SambaNova non ha pubblicato dati relativi a throughput, latenza o consumo energetico per i sistemi combinati GPU e RDU, e Supermicro non ha specificato le configurazioni dei server, i modelli di GPU, le interconnessioni o il numero di GPU e RDU presenti in ciascun sistema. Il catalogo DCBBS di Supermicro include già i rack NVIDIA Vera Rubin NVL72 e il rack CPU Vera che utilizza per le sandbox degli agenti.
Supermicro gestisce l'integrazione e l'assistenza in loco.
Supermicro si occupa dell'integrazione del sistema, dei test, della consegna e dell'assistenza clienti, compreso il servizio in loco, mentre gli ingegneri di SambaNova portano i modelli su SN50, li ottimizzano per l'hardware e assistono Supermicro nelle implementazioni. Per gli acquirenti, il cambiamento risiede nel canale di distribuzione: le unità SN50 RDU possono essere ordinate insieme alle GPU da Supermicro nello stesso modo del resto di un rack, con un unico fornitore responsabile dell'intero sistema.
"L'IA agente è la prossima frontiera dell'inferenza e deve essere in grado di funzionare ovunque", ha affermato Rodrigo Liang, co-fondatore e CEO di SambaNova. "Supermicro realizza infrastrutture di IA per data center in tutto il mondo. Ora i clienti possono ordinare le unità SN50 RDU insieme alle GPU, da un partner leader a livello mondiale di cui si fidano. È così che l'inferenza rapida ed efficiente diventa scalabile."
"La nostra collaborazione con SambaNova amplia il nostro vasto portfolio DCBBS, consentendo architetture eterogenee che integrano il calcolo GPU con un'accelerazione di inferenza specializzata, aiutando i clienti a implementare soluzioni di intelligenza artificiale efficienti e scalabili", ha dichiarato Charles Liang, presidente e CEO di Supermicro.
NeoClouds e Sovereign Clouds sono i primi obiettivi
Le aziende inizieranno con NeoClouds e cloud sovrani, per poi espandersi alle imprese che utilizzano l'IA on-premise. SambaNova prevede che la partnership metterà in servizio nel 2027 una capacità di inferenza ad alte prestazioni sostanzialmente maggiore di quella che potrebbe raggiungere da sola, e non ha ancora rivelato i nomi dei clienti né fornito una tempistica per la fornitura dei 10,000 chip. L'accordo segue la chiusura, il 1° luglio, di un finanziamento da 1 miliardo di dollari per SambaNova, con una valutazione di 11 miliardi di dollari, avvenuta in concomitanza con l'implementazione da parte di JPMorganChase dei sistemi SN40 e SN50 per l'inferenza on-premise e la collaborazione con Intel nel campo dell'inferenza eterogenea.
Amazon