SambaNova en Supermicro gaan gedecentraliseerde inferentiesystemen bouwen en verkopen die NVIDIA GPU's combineren met SambaNova's SN50 Reconfigurable Dataflow Units (RDU's). Supermicro plant in eerste instantie de afname van 10,000 SN50-chips. De racks worden toegevoegd aan Supermicro's Data Center Building Block Solutions (DCBBS)-catalogus, en Supermicro zal de integratie, testen, levering en ondersteuning ervan verzorgen. Beide bedrijven beschrijven de 10,000 chips als een planningscijfer voor een gefaseerde uitrol; geen van beide heeft een aankoopverplichting, prijs of leveringsdatum bekendgemaakt.
NVIDIA GPU's voeren Prefill uit, SN50 RDU's voeren Decode uit
De splitsing volgt de twee fasen van LLM-inferentie. Prefill verwerkt de prompt en is rekenintensief, wat SambaNova toewijst aan de NVIDIA GPU's; decode genereert het antwoord token voor token en is geheugenintensief, wat het toewijst aan de SN50. SambaNova's argument voor deze combinatie is dat agentische workloads het grootste deel van hun tijd in decode doorbrengen, omdat een agent duizenden modelaanroepen doet en elk antwoord de volgende actie bepaalt, waardoor een snellere decode-fase de hele cyclus verkort.
De SN50 is SambaNova's vijfde generatie RDU, en volgens het bedrijf ondersteunt deze de grootste modellen met een hoge doorvoer zonder een extreem hoge stroomdichtheid in het rack. Hierdoor kunnen operators inferentiecapaciteit toevoegen aan bestaande faciliteiten en hun eigen GPU's blijven inzetten voor pre-fill taken. SambaNova claimt 5x meer rekenkracht per accelerator en 4x meer netwerkbandbreedte dan de vorige generatie voor de SambaRack SN50, die luchtgekoeld is en schaalbaar tot 256 accelerators.
De SambaRack SN50 bevat 16 RDU's per rack, dus het oorspronkelijke plan voor 10,000 chips komt neer op ongeveer 625 racks als Supermicro die dichtheid aanhoudt. SambaNova heeft geen cijfers gepubliceerd over de doorvoer, latentie of het stroomverbruik van de gecombineerde GPU- en RDU-systemen, en Supermicro heeft de serverconfiguraties, GPU-modellen, interconnecties of het aantal GPU's en RDU's per systeem niet gespecificeerd. De DCBBS-catalogus van Supermicro bevat al de NVIDIA Vera Rubin NVL72-racks en het Vera CPU-rack dat het positioneert voor agent-sandboxes.
Supermicro verzorgt de integratie en ondersteuning op locatie.
Supermicro verzorgt de systeemintegratie, testen, levering en klantondersteuning, inclusief service op locatie, terwijl de engineers van SambaNova modellen op de SN50 installeren, afstemmen op de hardware en Supermicro ondersteunen bij de implementatie. Voor kopers is de verandering in het distributiekanaal: SN50 RDU's kunnen samen met GPU's bij Supermicro worden besteld, net als de rest van een rack, waarbij één leverancier verantwoordelijk is voor het systeem.
"Agentic AI is de volgende golf in inferentie en moet overal kunnen draaien", aldus Rodrigo Liang, medeoprichter en CEO van SambaNova. "Supermicro bouwt wereldwijd AI-infrastructuur voor datacenters. Klanten kunnen nu SN50 RDU's bestellen in combinatie met GPU's, van een wereldwijd toonaangevende partner die ze vertrouwen. Zo wordt snelle en efficiënte inferentie op grote schaal mogelijk."
"Onze samenwerking met SambaNova breidt ons brede DCBBS-portfolio uit door heterogene architecturen mogelijk te maken die GPU-computing integreren met gespecialiseerde inferentieversnelling, waardoor klanten efficiënte, schaalbare AI-oplossingen kunnen implementeren", aldus Charles Liang, president en CEO van Supermicro.
NeoClouds en Sovereign Clouds zijn de eerste doelwitten.
De bedrijven beginnen met NeoClouds en soevereine clouds en breiden vervolgens uit naar bedrijven die AI on-premises draaien. SambaNova verwacht dat de samenwerking in 2027 aanzienlijk meer hoogwaardige inferentiecapaciteit zal opleveren dan het bedrijf alleen zou kunnen. Er zijn nog geen klanten bekendgemaakt en er is geen planning gegeven voor de 10,000 chips. De deal volgt op de afronding van een financieringsronde van $1 miljard door SambaNova op 1 juli, waarbij een waardering van $11 miljard werd behaald. Deze financiering kwam tot stand doordat JPMorganChase SN40- en SN50-systemen implementeerde voor on-premise inferentie, en door de samenwerking met Intel op het gebied van heterogene inferentie.
Amazon