SambaNova und Supermicro werden disaggregierte Inferenzsysteme entwickeln und vertreiben, die NVIDIA-GPUs mit den rekonfigurierbaren Datenflusseinheiten (RDUs) SN50 von SambaNova kombinieren. Supermicro plant zunächst die Lieferung von 10,000 SN50-Chips. Die Racks werden in den Katalog der Data Center Building Block Solutions (DCBBS) von Supermicro aufgenommen und von Supermicro integriert, getestet, ausgeliefert und betreut. Beide Unternehmen bezeichnen die 10,000 Chips als Planungsgröße für eine schrittweise Markteinführung; weder eine verbindliche Abnahmezusage noch Preise oder Liefertermine wurden bisher bekannt gegeben.
NVIDIA-GPUs führen Prefill aus, SN50-RDUs führen Decode aus
Die Aufteilung entspricht den zwei Phasen der LLM-Inferenz. Die Prefill-Phase verarbeitet die Eingabeaufforderung und ist rechenintensiv; SambaNova weist sie den NVIDIA-GPUs zu. Die Decode-Phase generiert die Antwort Token für Token und ist speicherintensiv; sie wird dem SN50 zugewiesen. SambaNova argumentiert für diese Paarung, dass agentenbasierte Workloads den größten Teil ihrer Zeit in der Decode-Phase verbringen, da ein Agent Tausende von Modellaufrufen durchführt und jede Antwort seine nächste Aktion steuert. Eine schnellere Decode-Phase verkürzt somit die gesamte Schleife.
SN50 ist SambaNovas RDU der fünften Generation. Laut Hersteller unterstützt sie selbst größte Modelle mit hohem Durchsatz bei minimaler Leistungsdichte im Rack. Betreiber können so die Inferenzkapazität in bestehenden Einrichtungen erweitern und bereits vorhandene GPUs für die Vorbelegung nutzen. SambaNova verspricht für das luftgekühlte SambaRack SN50, das auf bis zu 256 Beschleuniger skalierbar ist, die fünffache Rechenleistung pro Beschleuniger und die vierfache Netzwerkbandbreite im Vergleich zur Vorgängergeneration.
SambaRack SN50 verfügt über 16 RDUs pro Rack. Bei Beibehaltung dieser Dichte durch Supermicro ergeben sich somit aus dem ursprünglichen Plan mit 10,000 Chips etwa 625 Racks. SambaNova hat keine Angaben zu Durchsatz, Latenz oder Stromverbrauch der kombinierten GPU- und RDU-Systeme veröffentlicht, und Supermicro hat weder die Serverkonfigurationen, GPU-Modelle oder Verbindungen noch die Anzahl der GPUs und RDUs pro System spezifiziert. Der DCBBS-Katalog von Supermicro umfasst bereits die NVIDIA Vera Rubin NVL72-Racks und das Vera-CPU-Rack , das für Agenten-Sandboxes positioniert wird.
Supermicro übernimmt die Integration und den Vor-Ort-Support.
Supermicro übernimmt Systemintegration, Tests, Auslieferung und Kundensupport inklusive Vor-Ort-Service, während die Ingenieure von SambaNova die Modelle auf SN50-RDUs installieren, sie auf die Hardware abstimmen und Supermicro bei der Implementierung unterstützen. Für Käufer ändert sich der Vertriebskanal: SN50-RDUs können zusammen mit GPUs von Supermicro wie die übrigen Rack-Komponenten bestellt werden – ein einziger Anbieter ist für das gesamte System verantwortlich.
„Agentische KI ist die nächste Generation der Inferenz und muss überall lauffähig sein“, sagte Rodrigo Liang, Mitgründer und CEO von SambaNova. „Supermicro baut KI-Infrastruktur für Rechenzentren weltweit. Kunden können jetzt SN50 RDUs zusammen mit GPUs bei einem weltweit führenden Partner ihres Vertrauens bestellen. So wird schnelle und effiziente Inferenz skalierbar.“
„Unsere Zusammenarbeit mit SambaNova erweitert unser breites DCBBS-Portfolio durch die Ermöglichung heterogener Architekturen, die GPU-Computing mit spezialisierter Inferenzbeschleunigung integrieren und Kunden so bei der Bereitstellung effizienter, skalierbarer KI-Lösungen unterstützen“, sagte Charles Liang, Präsident und CEO von Supermicro.
NeoClouds und Sovereign Clouds sind die ersten Ziele.
Die Unternehmen beginnen mit NeoClouds und Sovereign Clouds und werden ihre Zusammenarbeit anschließend auf Unternehmen ausweiten, die KI lokal einsetzen. SambaNova erwartet, dass die Partnerschaft im Jahr 2027 deutlich mehr Hochleistungs-Inferenzkapazität bereitstellen wird, als es dem Unternehmen allein möglich wäre. Bisher wurden weder Kunden genannt noch ein Zeitplan für die 10,000 Chips veröffentlicht. Der Deal folgt auf den Abschluss einer Finanzierungsrunde über 1 Milliarde US-Dollar bei einer Bewertung von 11 Milliarden US-Dollar am ersten Juli. Im Zuge dessen implementierte JPMorgan Chase SN40- und SN50-Systeme für die lokale Inferenz, und SambaNova kooperiert mit Intel im Bereich heterogener Inferenz.
Amazon