Die MSI XpertStation WS300 basiert auf NVIDIAs neuester DGX Station-Architektur, der leistungsstärksten Generation, und bringt einen kompletten GB300 Grace Blackwell Ultra-Knoten direkt auf Ihren Schreibtisch. Die herausragende Leistung: 20 PetaFLOPS FP4-Rechenleistung, bereitgestellt von einer einzelnen Blackwell Ultra-GPU, die über eine 900-GB/s-NVLink-C2C-Verbindung mit einer 72-Kern-Grace-CPU verbunden ist. Beide Prozessoren greifen auf einen gemeinsamen 748-GB-Speicherpool zu: 252 GB HBM3e und 496 GB LPDDR5X – genug, um ein Modell mit einer Billion Parametern im lokalen Speicher zu halten.
Die DGX Station unterstützt zudem die Clusterbildung mehrerer Einheiten mithilfe ihrer ConnectX-8 SuperNIC, die zwei 400-GbE-Ports für eine Datenübertragungsrate von 800 Gbit/s bereitstellt. Das Ergebnis ist ein Rechenzentrumsgerät, das sich anstelle eines Serverraums auch im Homeoffice oder Büro einsetzen lässt.
Technische Spezifikationen der NVIDIA DGX Station
Die XpertStation WS300 ist MSIs Umsetzung der NVIDIA GB300 DGX Station-Plattform. NVIDIA liefert das Grace Blackwell Ultra Mainboard und die Softwareumgebung, während MSI Gehäuse, Flüssigkeitskühlung, Stromversorgung, Speicherkonfiguration, externe Ein-/Ausgänge und das Servicemodell bereitstellt, die die Plattform zu einem kompletten Desktop-System machen. Da die Grace CPU, die Blackwell Ultra GPU, die NVLink-C2C-Verbindung und das ConnectX-8-Netzwerk fest verbaut sind, liegt die eigentliche Differenzierung der OEMs darin, wie effektiv das Gesamtsystem diese Hardware unterstützt, verwaltet und zugänglich macht.
| Normen | Details |
|---|---|
| Architektur | |
| CPU | NVIDIA Grace, 72-Kern-Arm Neoverse V2 |
| GPU | NVIDIA Blackwell Ultra (B300) |
| Tensorkerne | 5th Generation |
| CPU-GPU-Verbindung | NVLink-C2C, 900 Gbit/s bidirektional |
| Memory | |
| Kohärentes Gedächtnis | Bis zu GB 748 |
| GPU-Speicher | Bis zu 252 GB HBM3e |
| GPU-Speicherbandbreite | 7.1 TB / s |
| CPU-Speicher | Bis zu 496 GB LPDDR5X (4 x SOCAMM) |
| CPU-Speicherbandbreite | 396 GB / s |
| Lagerung | |
| Boot-Laufwerke | 2 x M.2 2280 PCIe 5.0 x4 NVMe (CPU-angeschlossen), bestückt mit 2 x 2 TB im RAID 1 |
| Erweiterungslaufwerke | 2 x M.2 2280 PCIe 5.0 x4 NVMe (ConnectX-8 angeschlossen), werkseitig geöffnet |
| Netzwerken | |
| NIC | NVIDIA ConnectX-8 SuperNIC, 2 x 400G QSFP112 (800 Gbit/s aggregiert) |
| Ethernet | 1 x 10GBase-T RJ45 (Marvell AQC113) |
| Verwaltungsport | 1 x 1000Base-T RJ45 (dedizierter Out-of-Band-Anschluss) |
| Wireless | M.2 2230 Key-E-Steckplatz, PCIe 2.0 x1 (Wi-Fi 6E / Wi-Fi 7, Bluetooth) |
| Expansion | |
| PCIe-Steckplätze | 1 x PCIe 5.0 x16 FHFL Doppelbreite; 2 x PCIe 5.0 x16 FHFL Einzelbreite (x8 Signale) |
| Unterstützte Zusatz-GPUs | NVIDIA RTX PRO 2000 Blackwell, RTX PRO 4000 Blackwell SFF, RTX PRO 6000 Blackwell Workstation / Max-Q |
| Front / Top I/O | |
| USB | 2 x USB 3.2 Gen 2 Typ-A; 2 x USB 3.2 Gen 2 Typ-C (5V/3A) |
| Audio | 2 x Klinkenbuchsen (Line-Out / Mikrofon) |
| Hintere I / O | |
| USB | 4 x USB 10 Gbit/s Typ-A; 1 x Micro-USB COM (serielle Konsole) |
| Präsentation | 1 x Mini DisplayPort (BMC-Video, max. 1024 x 768, kein DP++) |
| Audio | 3 x Klinkenbuchsen (Line-In / Line-Out / Mikrofon) |
| Management & Sicherheit | |
| BMC | ASPEED AST2600 mit AMI MegaRAC Firmware, IPMI 2.0 und Redfish, eMMC-lokaler Speicher |
| Sicherheit | TPM 2.0, Gehäuseintrusion, Microchip CEC1736 Hardware-Root of Trust (ERoT) |
| Kühlung: | |
| Flüssigkeitskühlung | Flüssigkeitskühlmodul mit einer Nennleistung von 1400 W für CPU + GPU, mit Kühlblöcken für GPU, CPU, Speicher und ConnectX-8 |
| Kühler / Lüfter | 2 x 360-mm-Radiatoren; 1 x 12025-Systemlüfter |
| Tuning | |
| Labor-Stromversorgungen | 1 x 1600W ATX, 80 PLUS Platinum (150 x 86 x 210 mm) |
| AC-Eingang | 100–114 V Wechselstrom, 15 A, 47–63 Hz (max. 1300 W Ausgangsleistung); 115–240 V Wechselstrom, 15–8 A, 47–63 Hz (max. 1600 W Ausgangsleistung) |
| Formfaktor | |
| Abmessungen | 245.7 x 529.0 x 570.4 mm (9.67 x 20.83 x 22.46 Zoll), B x H x T |
Designen und Bauen
Auf den ersten Blick wirkt die XpertStation wie eine moderne Standard-Workstation mit elegantem, professionellem Design. Entfernt man die Seitenwand, enden die Ähnlichkeiten jedoch dort.
GB300 Grace Blackwell Ultra Desktop Superchip
Im Zentrum der WS300 steht unser Star: die NVIDIA B300 GPU, die auf der Blackwell Ultra Architektur basiert.
Quelle: NVIDIA, kommentiert von StorageReview
Die B300 ist eine der fortschrittlichsten GPUs auf dem Markt. Sie verfügt über ein Dual-Reticle-Design, das auf TSMCs 4NP-Prozess basiert. Die beiden Dies sind über NVIDIAs 10-TB/s-NV-HBI-Die-to-Die-Schnittstelle verbunden, wodurch die GPU als einzelner CUDA-Beschleuniger fungieren kann. Die in der DGX Station verwendete B300 basiert auf dem Blackwell-Ultra-Design mit 208 Milliarden Transistoren und verfügt über bis zu 160 SMs und 640 Tensor-Kerne der fünften Generation. Sie bietet außerdem 252 GB HBM3e-Speicher mit einer Bandbreite von 7.1 TB/s. Als Rechenzentrumskomponente besitzt die B300 keine herkömmlichen Display-Ausgänge und keine NVENC-Hardware-Encoder. Sie enthält jedoch sieben NVDEC-Engines und sieben nvJPEG-Decoder. Die GPU unterstützt zudem MIG und kann somit in bis zu sieben isolierte Instanzen partitioniert werden. Die Rechenleistung der B300 umfasst:
| Präzision | Spitzenleistung |
|---|---|
| B300 Rechenleistung | |
| NVFP4 Tensor Core | 20 PFLOPS dünnbesetzt / 15 PFLOPS dichtbesetzt |
| FP8 / FP6 Tensor Core | 10 PFLOPS |
| INT8 Tensorkern | 330 TOPS |
| FP16 / BF16 Tensor Core | 5 PFLOPS |
| TF32 Tensorkern | 2.5 PFLOPS |
| FP32 | 80 TFLOPS |
| FP64 / FP64 Tensor Core | 1.3 TFLOPS |
| Die Spitzenwerte basieren auf dem GPU-Boost-Takt. Die Spezifikationen des Tensor-Kerns verwenden Sparsity, sofern nicht anders angegeben. | |
Zusammen mit dem B300 kommt Grace zum Einsatz, NVIDIAs erster Rechenzentrums-CPU. Sie nutzt 72 Arm Neoverse V2-Kerne, der umgebende Prozessor ist jedoch eine Eigenentwicklung von NVIDIA, einschließlich Cache-Hierarchie, Speichercontroller, System-I/O, Scalable Coherency Fabric und NVLink-C2C-Schnittstelle. Grace stellt 72 Kerne und 72 Hardware-Threads bereit, wobei jeder Kern Armv9 mit Kryptografie-Erweiterungen und vier 128-Bit-SVE2-Vektoreinheiten implementiert. Der Kern verfügt über einen Sechs-Wege-Befehlsdecoder, der bis zu acht Befehle pro Taktzyklus verarbeiten kann, sechs skalare ALUs, jeweils 64 KB L1-Befehls- und Datencache sowie 1 MB privaten L2-Cache. Die CPU teilt sich 114 MB L3-Cache.
Die Kerne und L3-Cache-Slices sind über NVIDIAs Scalable Coherency Fabric (SCF) verbunden, ein Mesh-Interconnect mit einer Bisektionsbandbreite von 3.2 TB/s. Die SCF verbindet die CPU-Kerne außerdem mit dem Speicher, der System-I/O und der NVLink-C2C-Schnittstelle und stellt Grace so die benötigte Datentransferbandbreite für den B300 bereit. Im WS300 übernimmt Grace die CPU-seitigen Aufgaben rund um den Beschleuniger: GPU-Kernel-Starts, Datenladen, Vorverarbeitung, Tokenisierung und Modellorchestrierung. Die untenstehende Topologieansicht zeigt übersichtlich das Single-Socket-Design mit einer 72-Kern-Grace-CPU und den daran angeschlossenen Plattformkomponenten.
Grace ist mit 496 GB LPDDR5X-Speicher ausgestattet und bietet eine Bandbreite von 396 GB/s. Anstatt den Speicher direkt auf die Basisplatine zu löten, verwendet die DGX Station vier SOCAMM-Module. SOCAMM (System-on-Chip Advanced Memory Module) integriert LPDDR5X in einem kompakten, austauschbaren Formfaktor. Dadurch behält die Plattform die Bandbreiten- und Energieeffizienzvorteile von LPDDR5X bei und ermöglicht gleichzeitig die Wartung des Speichers. Ein defektes Modul kann ausgetauscht werden, ohne die gesamte Basisplatine ersetzen zu müssen.
Die Verbindung zwischen Grace und dem B300 erfolgt über NVIDIAs NVLink-C2C-Schnittstelle, eine Verbindung auf Gehäuseebene mit einer bidirektionalen Bandbreite von 900 GB/s – etwa dem Siebenfachen einer PCIe Gen5 x16-Verbindung. Der wichtigere Unterschied liegt jedoch in der Speicherkohärenz. In einer herkömmlichen Workstation verfügen CPU und dedizierte GPU über separate Speicherbereiche, zwischen denen Daten über PCIe übertragen werden. Mit NVLink-C2C teilen sich Grace und B300 einen gemeinsamen Adressraum, sodass jeder Prozessor direkt auf den Speicher des jeweils anderen zugreifen kann.
Das Ergebnis ist ein zusammenhängender Adressraum von 748 GB, nicht ein 748 GB großer HBM-Block. Die B300 verfügt über 252 GB HBM3e mit einer Übertragungsrate von 7.1 TB/s, während Grace 496 GB LPDDR5X mit 396 GB/s beisteuert. Daten im Grace-Speicher müssen weiterhin die C2C-Verbindung passieren, daher bleibt HBM der beste Speicherort für häufig verwendete Modellgewichte, Tensoren und Puffer. Der Grace-Speicher fungiert stattdessen als Speicherebene mit hoher Kapazität, sodass Workloads, die die 252 GB des lokalen Speichers der B300 überschreiten, auf einem System verbleiben können, anstatt auf mehrere GPUs verteilt zu werden. Die Auswirkungen des Wechsels zu dieser zweiten Speicherebene auf die Leistung werden wir später im Testteil messen.
Systemtopologie
Ausgehend vom GB300-Gehäuse zeigt das Blockdiagramm von MSI, wie die restlichen Systemkomponenten um die Grace-Grafikkarte herum verbunden sind. Die CPU befindet sich im Zentrum der I/O-Topologie und ist direkt mit zwei PCIe 5.0 x4 M.2-Steckplätzen verbunden. Diese sind mit zwei 2-TB -Micron-4600 -SSDs bestückt, die im RAID-1-Verbund für das Betriebssystem und die NVIDIA-Software konfiguriert sind. Die drei Erweiterungssteckplätze in voller Länge sind ebenfalls direkt an die Grace-Grafikkarte angeschlossen: ein PCIe 5.0 x16- und zwei PCIe 5.0 x8-Steckplätze.
MSI hat das Gehäuse auch für eine große Zusatz-GPU vorbereitet. Ein vorverdrahtetes 12VHPWR-Stromkabel ist an der Vorderseite des Gehäuses leicht zugänglich, sodass kein weiteres Kabel durch das System verlegt werden muss. Die vertikale Metallstrebe, die das Gehäuse versteift, verfügt außerdem über eine Anti-Durchhang-Halterung zur Unterstützung langer, schwerer RTX PRO-Karten.
Ein USB-Controller auf der Grace-Seite steuert die vorderen und hinteren USB-Anschlüsse des Systems sowie den Audio-Codec. Grace ist außerdem mit dem ASPEED AST2600 BMC verbunden, der einen dedizierten 1-GbE-Management-Port, einen Mini-DisplayPort-Ausgang (begrenzt auf 1024 x 768 Pixel) und eine serielle Micro-USB-Konsole bereitstellt. Der Mini-DisplayPort dient der Ersteinrichtung und Fehlerbehebung und ist nicht als primärer Bildschirmausgang des Systems vorgesehen. Wer den WS300 als herkömmlichen Desktop-PC nutzen möchte, benötigt weiterhin eine der optionalen RTX-PRO-Grafikkarten.
Der zweite wichtige Zweig ist NVIDIAs ConnectX-8 SuperNIC. Ihr auffälligstes Merkmal sind die beiden 400GbE QSFP112-Ports auf der Rückseite, die eine aggregierte Netzwerkbandbreite von bis zu 800 Gbit/s ermöglichen. ConnectX-8 verfügt außerdem über einen integrierten PCIe-Switch mit 48 Lanes. Die Upstream-Verbindung ist PCIe Gen6-fähig, die Downstream-Ports, die sie für Geräte bereitstellt, arbeiten jedoch mit PCIe 5.0. Dadurch kann MSI sie als sekundären I/O-Hub und nicht nur als Netzwerkadapter verwenden.
Zwei PCIe 5.0 x4-Anschlüsse des ConnectX-8 versorgen die verbleibenden M.2 2280-Steckplätze, die MSI für Erweiterungen freilässt. Über denselben Anschluss werden außerdem der M.2 2230 Wi-Fi- und Bluetooth-Steckplatz (über PCIe 2.0 x1), der Marvell AQC113-Controller für den 10GBase-T-Anschluss sowie ein zweiter USB-Controller für einen zusätzlichen USB-Anschluss an der Vorderseite verbunden.
Leistung und Kühlung
Die WS300 wird von einem einzelnen 1,600-W-80-PLUS-Platinum-ATX-Netzteil mit C19-Eingang mit Strom versorgt. Für Installationen in Nordamerika benötigt die DGX Station einen separaten 20-A-Stromkreis, um die volle Leistung des Systems bereitzustellen.
Die Nennleistung von 1,600 W stellt die maximale Leistungsaufnahme des gesamten Systems dar. Grace, der B300-Chipsatz, Speicher, Pumpen, Lüfter und eine optionale RTX PRO-Grafikkarte beziehen ihre Energie vom selben Netzteil. Der Einbau einer leistungsstarken Grafikkarte erweitert zwar die Leistungsfähigkeit des WS300, benötigt aber keine separate Stromversorgung. Sind sowohl der B300-Chipsatz als auch die RTX-Karte ausgelastet, müssen sie sich die bereits verfügbare Leistung teilen, was die Leistung der B300-GPU beeinträchtigen kann.
MSI bewältigt die entstehende Wärmelast mit einem speziell angefertigten Wasserkühlkreislauf, der das B300-Mainboard, die Grace-CPU, den SOCAMM-Speicher und das ConnectX-8-Gehäuse inklusive der optischen Laufwerkskäfige umschließt. Die Wärme wird über zwei 360-mm-Radiatoren abgeführt, während ein separater 120-mm-Lüfter die Luft im restlichen Gehäuse umwälzt. MSI gibt die Kühlleistung für CPU und GPU mit bis zu 1,400 W an. In unseren Tests erreichte das B300-Mainboard eine maximale Temperatur von 71 °C, während die CPU bei einer GPU-Leistung von 1292 W nie wärmer als 65 °C wurde.
Kraftschwappen
NVIDIA verwaltet dieses gemeinsame Budget über den vsloshd-Dienst. Im dynamischen Standardmodus überwacht der Dienst den Stromverbrauch des GB300-Moduls und einer optionalen RTX PRO-Karte in Echtzeit und passt die verfügbare Leistungsreserve zwischen den beiden Geräten an, anstatt jedes Gerät auf ein festes Limit zu beschränken. Gemäß der aktuellen Richtlinie hat die RTX-Karte Priorität. Benötigt sie mehr Strom, senkt das System zunächst die Leistungsaufnahme des GB300-Moduls, bevor es die der RTX-Karte erhöht. Ist keine RTX-Karte installiert, steht dem GB300-Modul das gesamte Budget zur Verfügung.
Das bedeutet, dass die optionale RTX PRO 6000 nicht einfach nur zusätzliche Leistung über die des B300 hinaus bietet. Wenn beide GPUs ausgelastet sind, wird die der RTX-Karte zugewiesene Leistung direkt aus dem Budget des GB300 entnommen, was die Taktraten und die Leistung des B300 reduzieren kann.
Die Plattform verfügt außerdem über eine Hardware-Leistungsbremse für Fälle, in denen das System eine beeinträchtigte Stromversorgung erkennt. Dies konnten wir in unseren praktischen Tests beobachten, als lose Stromanschlüsse dazu führten, dass der WS300 seine Leistungsgrenze reduzierte, anstatt sich abzuschalten oder über eine fehlerhafte Verbindung weiterhin mit voller Leistung zu arbeiten. Das Gerät blieb im reduzierten Leistungsmodus online, bis das Verbindungsproblem behoben war.
Konnektivität
Bevor wir uns dem Gehäuse zuwenden, lohnt sich ein kurzer Blick auf die Anschlüsse an Vorder- und Rückseite. Die Vorderseite umfasst zwei USB 3.2 Gen 2 Typ-A-Anschlüsse, zwei USB 3.2 Gen 2 Typ-C-Anschlüsse, separate Line-Out- und Mikrofonbuchsen sowie die Ein-/Aus- und Reset-Tasten.
Die Rückseite ist in zwei Bereiche unterteilt: Anschlüsse für die Workstation und die darunterliegende Serverhardware. ConnectX-8 bietet zwei 400GbE QSFP112-Ports, ein separater 10GBase-T-Port für die normale Host-Netzwerkverbindung und ein dedizierter 1GbE-Port für die Verbindung zum BMC. Vier 10-Gbit/s-USB-A-Ports und drei Audiobuchsen dienen dem Anschluss lokaler Peripheriegeräte. Der BMC stellt außerdem eine serielle Micro-USB-Konsole und einen Mini-DisplayPort bereit. Der Stromanschluss C19 befindet sich an der Unterseite des Gehäuses. Wi-Fi 6E oder Wi-Fi 7 mit Bluetooth kann über den internen M.2-2230-Key-E-Steckplatz nachgerüstet werden.
Rechenzentrumsworkloads auf dem Schreibtisch
Bisher wurde die DGX Station beschrieben; für Käufer ist jedoch die wichtigere Frage, was die XpertStation einem Team ermöglicht. Der Wert der WS300 wird deutlicher, wenn man sie als Entwicklungsplattform und nicht nur als leistungsstarkes Inferenzsystem betrachtet. Ihre B300-GPU, die Grace-CPU, die MIG-Unterstützung, die optionale RTX-PRO-Grafikkarte und der Datacenter-Software-Stack bringen zahlreiche Workflows, die normalerweise auf gemeinsam genutzter Cluster-Hardware basieren, auf einen einzigen lokalen Knoten.
MIG als Entwicklungswerkzeug
Stellen Sie sich vor, Sie führen mehrere völlig unabhängige Prozesse gleichzeitig auf einer einzigen GPU aus. Genau das leistet Multi-Instance GPU (MIG): Es segmentiert die B300-GPU hardwareseitig in bis zu sieben gleich große Bereiche oder Instanzen. Jede Instanz erhält einen festen Anteil an SMs, HBM, Cache und Speicherbandbreite, besitzt eine eigene Geräteidentität und erscheint CUDA als separate GPU.
Dies ermöglicht die Entwicklung, das Testen und die Validierung von Multi-GPU-Workloads; das Trainieren von Skripten; und die Entwicklung für Tools wie Dynamo, LLM-D usw.
Für unsere Tests konfigurierten wir den B300 mit drei MIG-Instanzen und nutzten diese, um NVIDIA Dynamo-Komponenten auf separaten, CUDA-fähigen Geräten zu starten. Dies entspricht der Vorgehensweise bei der Entwicklung unserer Benchmark-Tools: Die Validierung ihres korrekten Verhaltens erfordert wiederholte Tests mit realer Hardware. Ein lokaler B300, den wir flexibel aufteilen und rekonfigurieren können, ohne Serverkapazität zu belegen und ohne den Stromverbrauch, die Wärmeentwicklung und den Lärm eines Racks im Raum, reduziert den Aufwand für diese iterative Arbeit erheblich.
Isaac GR00T und die physikalische KI-Schleife
Ein weiterer Workflow, der besonders gut zur DGX Station passt, ist die physikalische KI.
Wir haben diesen Workflow bereits getestet , er erforderte jedoch mehrere Systeme mit GPUs unterschiedlicher Klassen. Die DGX Station vereint diese zuvor getrennten Schritte in einem einzigen Desktop-Rechner.
Der Prozess beginnt mit der Teleoperation: Ein Bediener führt den Roboter durch eine Aufgabe, um eine kleine Anzahl realer Demonstrationen zu erfassen. Diese Beispiele fließen dann in den Isaac GR00T-Workflow ein. Die optionale RTX PRO GPU übernimmt die Grafik- und Raytracing-Anforderungen von Isaac Sim, während Isaac Lab und GR00T-Mimic die ursprünglichen Demonstrationen zu einer wesentlich größeren Sammlung physikalisch plausibler synthetischer Trajektorien erweitern. Abschließend optimiert der B300 das GR00T-Modell mithilfe des kombinierten realen und synthetischen Datensatzes.
Quelle: NVIDIA
Nach der Feinabstimmung kann die resultierende Strategie in einer Simulation validiert werden, bevor sie auf dem Roboter zur Evaluierung in der Praxis eingesetzt wird. Dadurch entsteht ein enger Entwicklungszyklus: Eine reale Demonstration erfassen, diese in der Simulation reproduzieren und variieren, das Modell neu trainieren und die aktualisierte Strategie auf der Hardware testen. Für Teams mit eingeschränktem Zugriff auf Roboter, Bediener oder Datenerfassungsfenster kann die Konsolidierung von Simulation, Generierung synthetischer Daten und Modelltraining in einem einzigen System am Arbeitsplatz den Aufwand jeder Iteration deutlich reduzieren.
Blackwell Ultra Kernelentwicklung
Der wohl beste Anwendungsfall für die DGX Station ist die Kerneloptimierung. Wenn ein Team CUDA- oder Triton-Kernel für Blackwell Ultra entwickelt, ist die Ausführung auf der Zielarchitektur unerlässlich. Die WS300 stellt dem Entwickler einen B300 und 252 GB HBM3e zur Verfügung und ermöglicht so die Profilierung realer Workloads, die Untersuchung des Speicherverhaltens, die Optimierung von Tensor-Core-Pfaden, die Zusammenführung von Operationen und Iterationen, ohne Rechenzeit auf einem Server mit acht GPUs oder einem Rack-System zu belegen.
Größere Systeme sind weiterhin wichtig, können aber für Aufgaben reserviert werden, die sie erfordern: NVLink-Skalierung, NCCL-Kollektive, Kommunikationskerne, Multi-GPU-Inferenz und die abschließende Durchsatzvalidierung. Der WS300 verarbeitet die Single-GPU-Kernel-Aufgaben lokal und hält so die teuren, gemeinsam genutzten Systeme für skalierte Tests frei. Für ein Team, das sich auf die Optimierung von Blackwell Ultra konzentriert, ist dies eine der direktesten Entwicklungsmaschinen auf dem Markt.
Wäre die DGX Station zusammen mit den ersten Blackwell Ultra-Systemen ausgeliefert worden, wäre der anfängliche Bestand vermutlich nahezu sofort an KI-Labore, Compiler-Teams, Entwickler von Inferenz-Engines und andere Gruppen vergriffen gewesen, die fieberhaft an der Softwareoptimierung für B300 arbeiteten. Selbst heute noch dürfte der direkte Zugriff auf die Ziel-GPU für Unternehmen der wichtigste Kaufgrund sein.
Leistung
Anmerkung zum Test: Die Tests wurden remote auf einem von MSI gehosteten System durchgeführt, wobei StorageReview die gesamte Softwareumgebung während des gesamten Testzeitraums steuerte. Das System wurde ohne installierte RTX PRO-GPU oder andere PCIe-Erweiterungskarten getestet. Dadurch stand dem GB300 Superchip während des gesamten Tests die volle verfügbare Beschleunigerleistung des Systems zur Verfügung.
Maximal erreichbare Matmul-FLOPS (MAMF)
Um die Rechenleistung des B300 einzuordnen, haben wir MAMF auf drei Systemen der Blackwell-Generation ausgeführt. MAMF (Maximum Achievable Matmul FLOPS) ist eine praxisorientierte Leistungsmetrik, die die realistische Spitzenleistung an Gleitkommaoperationen pro Sekunde misst, die auf Beschleunigern für maschinelles Lernen bei Matrixmultiplikationen erreicht werden kann. Sie bietet einen genaueren Vergleichswert als die in Hardware-Spezifikationen häufig angegebene theoretische Spitzenleistung an Gleitkommaoperationen.
Für diesen Test führen wir für jedes der 3 Systeme einen Scan in BF16, FP8 und NVFP4 durch und berichten über das beste nachhaltige (dichte) Ergebnis pro Präzision.
Die GB300 ist in allen Präzisionsstufen führend. In BF16 erreicht sie 1,967 TFLOPS gegenüber 412 TFLOPS bei der RTX PRO 6000 und 104 TFLOPS bei der DGX Spark . FP8 zeigt das gleiche Bild: 3,909, 763 und 211 TFLOPS. Mit NVFP4 erreicht die GB300 6,134 TFLOPS, die RTX PRO 6000 1,449 und die Spark 364. Die Leistungsverhältnisse sind über alle drei Präzisionsstufen hinweg bemerkenswert stabil: Die GB300 liegt 4- bis 5-mal schneller als die RTX PRO 6000 und 17- bis 19-mal schneller als die Spark, während die RTX PRO 6000 etwa 4-mal schneller ist als die Spark.
NVBandwidth
Die reine Rechenleistung ist nur dann sinnvoll, wenn der Beschleuniger seine Ausführungseinheiten kontinuierlich mit Daten versorgen kann. Dies ist besonders wichtig für KI-Inferenz, da die Token-Generierung während der Dekodierungsphase oft eher durch die Speicherbandbreite als durch die verfügbaren FLOPS begrenzt wird.
Auf dem GB300-Superchip erstreckt sich diese Hierarchie über den lokalen HBM3e-Speicher des B300, den LPDDR5X-Speicher von Grace und die NVLink-C2C-Verbindung zwischen diesen Komponenten. Das NVIDIA-Dienstprogramm NVBandwidth simuliert die verschiedenen Kopierpfade zwischen diesen Komponenten und zeigt sowohl die im GPU verfügbare Bandbreite als auch die Kosten für die Datenübertragung zwischen GPU- und CPU-Speicherbereich an.
Die ersten vier Tests messen die Datenübertragung innerhalb des 252 GB großen HBM3e-Speichers der B300. Lokale Lesezugriffe erreichen 6,875 GB/s bzw. ca. 6.9 TB/s und liegen damit nur wenige Prozent unter der Nennspeicherbandbreite der GPU von 7.1 TB/s. Lokale Schreibzugriffe erreichen 6,009 GB/s.
Die Übertragungsgeschwindigkeit von HBM-zu-HBM-Kopiervorgängen ist geringer, da jeder Kopiervorgang die Bandbreite doppelt beansprucht: einmal zum Lesen der Quelle und ein weiteres Mal zum Schreiben des Ziels. Die dedizierten Kopier-Engines erreichen 3,100 GB/s, während der Tensor Memory Accelerator 2,527 GB/s erzielt.
Die verbleibenden Tests nutzen NVLink-C2C und greifen auf den 496 GB großen LPDDR5X-Speicher von Grace zu. Übertragungsraten vom Grace-Speicher in den B300 HBM erreichen 390 GB/s, während die Übertragungsraten in umgekehrter Richtung 382 GB/s erreichen. Obwohl NVLink-C2C eine kohärente Bandbreite von bis zu 900 GB/s zwischen CPU und GPU bereitstellt, werden die gemessenen Übertragungsraten durch die Speicherbandbreite von 396 GB/s des Grace-LPDDR5X-Speichers begrenzt. Bidirektionale Übertragungsraten verdeutlichen diese Einschränkung zusätzlich. Der simultane Datenverkehr erreicht 253 GB/s mit SM-basierten Kopien und 192 GB/s mit den Kopier-Engines.
Inferenz
Nachdem die Tests auf niedriger Ebene abgeschlossen sind, wenden wir uns der LLM-Inferenz zu. Hierbei verlagert sich der Fokus von Spitzenwerten auf Token pro Sekunde, Zeit bis zum ersten Token und Latenz unter Last, wodurch wir einen besseren Einblick in das Verhalten des WS300 als Serversystem erhalten.
Beginnen wir mit der herausragenden Fähigkeit des GB300 Superchips: der Unterstützung von Modellen, deren Speicherkapazität durch die 252 GB große HBM3e-Speichergrenze des B300 begrenzt wird. Hierbei spielt der 748 GB große zusammenhängende Speicherpool seine größte Bedeutung aus. Die fünf Prüfpunkte reichen von zwei Modellen, die problemlos in den HBM-Speicher passen, über ein Modell, das zwar nominell hineinpasst, aber zu wenig Spielraum für die Laufzeitumgebung und den KV-Cache lässt, bis hin zu zwei Modellen, die erhebliche Teile ihrer Speicherressourcen in den Grace-Speicher auslagern müssen.
Hinweis: Sofern angegeben, wurden die Modelle mit spekulativer Dekodierung für einen höheren Dekodierungsdurchsatz ausgeführt, wobei die Anzahl der erzwungenen Akzeptanztoken auf die Anzahl der Token bei spekulativer Dekodierung gesetzt wurde. Die Ergebnisse stellen daher eine optimale Leistung dar; im realen Betrieb ist der Durchsatz dynamisch und hängt von der Qualität der Token bei spekulativer Dekodierung ab.
Modelle, die vollständig in HBM passen
DeepSeek v4 Flash (0731)
Als erstes kam der äußerst beliebte DeepSeek v4 Flash (0731) zum Einsatz, der als nativer FP8-Checkpoint 14 + 6 GB Speicher belegt. Dieses Modell ist bekannt für seine hohe Effizienz und einfache Bedienung, was sich auch in unseren Erfahrungen mit der DGX Station bestätigte. Bei der 512/512-Workload begann der Ausgabedurchsatz bei 149 Token pro Sekunde und einer Parallelität von 1 und stieg rapide auf 1,766 Token pro Sekunde bei einer Parallelität von 32. Die Workload mit hohem Prefill-Anteil skalierte von 146 auf 949 Token pro Sekunde.
Der gesamte Token-Durchsatz skalierte im gleichen Maße, wobei die 512/512-Workload von 298 auf 3,532 Token pro Sekunde und die Prefill-intensive Workload von 1,311 auf 8,537 Token pro Sekunde anstieg.
MiniMax M2.7 (NVFP4)
Als nächstes testen wir die MiniMax M2.7, eines unserer Lieblingsmodelle, mit NVIDIAs NVFP4-Quant-Prozessor und 125 GB VRAM. Bei der 512/512-Workload begann der Durchsatz bei 193 Token pro Sekunde (bei 1 Parallelität) und skalierte rasant auf 4,801 Token pro Sekunde (bei 128 Parallelitäten). Die Workload mit hohem Prefill-Anteil erhöhte sich von 195 Token pro Sekunde (bei 1 Parallelität) auf 1,743 Token pro Sekunde (bei 64 Parallelitäten). Der Gesamt-Token-Durchsatz zeigte den umgekehrten Trend: Bei der Workload mit hohem Prefill-Anteil stieg er von 1,754 auf 15,684 Token pro Sekunde (bei 64 Parallelitäten), während die 512/512-Workload von 424 auf 9,602 Token pro Sekunde (bei 128 Parallelitäten) skalierte.
Der Gesamtdurchsatz an Token zeigte den gegenteiligen Trend: Bei einer Vorbefüllungslast stieg die Tokenlast von 1,754 auf 15,684 Token pro Sekunde bei einer Parallelität von 64, während die 512/512-Tokenlast von 424 auf 9,602 Token pro Sekunde bei einer Parallelität von 128 skalierte.
Modelle, die kaum in HBM passen
MiniMax M3 (NVFP4)
MiniMax M3 zeigt, wie eine gerade noch ausreichende Speicherkapazität in der Praxis aussieht. Sein 233 GB großer NVFP4-Checkpoint ist kleiner als die 252 GB HBM des B300, dennoch benötigt das Modell Platz für die Laufzeitumgebung und den KV-Cache. Letztendlich belegte es 223 GB HBM, wobei 21 GB an Experteninformationen an Grace ausgelagert wurden. Die spekulative Dekodierung erfolgte mit EAGLE3-GQA und einer synthetischen Akzeptanzlänge von 3 Token. Bei der 512/512-Workload begann der Ausgabedurchsatz bei 197 Token pro Sekunde bei Parallelität 1 und skalierte stetig auf 1,041 Token pro Sekunde bei Parallelität 32. Die Workload mit hohem Prefill-Anteil stieg von 171 Token pro Sekunde bei Parallelität 1 auf einen Spitzenwert von 278 bei Parallelität 2, bevor sie auf 241 bei Parallelität 4 abfiel.
Der Gesamtdurchsatz an Token folgte einem ähnlichen Muster: Die 512/512-Arbeitslast stieg von 395 auf 2,082 Token pro Sekunde, während die vorfüllintensive Arbeitslast bei einer Parallelität von 2 einen Spitzenwert von 2,506 Token pro Sekunde erreichte, bevor sie bei einer Parallelität von 4 auf 2,169 Token pro Sekunde abfiel.
Modelle, die nicht in HBM passen
GLM-5.2 (NVFP4)
GLM-5.2 wurde mit NVIDIAs NVFP4-Quant-Prozessor getestet. Der 433 GB große Checkpoint nutzte 218 GB HBM, wobei 216 GB an Expert Weights in den Grace-Speicher ausgelagert wurden. Es wurde spekulative MTP-Dekodierung mit einer synthetischen Akzeptanzlänge von 3 Token verwendet. Der Ausgabedurchsatz im 512/512-Workload stieg von 36 Token pro Sekunde bei Parallelität 1 auf 139 Token pro Sekunde bei Parallelität 32. Der 8,192/1,024-Workload folgte dicht dahinter mit einem Anstieg von 35 auf 118 Token pro Sekunde. Die ähnlichen Ergebnisse beider Profile zeigen, dass die Generierung hauptsächlich durch das Verschieben der ausgelagerten Expert Weights zwischen Grace-Speicher und GPU begrenzt blieb. Der Sweep wurde bei Parallelität 32 beendet, da nicht genügend HBM für zusätzlichen Kontext zur Verfügung stand.
Der gesamte Token-Durchsatz folgte dem gleichen Muster, wobei die 512/512-Arbeitslast von 72 auf 277 Token pro Sekunde anstieg und die Arbeitslast mit hohem Prefill-Anteil von 314 auf 1,062 kletterte; hier trennen die längeren Eingabeaufforderungen schließlich die beiden Profile, da die Prefill-Token selbst in die Gesamtzahl einfließen.
Nemotron-3-Ultra 550B (NVFP4)
Der Nemotron-3-Ultra 550B ist das größte von uns getestete Modell und nutzt den gesamten kohärenten Speicherpool am direktesten. Es handelt sich um ein 307 GB großes NVFP4-Hybridmodell (Transformer-Mamba), das für HBM allein deutlich zu groß ist. 114 GB der Gewichte wurden in den Grace-Speicher ausgelagert. Die spekulative MTP-Dekodierung erfolgte mit einer synthetischen Akzeptanzlänge von 5 Token. Der Ausgabedurchsatz im 512/512-Workload begann bei 43 Token pro Sekunde bei Parallelität 1 und stieg auf 168 bei Parallelität 32. Der Workload mit hohem Prefill-Anteil zeigte ein interessanteres Bild: Der Durchsatz stieg von 44 Token pro Sekunde bei Parallelität 1 auf einen Spitzenwert von 122 bei Parallelität 2, fiel dann aber bei Parallelität 4 wieder auf 78 ab, da die langen Prompts den begrenzten KV-Cache füllten. Wie schon bei GLM-5.2 verlaufen die beiden Profile nahezu parallel, was erneut darauf hindeutet, dass die Migration von Experten zwischen Grace und der GPU der limitierende Faktor ist, und nicht die Rechenleistung. Der Test wurde aus demselben Grund bei 32 Parallelitätsstufen abgebrochen: Es stand nicht genügend HBM für zusätzlichen Kontext zur Verfügung.
Anschließend folgte der Gesamtdurchsatz der Token, wobei die Vorbefüllungslast bei einer Parallelität von 2 einen Spitzenwert von 2,506 Token pro Sekunde erreichte, bevor sie bei einer Parallelität von 4 auf 2,169 zurückging, während die 512/512-Last von 85 auf 336 Token pro Sekunde skalierte.
WS300 vs. Blackwell RTX PRO 6000 vs. DGX Spark
In dieser Hälfte unserer Inferenztests tritt die WS300 gegen die beiden anderen Möglichkeiten an, Blackwell auf oder in der Nähe eines Schreibtisches zu platzieren: die Blackwell RTX PRO 6000, NVIDIAs 600-Watt-Workstation-Karte, die im Dell Pro Max Tower T2 verbaut ist , den wir zuvor getestet haben, und die GB10-basierte DGX Spark, hier vertreten durch den Acer Veriton GN100 . Jedes System führte die gleichen vLLM-Live-Inferenz-Workloads in zwei Szenarien aus: einem gleichmäßigen Workload mit 512 Eingabe- und 512 Ausgabetokens und einem Prefill-intensiven Workload mit 8,192 Eingabe- und 1,024 Ausgabetokens, jeweils bei Parallelitätsstufen von 1 bis 128. Wir stellten die aggregierte Ausgabe und den Gesamtdurchsatz für jedes Modell grafisch dar, das alle drei Systeme gemeinsam nutzen können: GPT-OSS-20B und GPT-OSS-120B in ihrer nativen MXFP4-Architektur, Llama 3.1 8B in BF16, FP8 und NVFP4 sowie Mistral Small 24B und Qwen3 Coder 30B in BF16 und FP8.
GPT-OSS-20B
GPT-OSS-20B ist der benutzerfreundlichste Test der Reihe und ein Prüfpunkt, der sich problemlos auf allen drei Systemen durchführen lässt. Bei gleicher Arbeitslast skalierte die WS300 sauber auf 22,161 Ausgabetoken pro Sekunde bei 128 gleichzeitigen Streams – etwa das 2.5-Fache der RTX PRO 6000 mit 9,000 und das 15-Fache der DGX Spark mit 1,469. Die Ergebnisse mit einem einzelnen Stream bestätigen dies im Kleinen: 530 Token pro Sekunde auf der Station, 244 auf der Karte und 50 auf der Spark.
Das Szenario mit hohem Vorbefüllungsaufkommen hebt die Unterschiede weiter hervor. Trotz 8,192 Token-Aufforderungen lieferte die WS300 in der Spitze immer noch 9,572 Ausgabetoken pro Sekunde, was inklusive Vorbefüllung mehr als 86,000 Token pro Sekunde ergibt, während die RTX PRO 6000 maximal 2,892 und die Spark 468 Token pro Sekunde erreichten.
GPT-OSS-120B
Mit GPT-OSS-120B können alle drei Systeme das Modell weiterhin laden, die Speicherhierarchie spielt dabei jedoch eine entscheidende Rolle. Die WS300 erreichte unter gleicher Last einen Spitzenwert von 9,294 Ausgabetoken pro Sekunde, das 2.7-Fache der RTX PRO 6000 mit 3,384 und fast das 19-Fache der DGX Spark mit 500.
Bei der intensiven Vorverarbeitung stoßen kleinere Systeme an ihre Grenzen. Die RTX PRO 6000 erreichte bei 64 gleichzeitigen Streams 872 Ausgabetoken pro Sekunde, die Spark 199, während die WS300 mit 128 Streams weiter kletterte und schließlich 5,038 erreichte – ein fast sechsfacher Unterschied zur Karte. Lange Eingabeaufforderungen füllen den KV-Cache stark auf, und Systeme mit weniger Arbeitsspeicher haben lange vor der Station keinen Speicherplatz mehr für die Stapelverarbeitung.
Lama 3.1 8B
Llama 3.1 8B ist so kompakt, dass wir es auf jedem System mit BF16, FP8 und NVFP4 ausführen konnten. Dadurch lässt sich am besten feststellen, welchen Nutzen die Quantisierung auf den einzelnen Maschinen bringt. Bei 128 gleichzeitigen Streams und gleicher Arbeitslast steigerte die WS300 ihre Ausgabeleistung von 17,278 Token pro Sekunde (BF16) auf 28,698 Token pro Sekunde (NVFP4), was einem Zuwachs von 66 Prozent entspricht. Die RTX PRO 6000 erzielte im gleichen Zeitraum einen Zuwachs von 114 Prozent (von 5,720 auf 12,269 Token pro Sekunde), und die DGX Spark legte um 143 Prozent zu (von 828 auf 2,009 Token pro Sekunde). Dieses Muster sollte man sich merken: Je kleiner die Maschine, desto größer der Nutzen der Quantisierung.
Bei Prefill-intensiven Ergebnissen wird das gesamte Feld komprimiert, wobei der NVFP4-Lauf des WS300 einen Spitzenwert von 6,744 Ausgabetoken pro Sekunde erreicht, verglichen mit 2,064 für die Karte und 317 für den Spark.
Mistral Small 24B
Mistral Small 24B erzeugte die größten Lücken im Testfeld. Unter gleicher Auslastung erreichte die WS300 im FP8-Test einen Spitzenwert von 11,157 Ausgabetoken pro Sekunde – das Dreifache der RTX PRO 6000 mit 3,779 und das 19-Fache der DGX Spark mit 585. Im Single-Stream-Betrieb liegt die Ausgabeleistung der Station mit 169 Token pro Sekunde deutlich näher am interaktiven Komfort als die 9 Token pro Sekunde der Spark.
Unter hoher Vorlast erreichte die RTX PRO 6000 lediglich 32 gleichzeitige Streams und 560 Ausgabetoken pro Sekunde, bevor die Werte wieder sanken, während die WS300 bei 128 Streams noch 2,316 erreichte.
Qwen3 Coder 30B
Der Qwen3 Coder 30B, ein Modell mit gemischten Experten und einer geringen Anzahl aktiver Parameter, ist der einzige Test, bei dem die kleineren Systeme den Abstand im Einzelstream-Vergleich verringern. Bei einer gleichzeitigen Anfrage unter gleicher Arbeitslast lieferte die RTX PRO 6000 208 Ausgabetoken pro Sekunde, die WS300 310 – das Ergebnis, das in diesem Vergleich am nächsten an die Station heranreicht. Selbst die Spark erreichte noch brauchbare 55. Im Batch-Verfahren ändert sich das Bild: Bei 128 Streams liefert die Station mit 12,425 Ausgabetoken pro Sekunde im FP8-Modus das 2.4-Fache der Grafikkarte und fast das 16-Fache der Spark.
Bei Prefill Heavy wurde das etablierte Muster beibehalten, wobei die WS300 3,851 Ausgabetoken pro Sekunde erreichte, während die Karte einen Höchstwert von 1,077 und die Spark von 146 erzielte.
Bei den fünf verglichenen Modellen erreichte die WS300 im Vergleich zur Blackwell RTX PRO 6000 eine 2.3- bis 3-fache und im Vergleich zur DGX Spark bei voller Parallelität eine 14- bis 19-fache Leistung. Dieser Vorsprung vergrößerte sich sogar auf das Sechsfache, wenn lange Eingabeaufforderungen den KV-Cache stark beanspruchten. Alle drei Systeme nutzen denselben CUDA-Stack und dieselben Quantisierungspfade. Die Station bietet zusätzliche Speicherkapazität und Bandbreite, was sich hier in höherer Parallelitätsreserve und besserer Toleranz gegenüber langen Kontexten niederschlägt. Ebenso wichtig ist, was diese Diagramme nicht zeigen: Keines der in den vorherigen Abschnitten beschriebenen Spitzenmodelle lässt sich auf den anderen beiden Systemen überhaupt ausführen.
GDSIO
Moderne KI-Workloads sind darauf angewiesen, Datenpakete, Modellgewichte und Checkpoints schnell genug vom Speicher in den GPU-Speicher zu übertragen, um die Auslastung des Beschleunigers zu gewährleisten. NVIDIA GPUDirect Storage beseitigt den herkömmlichen zweistufigen Kopiervorgang, bei dem Daten zunächst von einer SSD in den Systemspeicher gelesen und anschließend in den GPU-Speicher kopiert werden.
Die GB300 DGX Station implementiert dies anders als ein herkömmlicher PCIe-GPU-Server. Die für unseren Test verwendete Micron 4600 ist an den in ConnectX-8 integrierten PCIe-Switch angeschlossen. ConnectX-8 ist mit der Grace-CPU verbunden, während die B300-GPU über NVLink-C2C mit Grace verbunden ist. SSD und GPU befinden sich nicht unter demselben PCIe-Switch. Der Speicherdatenverkehr durchläuft stattdessen den ConnectX-8-Switch, gelangt in den Grace-PCIe-Root-Komplex, durchläuft das Grace-Kohärenz-Fabric und erreicht über NVLink-C2C den HBM3e-Speicher der B300.
Mit GPUDirect Storage registriert cuFile einen in B300 HBM3e allokierten Puffer als Quelle oder Ziel für Speicher-E/A. Beim Lesen verwendet der Controller des Micron 4600 DMA, um Daten in HBM3e zu platzieren; beim Schreiben ruft er Daten von HBM3e ab. Beide Operationen folgen dem oben beschriebenen Grace- und NVLink-C2C-Pfad, ohne die Nutzdaten im LPDDR5X-Speicher von Grace zwischenzuspeichern. Grace verwaltet weiterhin das Dateisystem und die NVMe-Steuerungsebene, einschließlich Befehlsübermittlung und Adressübersetzung, kopiert aber keine Daten. GPUDirect Storage eliminiert somit den Zwischenspeicherungsschritt im Systemspeicher, obwohl der Datenverkehr zwischen SSD und B300-Speicher weiterhin über Grace läuft. Bei KI-Workloads entsprechen sequentielle Lesevorgänge dem Streaming von Datensätzen, dem Laden von Modellen und der Wiederherstellung von Checkpoints, während sequentielle Schreibvorgänge dem Speichern von Checkpoints und anderen Rückübertragungen auf den Speicher entsprechen.
Die Leistung des sequenziellen Lesevorgangs von GDSIO skaliert konsistent mit der Anzahl der Threads und der Blockgröße. Bei 16 KB steigt der Durchsatz von 16 MiB/s bei einem Thread auf 250 MiB/s bei 16 Threads und erreicht 2.0 GiB/s bei 128 Threads. Größere Blockgrößen beschleunigen den Durchsatzanstieg deutlich: Bei 256 KB werden 11.8 GiB/s bei 64 Threads erreicht, mit einem Spitzenwert von 12.9 GiB/s bei 128 Threads. Die besten Ergebnisse werden bei 512 KB und 1 MB erzielt, wo der Durchsatz bei 13.1 GiB/s seinen Höchstwert erreicht. Die 1-MB-Workload erreicht diesen Wert bereits bei 32 Threads und hält ihn bis zu 128 Threads aufrecht.
Betrachtet man die Leistung beim sequenziellen Schreiben mit GDSIO, skaliert die Einheit konsistent mit der Anzahl der Threads und der Blockgröße. Bei 16 KB steigt der Durchsatz von 16 MiB/s bei einem Thread auf 250 MiB/s bei 16 Threads und erreicht 2.0 GiB/s bei 128 Threads. Größere Blockgrößen beschleunigen den Anstieg deutlich: Bei 256 KB werden 7.5 GiB/s bei 32 Threads und 12.0 GiB/s bei 64 Threads erreicht. Das beste Ergebnis liefert die 1-MB-Arbeitslast, die bereits bei 16 Threads die maximale Durchsatzrate von 12.0 GiB/s erreicht und diese Leistung bis zu 128 Threads beibehält. 
Für wen ist die MSI XpertStation WS300 gedacht?
Der WS300 ist für Organisationen gedacht, die direkten Zugriff auf Blackwell Ultra benötigen, aber nicht für jedes Experiment eine Clusterreservierung oder Cloud-Anfrage durchführen möchten. KI-Labore, Entwickler von Inferenz-Engines, Framework- und Compiler-Teams, Robotikgruppen und KI-Teams in Unternehmen können ihn als lokalen Entwicklungsknoten für die oben genannten Workflows nutzen. MIG ermöglicht Entwicklern das Testen und Entwickeln für eine Multi-GPU-Umgebung, und BMC ermöglicht die Fernverwaltung des Systems.
Es eignet sich auch für erfahrene KI-Entwickler, die ein sofort einsatzbereites System benötigen. Der Wert liegt nicht allein im B300-Mainboard, sondern in der gesamten Plattform: 252 GB HBM3e, Grace-Technologie und 496 GB LPDDR5X-Speicher, ConnectX-8, gespiegelter Boot-Speicher, Flüssigkeitskühlung, Fernverwaltung und MSI-Support in einem einzigen Tower. Die praktischen Einschränkungen sind der Arm-Host, der Bedarf an einem dedizierten 20-A-Stromkreis und das gemeinsame Leistungsbudget von 1,600 W bei Verwendung einer großen RTX-PRO-Grafikkarte.
Um das volle Potenzial der WS300 auszuschöpfen, ist auch die zugehörige Software entscheidend. NVIDIA bietet eine umfangreiche Sammlung von Playbooks und Bereitstellungsleitfäden, die Teams dabei unterstützen, das System schnell in Betrieb zu nehmen und seine Ressourcen optimal zu nutzen. Wir werden einige dieser Tools in zukünftigen Artikeln genauer betrachten, darunter Brev, das den gemeinsamen Zugriff auf die Workstation vereinfacht und die Auslastung verbessert, sodass diese wertvolle Ressource nicht ungenutzt bleibt.
Was den Preis angeht, hat MSI keinen veröffentlicht, und Geräte dieser Klasse haben selten einen Listenpreis; hier geht es um ein individuelles Gespräch mit dem Vertriebsteam, nicht um einen einfachen Kauf. Der sinnvolle Vergleich sollte nicht mit anderen Workstations erfolgen, sondern mit den Kosten, die ein KI-Team ohnehin trägt: reservierte Clusterzeit, Cloud-GPU-Verpflichtungen und die Wartezeiten für gemeinsam genutzte Hardware.
Fazit
Die MSI XpertStation WS300 ist die leistungsstärkste Workstation, die wir je getestet haben, und ein seltenes Produkt, das die Möglichkeiten einzelner Anwender revolutioniert. Komplexe Checkpoints, die normalerweise hinter einer Cluster-Reservierung liegen – GLM-5.2 mit 433 GB, Nemotron-3-Ultra mit 550 Milliarden Parametern – können auf einem Gerät neben dem Schreibtisch geladen und ausgeführt werden, privat und jederzeit verfügbar. Das ist der Grund für unsere Begeisterung für dieses System.
Die DGX Station richtet sich an Entwickler: Kernel-Entwickler, die Blackwell Ultra als Zielplattform nutzen, Teams für Inferenz-Engines und Frameworks, Robotik-Gruppen, die den kompletten Isaac-Loop ausführen, und generell Anwender, die mit der Planung von Experimenten auf gemeinsam genutzter Hardware unzufrieden sind. Außerhalb dieser Nische ist die Kaufempfehlung für diese Systeme eher gering. Der Arm-Host schließt einige Toolchains aus; der 20-A-Stromkreis ist bei 120-V-Stromkreisen zwingend erforderlich; ohne zusätzliche Karte ist keine Displayausgabe möglich; und eine RTX PRO 6000 Workstation ist deutlich günstiger und deckt die Anforderungen von Einzelanwendern mit Modellen ab, die in ihren 96-GB-Speicher passen.
Die Wirtschaftlichkeit bestimmt auch die optimale Einsatzgröße. Ein einzelner WS300 lässt sich leicht durch reservierte Clusterzeit rechtfertigen, und zwei Server pro Team sind nach wie vor sinnvoll. Weiteres Stacking ist ab einem gewissen Punkt nicht mehr rentabel: Wenn ein Unternehmen beispielsweise vier GB300-Türme anschafft, ist der gleiche Betrag bereits für einen Acht-Wege-B300-Server mit mehr Speicher pro GPU, dichterer MIG-Partitionierung und NVLink zwischen allen GPUs erschwinglich. Optimal ist ein Server im Büro, eventuell zwei im Labor, als Ergänzung zur Investition in das Rechenzentrum.
NVIDIA liefert das Basisboard, daher unterscheiden sich die OEMs hauptsächlich in der Umsetzung, und MSI hat hier eine solide Lösung gefunden. Ein 1,400-W-Flüssigkeitskühlkreislauf kühlt das B300, Grace, SOCAMM und ConnectX-8, und die Plattform blieb während der gesamten Tests stabil. In einem späteren Artikel werden wir die Wärmeentwicklung des GB300 genauer unter die Lupe nehmen. Das Leistungsbudget von 1,600 W wird automatisch auf die Komponenten verteilt, und als wir die Hardware-Leistungsbremse mit einer fehlerhaften Verbindung testeten, drosselte das System die Leistung, anstatt sich abzuschalten. Ein vorverdrahtetes 12VHPWR-Kabel und eine Anti-Sag-Halterung unterstützen die RTX-PRO-Erweiterung. Nachdem wir die erste GB300 DGX Station getestet haben, die uns erreichte, können wir sagen, dass die XpertStation WS300 die Messlatte für die Plattform hoch legt.
Die XpertStation WS300 belegt nun den ersten Platz in unserer Rangliste der besten Desktop-PCs für lokale KI-Systeme (GB300 ) und bildet den Kern der Diskussion über Arbeitsspeicher in unserem Leitfaden zu RAM, GPU und Speicher für Agentic AI.
Amazon