MSI XpertStation WS300は、NVIDIAの最新DGX Stationアーキテクチャをベースに構築されており、これまでで最も高性能な世代で、フルGB300 Grace Blackwell Ultraノードをデスクの横に配置します。最大の特徴は、900GB/sのNVLink-C2Cリンクを介して72コアのGrace CPUに接続された単一のBlackwell Ultra GPUによって実現される、20ペタFLOPSのFP4演算です。両方のプロセッサは、1つの748GBのコヒーレントメモリプールからデータを取得します。252GBのHBM3eと496GBのLPDDR5Xが組み合わされており、1兆パラメータのモデルをローカルメモリに常駐させるのに十分な容量です。
DGX Stationは、ConnectX-8 SuperNICを使用して複数のユニットをクラスタリングすることも可能で、800Gb/sのファブリックに対応する2つの400GbEポートを備えています。その結果、サーバー室ではなく、家庭やオフィスで稼働できるデータセンタークラスのマシンが実現します。
NVIDIA DGX Stationの技術仕様
XpertStation WS300は、NVIDIAのGB300 DGX StationプラットフォームをMSIが実装したものです。NVIDIAはGrace Blackwell Ultraベースボードとソフトウェア環境を提供し、MSIはシャーシ、水冷システム、電源供給、ストレージ構成、外部I/O、およびサービスモデルを提供することで、このプラットフォームを完全なデスクトップシステムへと仕上げています。Grace CPU、Blackwell Ultra GPU、NVLink-C2Cインターコネクト、およびConnectX-8ネットワークは固定されているため、OEM間の真の差別化要因は、周辺システムがこれらのハードウェアをいかに効果的に維持、管理、および公開できるかという点にあります。
| 製品仕様 | Details |
|---|---|
| アーキテクチャ | |
| CPU | NVIDIA Grace、72 コア Arm Neoverse V2 |
| GPU | NVIDIA Blackwell Ultra (B300) |
| テンソルコア | 5th世代 |
| CPU-GPU インターコネクト | NVLink-C2C、双方向900GB/s |
| メモリ | |
| コヒーレントメモリ | 748 GBまで |
| GPUメモリ | 最大252 GB HBM3e |
| GPU メモリ帯域幅 | 7.1 TB /秒 |
| CPUメモリ | 最大496GB LPDDR5X（4 x SOCAMM） |
| CPUメモリ帯域幅 | 396 GB / sの |
| Storage | |
| ブートドライブ | M.2 2280 PCIe 5.0 x4 NVMe（CPU接続）×2、2TBのHDD×2をRAID 1構成で搭載 |
| 拡張ドライブ | M.2 2280 PCIe 5.0 x4 NVMe スロット x 2 (ConnectX-8接続済み)、工場出荷時から未開封 |
| Networking | |
| NIC | NVIDIA ConnectX-8 SuperNIC、2 x 400G QSFP112（合計800Gb/s） |
| イーサネット | 1 x 10GBase-T RJ45 (Marvell AQC113) |
| 管理ポート | 1 x 1000Base-T RJ45（専用帯域外） |
| 無線 | M.2 2230 Key-E スロット、PCIe 2.0 x1 (Wi-Fi 6E / Wi-Fi 7、Bluetooth) |
| 拡大 | |
| PCIeスロット | PCIe 5.0 x16 FHFL ダブルワイド 1基、PCIe 5.0 x16 FHFL シングルワイド 2基（x8信号） |
| 対応アドインGPU | NVIDIA RTX PRO 2000 Blackwell、RTX PRO 4000 Blackwell SFF、RTX PRO 6000 Blackwell Workstation / Max-Q |
| 前面／上面I/O | |
| USB | USB 3.2 Gen 2 Type-Aポート×2、USB 3.2 Gen 2 Type-Cポート×2（5V/3A） |
| オーディオ | ジャック×2（ライン出力／マイク） |
| リアI / O | |
| USB | USB 10Gbps Type-Aポート×4、Micro-USB COM（シリアルコンソール）ポート×1 |
| ディスプレイ | Mini DisplayPort x 1 (BMCビデオ、最大解像度1024 x 768、DP++非対応) |
| オーディオ | ジャック×3（ライン入力／ライン出力／マイク） |
| 管理とセキュリティ | |
| BMC | AMI MegaRACファームウェア、IPMI 2.0、Redfish、eMMCローカルストレージを搭載したASPEED AST2600 |
| セキュリティ | TPM 2.0、シャーシ侵入、Microchip CEC1736ハードウェア信頼の基点（ERoT） |
| 冷却 | |
| 液体冷却 | CPU + GPU 1400W 定格の液体冷却モジュール。GPU、CPU、メモリ、および ConnectX-8 にブロックが装備されています。 |
| ラジエーター／ファン | 360mmラジエーター×2、12025システムファン×1 |
| 出力 | |
| 電源 | 1 x 1600W ATX電源、80 PLUS Platinum認証（150 x 86 x 210 mm） |
| AC入力 | 100～114Vac、15A、47～63Hz（最大出力1300W）；115～240Vac、15～8A、47～63Hz（最大出力1600W） |
| フォームファクター | |
| 寸法 | 245.7 x 529.0 x 570.4 mm (9.67 x 20.83 x 22.46 インチ)、幅 x 高さ x 奥行き |
設計と構築
一見すると、XpertStationは洗練されたプロフェッショナルなデザインの標準的なモダンワークステーションのように見える。しかし、サイドパネルを取り外すと、その類似点はそこで終わる。
GB300 グレース・ブラックウェル ウルトラデスクトップ スーパーチップ
WS300の中核を成すのは、この製品の主役とも言えるNVIDIAのB300 GPUです。これはBlackwell Ultraアーキテクチャに基づいて構築されています。
出典：NVIDIA、StorageReviewによる注釈
B300は、TSMCの4NPプロセスで構築されたデュアルレチクル設計を採用した、現在入手可能な最も先進的なGPUの1つです。2つのダイはNVIDIAの10TB/s NV-HBIダイ間インターフェースで接続されており、GPUを単一のCUDAアクセラレータとして動作させることができます。DGX Stationで使用されているB300は、2080億個のトランジスタを持つBlackwell Ultra設計に基づいており、最大160個のSMと640個の第5世代Tensorコアを搭載しています。また、7.1TB/sのメモリ帯域幅を持つ252GBのHBM3eも搭載しています。データセンター向け製品であるため、B300には通常のディスプレイ出力とNVENCハードウェアエンコーダがありません。ただし、7つのNVDECエンジンと7つのnvJPEGデコーダを搭載しています。また、GPUはMIGをサポートしており、最大7つの独立したインスタンスに分割できます。演算性能に関して、B300は以下の機能を提供します。
| 精度 | ピーク性能 |
|---|---|
| B300 コンピューティング性能 | |
| NVFP4 テンソルコア | 20 PFLOPS（疎行列）／15 PFLOPS（密行列） |
| FP8 / FP6 Tensor Core | 10PFLOPS |
| INT8テンソルコア | 330トップス |
| FP16 / BF16 テンソルコア | 5PFLOPS |
| TF32 テンソル コア | 2.5PFLOPS |
| FP32 | 80 TFLOPS |
| FP64 / FP64 Tensor Core | 1.3 TFLOPS |
| ピークレートはGPUブーストクロックに基づいています。Tensor Coreの仕様は、特に明記されていない限り、スパース性を使用します。 | |
B300とペアになっているのは、NVIDIA初のデータセンター向けCPUであるGraceです。Graceは72個のArm Neoverse V2コアを使用していますが、キャッシュ階層、メモリコントローラ、システムI/O、スケーラブルコヒーレンシーファブリック、NVLink-C2Cインターフェースなど、周辺プロセッサはNVIDIA独自の設計です。Graceは72個のコアと72個のハードウェアスレッドを備え、各コアは暗号化拡張機能と4つの128ビットSVE2ベクトルユニットを備えたArmv9を実装しています。このコアは、クロックごとに最大8つの命令をディスパッチできる6ウェイ命令デコーダ、6つのスカラーALU、それぞれ64KBのL1命令キャッシュとデータキャッシュ、および1MBのプライベートL2を備えています。ダイ全体で、CPUは114MBのL3キャッシュを共有しています。
コアとL3キャッシュスライスは、NVIDIAのスケーラブルコヒーレンシーファブリックを介して接続されています。これは、3.2TB/sのバイセクション帯域幅を持つメッシュインターコネクトです。このファブリックは、CPUコアをメモリ、システムI/O、およびNVLink-C2Cインターフェイスにも接続し、GraceがB300にデータを供給するのに必要なデータ転送帯域幅を提供します。WS300では、Graceはアクセラレータ周辺のCPU側の処理、つまりGPUカーネルの起動、データのロード、前処理、トークン化、およびモデルのオーケストレーションを処理します。下のトポロジー図は、72コアのGrace CPU 1基と、その周囲に接続されたプラットフォームデバイスを備えたシングルソケット設計を明確に示しています。
Graceは496GBのLPDDR5Xメモリを搭載し、396GB/sの帯域幅を実現しています。DGX Stationは、メモリをベースボードに直接はんだ付けするのではなく、4つのSOCAMMモジュールを使用しています。SOCAMM（System-on-Chip Advanced Memory Module）は、LPDDR5Xをコンパクトで取り外し可能なフォームファクタにパッケージ化したものです。これにより、プラットフォームはLPDDR5Xの帯域幅と電力効率のメリットを維持しながら、メモリの保守性を確保できます。故障したモジュールは、ベースボード全体を交換することなく交換可能です。
GraceとB300を接続するのは、NVIDIAのNVLink-C2Cインターフェースです。これはパッケージレベルの相互接続で、双方向帯域幅900GB/sを実現し、PCIe Gen5 x16接続の約7倍の帯域幅を提供します。より重要な違いは、メモリの一貫性です。従来のワークステーションでは、CPUとディスクリートGPUは別々のメモリ空間を保持し、データはPCIeを介してコピーされます。NVLink-C2Cを使用すると、GraceとB300は一貫性のあるアドレス空間を共有し、各プロセッサが互いに接続されたメモリに直接アクセスできます。
その結果、748GBのHBMブロックではなく、748GBのコヒーレントアドレス空間が実現します。B300は7.1TB/sのHBM3eを252GB搭載し、Graceは396GB/sのLPDDR5Xを496GB搭載します。Graceメモリに保持されるデータはC2Cリンクを経由する必要があるため、頻繁にアクセスされるモデルの重み、テンソル、バッファにはHBMが最適な場所となります。Graceメモリは、大容量層として機能し、B300の252GBのローカルメモリを超えるワークロードを複数のGPUに分散させるのではなく、1つのシステムに保持できるようにします。この2番目のメモリ層への移行によるパフォーマンスへの影響については、テストセクションで後ほど測定します。
システムトポロジー
GB300パッケージから目を移すと、MSIのブロック図は、システムの残りの部分がGraceを中心にどのように接続されているかを示しています。CPUはI/Oトポロジーの中心に位置し、2つのPCIe 5.0 x4 M.2スロットが直接接続されています。MSIはこれらのスロットに、オペレーティングシステムとNVIDIAソフトウェアスタック用にRAID 1で構成された2TBのMicron 4600 SSDを2台搭載しています。3つのフルサイズ拡張スロットもGraceから直接接続されており、1つのPCIe 5.0 x16リンクと2つのPCIe 5.0 x8リンクを備えています。
MSIは、大型の拡張GPUに対応できるようシャーシを設計しました。シャーシ前面には配線済みの12VHPWR電源ケーブルが備えられており、簡単にアクセスできるため、システム内部に別のケーブルを配線する必要がありません。シャーシを補強する垂直方向の金属製ブレースには、長くて重いRTX PROカードを支えるためのたわみ防止ブラケットも組み込まれています。
Grace側のUSBコントローラーは、システムの前面と背面のメインUSBポート、およびオーディオコーデックを制御します。GraceはASPEED AST2600 BMCにも接続され、専用の1GbE管理ポート、1024 x 768に制限されたMini DisplayPort出力、およびMicro-USBシリアルコンソールを提供します。Mini DisplayPortは、システムのメインディスプレイ出力ではなく、初期設定とトラブルシューティングを目的としています。WS300を従来のデスクトップとして使用する予定のユーザーは、オプションのRTX PROアドインカードのいずれかが必要になります。
もう1つの主要な製品は、NVIDIAのConnectX-8 SuperNICです。最も目立つ特徴は、背面パネルに搭載された2つの400GbE QSFP112ポートで、最大800Gb/sのネットワーク帯域幅を提供します。ConnectX-8には、48レーンの統合型PCIeスイッチも搭載されています。アップストリームリンクはPCIe Gen6に対応していますが、デバイスに公開されるダウンストリームポートはPCIe 5.0で動作するため、MSIはこれを単なるネットワークアダプタではなく、セカンダリI/Oハブとして使用できます。
ConnectX-8からの2つのPCIe 5.0 x4リンクが、残りのM.2 2280スロットに接続されており、MSIはこれらのスロットを拡張用に空けています。同じ分岐は、PCIe 2.0 x1を介してM.2 2230 Wi-FiおよびBluetoothスロット、10GBase-Tポート用のMarvell AQC113コントローラ、および追加のフロントパネルUSBパスを提供する2つ目のUSBコントローラにも接続されています。
電源と冷却
WS300の電源は、C19入力の1,600W 80 PLUS Platinum ATX電源ユニット1基です。北米での設置の場合、DGX Stationはシステムに必要な最大電力を供給するために、専用の20A回路を必要とします。
1,600Wという定格電力は、システム全体の最大電力です。Grace、B300、ストレージ、ポンプ、ファン、そしてオプションのRTX PROカードはすべて同じ電源から電力を消費します。高出力グラフィックカードを追加することでWS300の機能は拡張されますが、別の電源から電力が供給されるわけではありません。B300とRTXカードの両方に負荷がかかっている場合、既に利用可能な電力を共有する必要があり、その結果、B300 GPUのパフォーマンスが低下する可能性があります。
MSIは、B300、Grace CPU、SOCAMMメモリ、および光学ケージを含むConnectX-8を覆うカスタム液体ループで、結果として生じる熱負荷を処理します。熱は2つの360mmラジエーターを通して送られ、残りのシャーシには別の120mmファンが空気を送ります。MSIは、CPUとGPU全体で最大1,400Wの冷却アセンブリを定格しています。テスト中、B300の温度は71℃でピークに達しましたが、GPUが1292Wの電力を消費しているとき、CPUの温度は65℃を超えることはありませんでした。
パワースロッシング
NVIDIAは、vsloshdサービスを通じてこの共有予算を管理します。デフォルトのダイナミックモードでは、このサービスはGB300モジュールとオプションのRTX PROカードのリアルタイムの消費電力を監視し、各デバイスを固定の制限値に保持するのではなく、利用可能な余裕を両者間で調整します。現在のポリシーでは、RTXカードが優先されるため、RTXカードがより多くの電力を必要とする場合、システムはまずGB300の電力制限値を下げてからRTXの制限値を引き上げます。RTXカードがインストールされていない場合は、ポリシーで定められた予算のすべてがGB300モジュールに割り当てられます。
つまり、オプションのRTX PRO 6000は、単にB300の性能を上乗せするだけのものではないということです。両方のGPUがビジー状態になると、RTXカードに割り当てられる電力はGB300の電力予算から直接消費されるため、B300のクロック周波数と性能が低下する可能性があります。
このプラットフォームには、システムが電力供給の低下を検出した場合に備えて、ハードウェアによる電力ブレーキ機能も搭載されています。実際に操作してみたところ、電源コネクタの緩みが原因でWS300がシャットダウンしたり、接続不良でフルパワーで動作し続けるのではなく、電力制限を下げる動作が見られました。接続の問題が解決されるまで、マシンは電力制限された状態でオンライン状態を維持しました。
接続性
シャーシの説明に移る前に、前面と背面の入出力端子を簡単に見ておきましょう。前面の入出力端子は、USB 3.2 Gen 2 Type-Aポートが2つ、USB 3.2 Gen 2 Type-Cポートが2つ、ライン出力とマイク用のジャックがそれぞれ独立して配置され、電源ボタンとリセットボタンも備えています。
背面パネルはワークステーション接続部とサーバーハードウェアに分かれています。ConnectX-8は2つの400GbE QSFP112ポートを提供し、独立した10GBase-Tポートが通常のホストネットワークを処理し、専用の1GbEポートがBMCに接続されます。4つの10Gbps USB Type-Aポートと3つのオーディオジャックがローカル周辺機器に対応します。BMCはMicro-USBシリアルコンソールとMini DisplayPortも提供します。C19電源入力はシャーシの下部にあり、内部のM.2 2230 Key-Eスロットを介してWi-Fi 6EまたはBluetooth付きWi-Fi 7を追加できます。
デスク上のデータセンターワークロード
ここまででDGX Stationの概要を説明してきましたが、購入者にとってより重要な質問は、XpertStationによってチームが何ができるようになるかということです。WS300を単なる高容量推論システムとしてではなく、開発プラットフォームとして捉えると、その価値がより明確になります。B300 GPU、Grace CPU、MIGサポート、オプションのRTX PROグラフィックス、そしてデータセンター向けソフトウェアスタックにより、通常は共有クラスタハードウェアに依存する複数のワークフローを単一のローカルノード上で実行できます。
開発ツールとしてのMIG
1つのGPU上で、それぞれが完全に独立した状態で、複数のジョブを同時に実行することを想像してみてください。マルチインスタンスGPU（MIG）はまさにそれを実現します。ハードウェア上のB300を、最大7つの等しいサイズの領域（インスタンス）に空間的に分割します。各インスタンスは、それぞれ固定されたSM、HBM、キャッシュ、およびメモリ帯域幅の割り当てを受け、独自のデバイスIDを持ち、CUDAからは独立したGPUとして認識されます。
これにより、マルチGPUワークロードの開発、テスト、検証、トレーニングスクリプトの作成、Dynamo、LLM-Dなどのツール向けの開発が可能になります。
今回のテストでは、B300に3つのMIGインスタンスを設定し、それらを使用して個別のCUDA対応デバイス上でNVIDIA Dynamoコンポーネントを起動しました。これは、弊社独自のベンチマークツール開発プロセスとよく似ています。つまり、意図したとおりに動作することを確認するには、実際のハードウェアに対して何度も繰り返し検証を行う必要があるのです。共有サーバーでのスケジュール調整や、ラックの電力消費、発熱、騒音といった問題もなく、ローカルのB300を自由に分割・再構成できることで、こうした反復作業におけるオーバーヘッドを大幅に削減できます。
アイザックGR00Tと物理AIループ
DGX Stationに特に適したワークフローの1つは、物理AIです。
以前にもこの種のワークフローをテストしたことがありますが、その際には異なるクラスのGPUを搭載した複数のシステムが必要でした。DGX Stationは、これまで別々だったこれらの工程を1台のデスクトップマシンに統合します。
プロセスは遠隔操作から始まります。オペレーターがロボットを操作してタスクを実行し、実世界のデモンストレーションを少量取得します。これらのサンプルは、Isaac GR00Tワークフローに取り込まれます。オプションのRTX PRO GPUは、Isaac Simのグラフィックスとレイトレーシングの処理を担当し、Isaac LabとGR00T-Mimicは、元のデモンストレーションを物理的に妥当な合成軌道のより大規模なコレクションへと拡張します。最後に、B300は、実データセットと合成データセットを組み合わせてGR00Tモデルを微調整します。
出典：NVIDIA
微調整後、得られたポリシーはシミュレーションで検証してから、ロボットに展開して実世界で評価することができます。これにより、開発サイクルが効率化されます。実際のデモンストレーションをキャプチャし、シミュレーションで再現・変更し、モデルを再トレーニングし、更新されたポリシーをハードウェアでテストします。ロボット、オペレーター、データ収集時間が限られているチームにとって、シミュレーション、合成データ生成、モデルトレーニングを単一のデスクトップシステムに統合することで、各イテレーションの摩擦を大幅に軽減できます。
Blackwell Ultraカーネル開発
しかしながら、DGX Stationの最も優れたユースケースは、カーネルの最適化であると言えるでしょう。チームがBlackwell Ultra向けにCUDAカーネルやTritonカーネルを開発する場合、ターゲットアーキテクチャ上で実行することに勝るものはありません。WS300は、開発者の傍らにB300プロセッサと252GBのHBM3eメモリを配置することで、8基のGPUを搭載したサーバーやラック規模のシステムで時間を確保することなく、実際のワークロードのプロファイリング、メモリ動作の検査、Tensor Coreパスのチューニング、演算の統合、反復処理を可能にします。
より大規模なシステムも依然として重要ですが、それらはNVLinkスケーリング、NCCLコレクティブ、通信カーネル、マルチGPU推論、最終スループット検証など、それらを必要とする作業のために確保しておくことができます。WS300はシングルGPUカーネルの処理をローカルで行うため、高価な共有システムはスケールアップテスト用に確保できます。Blackwell Ultraの最適化に特化したチームにとって、これは市場で提供されている開発マシンの中で最も直接的な選択肢と言えるでしょう。
DGX Stationが最初のBlackwell Ultraシステムと同時に出荷されていたら、初期供給分はAIラボ、コンパイラチーム、推論エンジン開発者、そしてB300向けソフトウェアのチューニングにしのぎを削るその他のグループに瞬く間に供給され、あっという間に姿を消していたでしょう。今でも、ターゲットGPUへの直接アクセスこそが、組織がDGX Stationを購入する最も明確な理由と言えるかもしれません。
パフォーマンス
テストに関する注記：テストはMSIがホストするシステム上でリモートで実施され、評価期間全体を通してStorageReviewがソフトウェア環境全体を制御しました。テスト対象システムは、RTX PRO GPUやその他のPCIe拡張カードを搭載していない状態でテストされました。これにより、GB300 Superchipはテスト期間中、システムの利用可能なアクセラレータ電力バジェットをフルに活用することができました。
最大達成可能 Matmul FLOPS (MAMF)
まず、B300の演算性能を把握するために、Blackwell世代の3つのシステムでMAMFを実行しました。MAMF（Maximum Achievable Matmul FLOPS）は、機械学習アクセラレータで行列乗算演算中に達成できる現実的なピーク浮動小数点演算回数（1秒あたり）を測定するために設計された実用的な性能指標であり、ハードウェア仕様でよく宣伝される理論上のピークFLOPSよりも正確なベンチマークを提供します。
このテストでは、BF16、FP8、NVFP4の3つのシステムをそれぞれスキャンし、精度ごとに最も優れた持続的（高密度）な結果を報告します。
GB300はあらゆる精度でリードしています。BF16では、RTX PRO 6000の412 TFLOPS、 DGX Sparkの104 TFLOPSに対し、1,967 TFLOPSに達します。FP8も同様のパターンで、3,909、763、211です。NVFP4では、GB300は6,134 TFLOPSに達し、RTX PRO 6000は1,449、Sparkは364です。比率は3つの精度すべてで非常に安定しており、GB300はRTX PRO 6000に対して4〜5倍、Sparkに対して17〜19倍の優位性を持ち、RTX PRO 6000はSparkに対して約4倍の優位性を維持しています。
NV帯域幅
生の演算スループットは、アクセラレータが実行ユニットにデータを継続的に供給できる場合にのみ有効です。これは、特にAI推論において重要です。AI推論では、デコードフェーズにおけるトークン生成は、利用可能なFLOPSよりもメモリ帯域幅によって制限されることが多いためです。
GB300 Superchipでは、その階層構造はB300のローカルHBM3e、GraceのLPDDR5Xメモリ、そしてそれらを接続するNVLink-C2Cインターコネクトにまたがっています。NVIDIAのNVBandwidthユーティリティは、これらのコンポーネント間のさまざまなコピーパスをテストし、GPU内部で使用可能な帯域幅と、GPUとCPUのメモリ領域間でデータを移動する際のコストの両方を表示します。
最初の4つのテストでは、B300の252GBのHBM3eメモリ内でのデータ移動を測定します。デバイスローカルの読み取り速度は6,875GB/秒、つまり約6.9TB/秒に達し、GPUの定格メモリ帯域幅7.1TB/秒の数パーセント以内の差となります。デバイスローカルの書き込み速度は6,009GB/秒です。
HBM間コピー操作は、コピーごとに帯域幅を2回消費するため、処理速度が低下します。1回目はソースの読み取り、2回目は宛先への書き込みです。専用コピーエンジンは3,100 GB/s、Tensor Memory Acceleratorは2,527 GB/sの速度を記録しています。
残りのテストでは、NVLink-C2C を介して Grace の 496GB の LPDDR5X メモリにアクセスします。Grace メモリから B300 HBM への転送は 390 GB/s に達し、逆方向の転送は 382 GB/s に達します。NVLink-C2C は CPU と GPU 間で最大 900 GB/s のコヒーレント帯域幅を提供しますが、測定された転送は Grace の 396 GB/s LPDDR5X メモリ帯域幅によって制限されます。双方向転送では、この制約がさらに明らかになります。同時トラフィックは、SM ベースのコピーを使用して 253 GB/s に達し、コピー エンジンを介して 192 GB/s に達します。
推論
低レベルのテストが完了したので、次はLLM推論に移ります。ここでは、ピーク時のトークン数から、1秒あたりのトークン数、最初のトークン取得までの時間、負荷時のレイテンシへと焦点を移し、WS300がサービスシステムとしてどのように動作するかをより詳細に把握します。
まずはGB300 Superchipの決定的な機能、つまりB300の252GB HBM3e容量制限の両側のモデルに対応できる点から見ていきましょう。ここで、748GBのコヒーレントメモリプールが最も重要な役割を果たします。5つのチェックポイントは、HBMに余裕を持って収まる2つのモデルから始まり、名目上は収まるもののランタイムとKVキャッシュのための余裕が少なすぎる1つのモデル、そして最後にウェイトのかなりの部分をGraceメモリにオフロードする必要がある2つのモデルへと進みます。
注：記載されている箇所では、より高いデコードスループットを実現するために、モデルは投機的デコードを使用して実行され、強制承認トークン量は投機的デコードトークン量に設定されています。したがって、結果は最良のケースのパフォーマンスを示しています。実際のサービス提供においては、スループットは動的であり、投機的デコードトークンの品質に依存します。
HBMに完全に適合するモデル
DeepSeek v4 フラッシュ (0731)
まず最初に紹介するのは、非常に人気の高い DeepSeek v4 Flash (0731) です。これはネイティブ FP8 チェックポイントとして 14+6GB のメモリを消費します。このモデルは非常に効率的で実行しやすいことで知られており、DGX Station でもその通りでした。512/512 ワークロードでは、同時実行数 1 で出力スループットが毎秒 149 トークンから始まり、同時実行数 32 で 1,766 まで急速に上昇しました。プリフィルを多用するワークロードでは、毎秒 146 トークンから 949 トークンにスケールしました。
トークンの総スループットは連動して増加し、512/512ワークロードは毎秒298トークンから3,532トークンに増加し、プリフィル負荷の高いワークロードは毎秒1,311トークンから8,537トークンに増加した。
ミニマックスM2.7（NVFP4）
次に紹介するのは、当社のお気に入りのモデルの 1 つである MiniMax M2.7 です。NVIDIA の NVFP4 quant を使用してテストし、125GB の VRAM を占有しました。512/512 ワークロードでは、出力スループットは同時実行数 1 で毎秒 193 トークンから始まり、同時実行数 128 で毎秒 4,801 トークンに急速に拡大しました。プリフィルを多用するワークロードは、同時実行数 1 で毎秒 195 トークンから、同時実行数 64 で毎秒 1,743 トークンに増加しました。総トークン スループットは逆の傾向を示し、プリフィルを多用するワークロードは同時実行数 64 で毎秒 1,754 トークンから 15,684 トークンに増加しましたが、512/512 ワークロードは同時実行数 128 で毎秒 424 トークンから 9,602 トークンに拡大しました。
トークンの総スループットは逆の傾向を示し、プリフィル処理の多いワークロードは同時実行数64で毎秒1,754トークンから15,684トークンに増加した一方、512/512ワークロードは同時実行数128で毎秒424トークンから9,602トークンに増加した。
HBMにぎりぎり適合するモデル
ミニマックスM3（NVFP4）
MiniMax M3 は、実際にギリギリ収まる状態がどのようなものかを示しています。その 233GB の NVFP4 チェックポイントは、B300 の 252GB の HBM より小さいですが、それでもモデルにはランタイムと KV キャッシュのためのスペースが必要です。最終的に 223GB の HBM を占有し、21GB のエキスパートが Grace にオフロードされました。EAGLE3-GQA 投機的復号が、合成受諾長 3 トークンで使用されました。512/512 ワークロードでは、出力スループットは、同時実行数 1 で毎秒 197 トークンから始まり、同時実行数 32 で毎秒 1,041 トークンまで着実に増加しました。プリフィルが多用されるワークロードは、同時実行数 1 で毎秒 171 トークンから、同時実行数 2 で毎秒 278 のピークに達した後、同時実行数 4 で毎秒 241 に減少しました。
総トークン処理量も同様の傾向を示し、512/512ワークロードは毎秒395トークンから2,082トークンに増加した一方、プリフィル処理量の多いワークロードは同時実行数2で毎秒2,506トークンのピークに達した後、同時実行数4で毎秒2,169トークンに減少した。
HBMに適合しないモデル
GLM-5.2 (NVFP4)
GLM-5.2 は NVIDIA の NVFP4 quant を使用してテストされました。433GB のチェックポイントでは 218GB の HBM が使用され、216GB のエキスパート重みが Grace メモリにオフロードされました。合成受諾長 3 トークンで MTP 投機的復号が使用されました。512/512 ワークロードの出力スループットは、同時実行数 1 での毎秒 36 トークンから、同時実行数 32 での毎秒 139 トークンに増加しました。8,192/1,024 ワークロードもそれに続き、毎秒 35 トークンから 118 トークンに増加しました。2 つのプロファイル間で同様の結果が得られたことから、生成は主にオフロードされたエキスパートを Grace メモリと GPU 間で移動することによって制限されたままであることがわかります。追加のコンテキストに十分な HBM が残っていなかったため、同時実行数 32 でスイープが終了しました。
トークンの総スループットも同様の傾向を示し、512/512のワークロードは毎秒72トークンから277トークンに増加し、プリフィルが多いワークロードは毎秒314トークンから1,062トークンに増加しました。プリフィルトークン自体も総数に含まれるため、プロンプトが長くなると、最終的に2つのプロファイルが区別されます。
ネモトロン-3-ウルトラ550B（NVFP4）
Nemotron-3-Ultra 550B は、実行したモデルの中で最大であり、コヒーレント プール全体を最も直接的にテストするモデルです。これは 307GB の NVFP4 ハイブリッド Transformer-Mamba モデルで、HBM だけでは大きすぎるため、重みの 114GB が Grace メモリにオフロードされています。MTP 投機的デコードが使用され、合成の受け入れ長は 5 トークンでした。512/512 ワークロードの出力スループットは、同時実行数 1 で毎秒 43 トークンから始まり、同時実行数 32 で毎秒 168 まで上昇しました。プリフィルが多いワークロードでは、より興味深い結果が出ました。スループットは、同時実行数 1 で毎秒 44 トークンから、同時実行数 2 で毎秒 122 のピークまで上昇しましたが、長いプロンプトが限られた KV キャッシュを埋め尽くしたため、同時実行数 4 で毎秒 78 まで低下しました。 GLM-5.2と同様に、2つのプロファイルは互いに非常に近い値を示しており、計算能力ではなく、GraceとGPU間のエキスパートによるデータ移行が制限要因となっていることが改めて示されています。同時実行数32でスイープが終了した理由は同じで、追加のコンテキストを表示するのに十分なHBMが残っていなかったためです。
総トークン処理量は、プリフィル処理が多いワークロードでは同時実行数2で毎秒2,506トークンのピークに達した後、同時実行数4で毎秒2,169トークンに低下し、一方、512/512ワークロードでは毎秒85トークンから336トークンに増加しました。
WS300 vs. Blackwell RTX PRO 6000 vs. DGX Spark
今回の推論テストの後半では、WS300を、Blackwellをデスク上またはデスク近くに設置する他の2つの方法と比較します。1つは、以前レビューしたDell Pro Max Tower T2に搭載されているNVIDIAの600WワークステーションカードであるBlackwell RTX PRO 6000、もう1つは、 Acer Veriton GN100で代表されるGB10ベースのDGX Sparkです。各システムは、入力トークン512個と出力トークン512個の均等なワークロードと、入力トークン8,192個と出力トークン1,024個のプリフィル負荷の高いワークロードの2つのシナリオで、同じvLLMライブ推論ワークロードを1から128までの同時実行レベルで実行しました。3つのシステムすべてで共通して処理できるすべてのモデル（ネイティブMXFP4のGPT-OSS-20BとGPT-OSS-120B、BF16、FP8、NVFP4のLlama 3.1 8B、BF16とFP8のMistral Small 24BとQwen3 Coder 30B）について、集計出力と総スループットをグラフ化しました。
GPT-OSS-20B
GPT-OSS-20B は、このテストセットの中で最も扱いやすいテストであり、3 つのシステムすべてに簡単に適合するチェックポイントです。同じワークロードで、WS300 は 128 の同時ストリームで毎秒 22,161 出力トークンまでスムーズにスケーリングし、これは 9,000 の RTX PRO 6000 の約 2.5 倍、1,469 の DGX Spark の 15 倍です。シングル ストリームの結果は、同じことをより小さな規模で示しています。Station では毎秒 530 トークン、カードでは 244、Spark では 50 トークンです。
事前入力が多いシナリオでは、さらに差が開きます。WS300は8,192トークンのプロンプトを送信しても、ピーク時には毎秒9,572トークンを出力し、事前入力を含めると毎秒86,000トークン以上になります。一方、RTX PRO 6000は最大で毎秒2,892トークン、Sparkは468トークンでした。
GPT-OSS-120B
GPT-OSS-120Bにステップアップすると、3つのシステムすべてでモデルをロードできますが、メモリ階層が重要になってきます。WS300は、同じワークロードで毎秒9,294個の出力トークンをピークに達成し、RTX PRO 6000の3,384の2.7倍、DGX Sparkの500の約19倍となりました。
プリフィル処理が集中すると、小型システムは限界に達します。RTX PRO 6000 は同時ストリーム 64 で毎秒 872 出力トークンで頭打ちになり、Spark は 199 で頭打ちになりましたが、WS300 は 128 ストリームでまだ上昇を続け、最終的に 5,038 に達し、カードの 6 倍近い差がありました。長いプロンプトは KV キャッシュを膨張させ、メモリの余裕が少ないシステムは、Station よりもずっと早くバッチ処理するスペースがなくなります。
ラマ3.1 8B
Llama 3.1 8B は、どのシステムでも BF16、FP8、NVFP4 で実行できるほど小さいため、各マシンで量子化によって得られる効果を最も明確に把握できます。同じワークロードで 128 の同時ストリームの場合、WS300 は BF16 で毎秒 17,278 出力トークンから NVFP4 で毎秒 28,698 出力トークンに増加し、66% 向上しました。RTX PRO 6000 は同じ動作で 5,720 から 12,269 に 114% 向上し、DGX Spark は 828 から 2,009 に 143% 向上しました。覚えておくべきパターンは、マシンが小さいほど量子化の効果が高くなるということです。
プリフィル処理の結果、WS300のNVFP4実行では毎秒6,744個の出力トークンがピークに達し、カードの2,064個、Sparkの317個を大きく上回りました。
ミストラル・スモール24B
Mistral Small 24B は、このセットの中で最も広いギャップを生成しました。FP8 で同じワークロードの場合、WS300 は毎秒 11,157 トークンの出力でピークに達し、RTX PRO 6000 の 3,779 の 3 倍、DGX Spark の 585 の 19 倍でした。シングル ストリームの場合、Station の毎秒 169 トークンは、Spark の 9 よりもインタラクティブな快適さにずっと近いです。
プリフィル負荷が高い場合、RTX PRO 6000は同時ストリーム数がわずか32、出力トークン数が毎秒560でピークに達した後、低下したが、WS300は128ストリームで毎秒2,316まで処理を継続した。
Qwen3 コーダ 30B
Qwen3 Coder 30B は、アクティブ パラメータ数が少ないエキスパート モデルの組み合わせで、より小さなシステムがシングル ストリームのギャップを縮める唯一のテストです。同じワークロードで同時リクエストが 1 つの場合、RTX PRO 6000 は毎秒 208 個の出力トークンを WS300 の 310 個に提供し、この比較で Station に最も近い結果となり、Spark でさえ使用可能な 55 個を達成しました。バッチ処理により通常の順序に戻ります。128 ストリームの場合、Station の 12,425 個の出力トークンは FP8 で毎秒 12,425 個となり、カードの 2.4 倍、Spark の 16 倍近くになります。
プリフィルヘビーは、従来のパターンに従い、WS300は毎秒3,851トークンの出力に達し、カードは最大1,077、Sparkは146でした。
5 つの共有モデル全体で、WS300 は、フル同時実行時に Blackwell RTX PRO 6000 の 2.3 ～ 3 倍、DGX Spark の 14 ～ 19 倍のスループットを達成し、長いプロンプトが KV キャッシュに負荷をかけると、カードの 6 倍までマージンが拡大します。3 つのマシンはすべて同じ CUDA スタックと量子化パスを実行します。Station が購入するのはメモリ容量と帯域幅であり、これはここで同時実行の余裕と長いコンテキストの許容度として現れます。これらのチャートでは示せないことも同様に重要です。上記のセクションのどの最先端スケールモデルも、他の 2 つのシステムではロードされません。
GDSIO
最新のAIワークロードでは、アクセラレータを常にフル稼働させるために、データバッチ、モデルの重み、チェックポイントをストレージからGPUメモリに十分な速さで移動させる必要があります。NVIDIA GPUDirect Storageは、データをまずSSDからシステムメモリに読み込み、次にGPUメモリにコピーするという従来の2段階のコピー処理を不要にします。
GB300 DGX Stationは、従来のPCIe GPUサーバーとは異なる方法でこれを実装しています。テストに使用したMicron 4600は、ConnectX-8に統合されたPCIeスイッチに接続されています。ConnectX-8はGrace CPUにアップストリームで接続され、B300 GPUはNVLink-C2Cを介してGraceに接続されます。SSDとGPUは同じPCIeスイッチの下には配置されていません。ストレージトラフィックは、ConnectX-8スイッチを通過し、Grace PCIeルートコンプレックスに入り、Graceコヒーレンシーファブリックを通過し、NVLink-C2Cを介してB300のHBM3eに到達します。
GPUDirect Storageでは、cuFileはB300 HBM3eに割り当てられたバッファをストレージI/Oのソースまたは宛先として登録します。読み取り時には、Micron 4600のコントローラがDMAを使用してデータをHBM3eに配置し、書き込み時にはHBM3eからデータを取得します。どちらの操作も、GraceのLPDDR5Xメモリにペイロードをステージングすることなく、上記で説明したGraceとNVLink-C2Cのパスに従います。Graceは、コマンド送信やアドレス変換を含むファイルシステムとNVMe制御プレーンを管理しますが、データのコピーは行いません。そのため、GPUDirect Storageは、SSDとB300メモリ間のトラフィックがGraceを経由する場合でも、システムメモリのステージング手順を削除します。AIワークロードの場合、シーケンシャル読み取りはデータセットのストリーミング、モデルのロード、チェックポイントの復元に対応し、シーケンシャル書き込みはチェックポイントの保存やストレージへのその他の転送に対応します。
GDSIO シーケンシャル読み取りのパフォーマンスを見ると、このユニットはスレッド数とブロックサイズの両方で一貫してスケーリングします。16K の場合、スループットは 1 スレッドで 16MiB/s から 16 スレッドで 250MiB/s まで上昇し、128 スレッドで 2.0GiB/s に達します。より大きなブロックサイズでは、はるかに速く上昇し、256K では 64 スレッドで 11.8GiB/s に達し、128 スレッドで 12.9GiB/s のピークに達します。最も優れた結果は 512K と 1M で現れ、スループットは最大 13.1GiB/s に達し、1M ワークロードではわずか 32 スレッドでそのレベルに達し、128 スレッドまでそのレベルを維持します。
GDSIOシーケンシャル書き込み性能に移ると、このユニットはスレッド数とブロックサイズの両方で一貫してスケーリングします。16Kでは、スループットは1スレッドで16MiB/sから16スレッドで250MiB/sに増加し、128スレッドで2.0GiB/sに達します。より大きなブロックサイズでは、さらに高速に上昇し、256Kでは32スレッドで7.5GiB/s、64スレッドで12.0GiB/sに達します。最も優れた結果は1Mワークロードで得られ、わずか16スレッドで12.0GiB/sの上限に達し、128スレッドまでその性能を維持します。 
MSI XpertStation WS300はどのようなユーザー向けですか？
WS300は、Blackwell Ultraへの直接アクセスが必要だが、すべての実験をクラスタ予約やクラウドリクエストから始めることを望まない組織向けです。AIラボ、推論エンジン開発者、フレームワークおよびコンパイラチーム、ロボティクスグループ、エンタープライズAIチームは、上記のワークフローのローカル開発ノードとして利用できます。MIGにより、開発者はマルチGPU構成でのテストと開発が可能になり、BMCによりシステムをリモートで管理できます。
すぐに使えるシステムを必要とする経験豊富なAI開発者にとっても、この製品は理にかなっています。その価値はB300チップセットだけにとどまりません。252GBのHBM3eメモリ、Grace、496GBのLPDDR5Xメモリ、ConnectX-8、ミラーリングブートストレージ、水冷システム、リモート管理機能、そしてMSIによるサポートといった、このチップセットを基盤とした包括的なプラットフォーム全体が、このタワー型システムの魅力です。実用的な制約としては、Armホスト、専用の20A回路の必要性、そして大型のRTX PROカードを搭載した場合の1,600Wの電力容量の制限が挙げられます。
WS300の性能を最大限に引き出すには、周辺ソフトウェアも重要です。NVIDIAは、チームがシステムを迅速にオンライン化し、リソースを有効活用できるよう、幅広いプレイブックと導入ガイドを提供しています。今後の記事では、これらのツールのいくつかを詳しく解説します。例えば、ワークステーションへの共有アクセスを簡素化し、利用率を向上させることで、高価なリソースが遊休状態にならないようにするBrevなどが挙げられます。
価格については、MSIは公表しておらず、このクラスのマシンは定価が設定されていることは稀です。これは、カートに追加するボタンではなく、営業チームとの綿密な話し合いが必要な問題です。真に比較すべき対象は、他のワークステーションではなく、AIチームが既に支払っている費用、つまり予約済みのクラスタ時間、クラウドGPUの利用契約、共有ハードウェアの待ち時間といったコストです。
結論
MSI XpertStation WS300は、これまでレビューしてきたワークステーションの中で最も高性能であり、一人の技術者が取り組める作業の幅を広げる稀有な製品です。通常はクラスタ予約の背後で動作する最先端規模のチェックポイント、433GBのGLM-5.2、550億パラメータのNemotron-3-Ultraなどが、デスク横の筐体上でプライベートかつ常時利用可能な状態でロードおよび提供されます。これこそが、私たちがこのシステムに熱狂する理由です。
DGX Stationは開発者を対象としています。Blackwell Ultraをターゲットとするカーネル開発者、推論エンジンやフレームワークチーム、Isaacループ全体を実行するロボットグループ、そして共有ハードウェアでの実験スケジュールに不満を持つ一般ユーザーなどが対象です。このニッチな分野以外では、これらのシステムを購入するメリットはかなり限られています。Armホストは一部のツールチェーンを除外します。120V回路では20A回路の設置が必須です。拡張カードなしではディスプレイ出力がありません。また、RTX PRO 6000ワークステーションははるかに安価で、96GBの容量を持つモデルであればシングルユーザー作業に対応できます。
経済的な観点からも、適切な導入規模は限られます。WS300を1台導入すれば、予約済みのクラスタ時間に対するコストは容易に正当化できますし、チームごとに2台導入するのも依然として妥当です。しかし、それ以上の導入は一定のレベルを超えると意味をなさなくなります。例えば、組織がGB300タワーを4台購入する頃には、同じ予算でGPUあたりのメモリ容量が増え、MIGパーティショニングがより高密度になり、GPU間がNVLinkで接続された8ウェイ構成のB300サーバーが購入可能になっているでしょう。最適な導入規模は、デスク上に1台、ラボに2台程度で、データセンターへの投資を補完する形です。
NVIDIA がベースボードを提供しているため、OEM 間の差別化は実装にかかっており、MSI の実装はしっかりしています。1,400W の液体ループが B300、Grace、SOCAMM、ConnectX-8 を冷却し、プラットフォームはテスト中ずっと安定していました。GB300 の熱については、今後の記事で詳しく見ていきます。1,600W の電力予算はコンポーネント間で自動的に分配され、ハードウェア電源ブレーキを接続不良でテストしたとき、シャットダウンするのではなくスロットリングしました。配線済みの 12VHPWR リードとアンチサグブラケットが RTX PRO 拡張パスをサポートします。最初に届いた GB300 DGX Station をテストした結果、XpertStation WS300 はプラットフォームのハードルを高く設定していると言えます。
XpertStation WS300は、当サイトの「ローカルAI向けベストデスクトップ」ランキングで「GB300システム部門」の1位を獲得し、また、当サイトの「エージェントAI向けRAM、GPU、ストレージ」ガイドにおけるメモリに関する議論の中心となっています。
Amazon