AMDは、データセンターを再構築することなくオンプレミスでAI推論を実現したい企業向けに、PCIeアクセラレータ「Instinct MI350P」を発表しました。このカードは、標準的な空冷サーバー向けに設計された、デュアルスロット、フルハイト、フルレングスのデザインです。また、AMDが現行世代のInstinctチップを通常のサーバーに搭載できるフォームファクタに組み込むのは、約4年ぶりとなります。
PCIe Instinctシリーズは、2022年初頭にMI210が出荷されて以来、事実上沈黙していました。それ以降の世代（MI300X、MI325X、OAM MI350X）はすべて、ユニバーサルベースボード上のOAMソケットモジュールであり、1つのトレイに8つの1,000Wクラスのアクセラレータを搭載するための電力供給とエアフローを備えた専用シャーシが必要でした。これは、ラック単位でGPUを購入するハイパースケーラーには適していますが、オンプレミスでの推論を必要とするものの、カスタムAIラックを導入できない、または導入したくない企業には適していません。MI350Pはこのギャップを埋めるものであり、現時点でNVIDIAは同クラスのフラッグシップレベルのサーバーPCIeカードを持っていないため、今のところAMDはこのセグメントを独占しています。
ハードウェア：MI350PとMI350X OAMの比較
MI350P は、選別された MI350X ではありません。AMD は、より小型のチップを設計しました。MI350X は、それぞれ 4 つのアクセラレータ複合ダイ (XCD) を備えた 2 つの I/O ダイを搭載しており、合計で 8 つの XCD と 256 個の演算ユニットを備えています。MI350P は、4 つの XCD と 128 個の演算ユニットを備えた単一の I/O ダイを備えており、シリコンは半分ですが、上位機種と同じ 2.2 GHz のピーク クロックで動作します。メモリも同様のパターンです。8 つの HBM3E スタックではなく 4 つの HBM3E スタック。8,192 ビット バスではなく 4,096 ビット バス。8 TB/s の 288GB ではなく 4 TB/s の 144GB
ピーク演算も半分になります。MI350P は MXFP4 で 4,600 TFLOPS ですが、MI350X は 9.2 PFLOPS です。また、FP8 では 4.6 PFLOPS に対して 2,300 TFLOPS です。BF16、FP16、およびその他の高精度スタックも同様にスケーリングします。AMD がピーク値と併せて実測値を公表しているのは喜ばしいことです。実測値は、MXFP4 で 2,299 TFLOPS、FP8 で 1,529 TFLOPS、BF16 で 713 TFLOPS です。これらの数値は、600W の電力範囲でカードが実際にできることを反映しており、電気とメモリの帯域幅の制限により理論上のピーク値が削られています。
SupermicroのJumpstartプログラムを通じてMI350Xプラットフォームを試用したところ、推論ワークロードにおけるそのパフォーマンスに非常に感銘を受けました。MI350Pを入手してテストを行い、PCIe版が本来設計されたより一般的なサーバーシャーシでどれほどの性能を発揮するのかを確認するのが待ち遠しいです。
| AMD Instinct MI350P PCIeカード | ||
|---|---|---|
| 製品仕様 | 成果（FLOPS） | ピーク値（TFLOPS） |
| パフォーマンス | ||
| BF16 | 713 | 1150 |
| FP16 | 672 | 1150 |
| FP8 | 1529 | 2300 |
| MXFP8 | 1327 | 2300 |
| MXFP6 | 1804 | 4600 |
| MXFP4 | 2299 | 4600 |
| メモリとパーティショニング | ||
| メモリ容量 | 144 GB HBM3E | 144 GB HBM3E |
| メモリ帯域幅 | 3.6 TB /秒 | 4.0 TB /秒 |
| GPUインスタンス | 最大4台（各36GB） | 最大4台（各36GB） |
| Platform | ||
| ビデオとJPEGのデコード | ||
| GPUスケールアップ相互接続 | サポートされていません | サポートされていません |
| 製品FF | FHFLデュアルスロット空冷 | FHFLデュアルスロット空冷 |
| 最大総基板電力（TBP） | 600W （450W設定可能） |
600W （450W設定可能） |
| PCIeホスト | x16 PCIe Gen 5、128GB/s | x16 PCIe Gen 5、128GB/s |
消費電力は完全には半分になりません。MI350Pの定格は600W TBPで、MI350Xの1,000Wの約60%です。600WはPCIe CEM仕様で定義された上限なので、カードはスロットが許容する限り高温で動作します。フルパワーや冷却性能を提供できないシャーシ向けに、パフォーマンスを一部制限した450Wモードも用意されています。また、600Wという定格は、このセグメントで競合製品となるNVIDIAのH200 NVLやRTX Pro 6000 Serverと同じ価格帯にMI350Pを位置づけています。
NVIDIAのH200に搭載されているNVL4とは異なり、AMDはMI350PにおいてGPUのInfinity Fabricリンクを公開していません。すべての通信はPCIe Gen5 x16（128GB/s）リンクを介して行われます。
8つのGPUを空冷で実現した物語
MI350Pは標準的なデュアルスロット、フルハイト、フルレングスのPCIeカードであるため、企業が既に導入・運用しているサーバー、例えば主要OEMから現在提供されている高密度8GPU空冷プラットフォームなどにも適合します。以前レビューしたDell PowerEdge XE7740とHPE ProLiant DL380a Gen12は、明らかにそのターゲットです。どちらも、600Wクラスのカード用に既に設計された電力供給とエアフローを備えた空冷シャーシに、8つのデュアルスロットFHFLアクセラレータを搭載できるように特別に設計されています。カスタムラックも、液冷ループも、OAMベースボードも必要ありません。
これらのシステムの1つに搭載された8枚のMI350Pカード構成では、1,152GBのHBM3Eと32TB/sの総メモリ帯域幅が単一の空冷式筐体に収められています。大規模なオープンウェイトモデルの推論では、これは単一のシャーシでMXFP4上の1兆パラメータモデルをホストするのに十分です。しかし、前述したように、トレードオフはスケールアップファブリックがないことです。OAM MI350Xでは、GPUはユニバーサルベースボードを介してInfinity Fabricで通信します。MI350Pでは、すべてのGPU間通信は128GB/sのPCIe Gen5 x16で行われ、これはホストに到達するために使用されるのと同じパスです。推論ワークロード、特にノード内のテンソル並列シャーディングとノード間のパイプラインまたはデータ並列性がある場合、これは実行可能です。オールリデュース帯域幅がステップ時間を支配する密結合トレーニングでは、OAMプラットフォームが依然として適切なソリューションです。
精密フォーマット
MI350Pでサポートされているフォーマットはどれも新しいものではありませんが、精度については触れておく価値があります。MI350Xも同じフォーマットに対応しています。それでも精度が重要な理由は、OCPブロックスケーリングデータタイプ（MXFP8、MXFP6、MXFP4）が、最先端のモデル開発ラボにおけるモデルのトレーニングと出荷の標準となっているからです。これらのフォーマットを使用することで、ラボは精度を下げても品質をほとんど損なうことなくトレーニングを行うことができ、推論のメリットはすぐに現れます。
精度が低いほど高速です。MXFP4 は、ピーク時で FP8 の 2 倍以上、BF16 の約 4 倍の速度で動作します。この速度向上は実際のワークロードで顕著に現れます。OpenAI の gpt-oss リリースによりスループットの向上は明らかになり、Kimi K2.6 のような最先端モデルは、後から量子化するのではなく、最初から INT4 でネイティブに量子化対応トレーニングされています。もう 1 つの利点はメモリです。INT4 と MXFP4 の重みは、BF16 の 4 分の 1 のスペースしか必要としません。この計算により、1 兆パラメータのモデルを 8 GPU 搭載の単一のボックスに収めることができます。大規模なオープンウェイトモデルをオンプレミスでホストしたい企業にとって、違いは、ネットワークとオーケストレーションを伴うマルチノードクラスタではなく、ラック 1 つで済むということです。
ボトムライン
オンプレミスAIを検討しているほとんどの企業は、コンピューティング能力の限界に達する前に、電力、冷却、ラック密度、または予算の制約に直面する。既に運用しているサーバー環境に組み込めるPCIe Instinctは、これらの制約の最悪の部分を回避できる。NVIDIAは現在、これに対抗できるフラッグシップのサーバーPCIeカードを持っていないため、現状が続く限り、AMDはこの分野で独占的な地位を維持できる。
詳しい情報はAMD Instinctのページをご覧ください。
Amazon