ハイパースケーラーやAIに特化したインフラストラクチャ事業者は、大規模な言語モデルや複雑な推論ワークロードに対応するため、独自のAIアクセラレータやXPUの開発をますます進めています。NVIDIAは、独自のシリコンを大規模に展開する際の物理、メモリ、ネットワークに関する課題に対処するため、NVLink FusionインターコネクトとNVHBMカスタムベースダイメモリアーキテクチャの詳細を発表しました。この統合ポートフォリオは、カスタムシリコンとNVIDIAの既存のスケールアップネットワークおよびMGXラックスケールプラットフォームとの橋渡しを目的として設計されています。
最初に採用したのはAmazonのAnnapurna Labsで、同社のNVHBM計画はAWSとのパートナーシップによる2万GPUの拡張と同時に明らかになった。今回の発表では、その提携の背後にあるアーキテクチャが明らかにされ、Trainium4がNVLink Fusionをサポートする最初のTrainium世代として発表された。NVIDIAはまた、複数のメモリプロバイダーから入手可能な標準NVHBM実装を確立しており、これによりサプライヤー間でメモリを統合および認定するエンジニアリング作業が軽減されると述べている。「NVHBMは、高帯域幅メモリのパフォーマンスと効率を向上させるための新しいアーキテクチャアプローチを表しています」とAmazonのAnnapurna LabsのバイスプレジデントであるNafea Bshara氏は述べた。「この技術協力が将来のAWSインフラストラクチャ設計に役立つことを期待しています。」
高密度データセンターにカスタムXPUを導入するには、演算ロジック、電力配分、熱負荷、高帯域幅メモリのバランスを取る必要があります。最先端のメモリスタックを統合して検証するには、パッケージングと開発において大きなボトルネックが生じることがよくあります。NVLink FusionとNVHBMを利用することで、設計者は事前に検証済みのベースダイとインターフェースIPを活用し、統合の複雑さを軽減し、市場投入までの時間を短縮できます。
メモリ帯域幅とレイテンシの最適化
最新のAIワークロード、特に大規模モデル推論やエージェントパイプラインでは、モデルの重み、アクティベーション、キーバリュー（KV）キャッシュエントリの読み取りにおいて、メモリのスループットに大きな負荷がかかります。NVHBMは、メモリメーカーと連携して開発されたカスタムベースダイを採用しており、標準のJEDEC HBM4E仕様と比較して、スタックあたりのメモリ帯域幅を最大30%向上させています。
| 機能 | NVHBMのメリット |
| 帯域幅 | 標準HBM4eと比較して最大30%向上したメモリ帯域幅 |
| エリア | より効率的なインターフェース接続により、XPUの機能をさらに強化するための演算ダイ面積が最大25%増加します。 |
| 出力 | 標準のHBM4eと比較してHBMの消費電力が最大15%削減され、数千個のXPU全体で節約効果が得られます。 |
表1. NVHBMは、AIアクセラレータプログラムに3つの主要なプラットフォームレベルの利点をもたらします。それは、より高いメモリ帯域幅、より広いパッケージおよびシリコン面積、そしてより低いHBM消費電力です。
この帯域幅の向上により、メモリ負荷の高い実行フェーズにおける演算エンジンの処理能力不足が最小限に抑えられます。HBMスタックとオンボード演算ロジック間のデータ転送を高速化することで、アクセラレータは高密度推論ワークロードにおいて、より高い利用率を維持し、ユーザーごとのトークン生成速度を向上させることができます。
ダイ領域の再割り当てとPHYの最適化
最新のアクセラレータパッケージにおけるシリコンの占有面積は厳しく制限されているため、設計者は演算演算ユニット（ALU）、マトリックスエンジン、オンチップSRAM、および周辺インターフェース間のスペースのバランスを取る必要がある。標準的なHBMアーキテクチャでは、広い物理インターフェースが必要となり、レイアウト面積を大幅に消費する。
NVHBMは、メモリコントローラを3D HBMスタックに直接組み込み、カスタム物理層（PHY）を利用することでこの課題を解決します。このアプローチにより、標準的なHBM4E実装と比較してPHYおよび周辺機器サポート領域を最大67%削減できるだけでなく、インターポーザの配線を簡素化することで、レイアウト全体で使用可能なシリコン面積を最大80%増加させることができます。メモリインターフェースが狭くなることでパッケージの占有面積が広がり、設計者は固定された物理的サイズ内で、中央のAI演算ダイを最大30%拡張して、より多くのマトリックスコア、ベクトルユニット、またはキャッシュ階層を追加できるようになります。
電力効率と施設規模の余裕
電力配分は、ハイパースケールデータセンターの運用において依然として最も厳しい制約の一つであり、アクセラレータの熱設計と冷却要件に直接影響を与えます。NVHBMは、標準のHBM4Eと比較してHBMの消費電力を15%削減します。
シリコンレベルでは、メモリ消費電力の削減により熱負荷が軽減され、演算コアをより高い周波数で動作させるための電力的な余裕が生まれます。施設規模では、こうした電力削減効果は大幅に増幅されます。例えば、2,000ワットのXPUを搭載した理論上の1ギガワットのデータセンターでは、メモリ消費電力の削減によって、最大15,000個のXPUを追加でサポートできるだけの熱的および電力的な余裕が生まれます。
NVLink Fusionによるラック規模の統合
NVHBMは個々のパッケージレベルでパフォーマンスを最適化する一方、NVLink Fusionはシステムレベルの橋渡し役を果たします。専用のNVLink Fusionチップレットを利用することで、カスタムXPUは第6世代NVLinkスケールアップファブリックに直接接続でき、ラック内のすべてのアクセラレータを単一のコヒーレントなメモリおよび演算ドメインに統合できます。
このスケールアップファブリックは、エキスパート並列処理（EP）やWideEPといった高度な並列化手法にとって不可欠です。これらの手法では、分散型混合エキスパートモデルにおいて、複数の物理デバイス間でアクティベーションと隠れ状態の低遅延同期が求められます。カスタムプロセッサは、NVLink-C2Cを介してホストCPUに接続することも可能です。
NVLink Fusionは、セミカスタムシリコンをNVIDIAの広範なハードウェアおよびソフトウェアエコシステムに統合することで、オペレーターがカスタムXPUと標準NVIDIA GPUを標準化されたMGXラックアーキテクチャの下で混在させた異種環境を展開することを可能にし、運用とワークロードのプロビジョニングを簡素化します。
Amazon