WhiteFiber社は、地理的に離れたデータセンター間で動作するように設計された分散型GPUスーパークラスタアーキテクチャであるProject Redwoodの初期研究開発結果を公表した。先週発表されたこのテストでは、83kmのダークファイバー上で111.2Tbpsのスループットを達成し、往復遅延は0.9msを保証した。
WhiteFiber社によると、遅延時間は、その距離を光ファイバーを通して伝搬する光の物理的な伝搬限界の8%以内に収まっているとのことです。同社は、今回のテストで利用可能な光ファイバースペクトルの一部のみを使用しましたが、その結果は、既に公表されている同等の全スペクトルフィールドトライアルの容量の約2倍に相当すると述べており、2026年第3四半期の商用サービス開始を目標に、全スペクトルでの運用開始を計画しています。
このプロジェクトはDriveNetsとWEKAを用いて実施されました。DriveNetsは施設間のイーサネットベースのAIファブリックを提供し、WEKA NeuralMeshはクラスター全体にわたるストレージおよびメモリインフラストラクチャを提供します。WhiteFiberは、この実装に関連する特許を出願しています。
複数のサイトを1つのGPUクラスタとして扱う
このアーキテクチャは、従来のDCIリンクで接続された2つの独立したクラスターではなく、2つのデータセンターを1つの論理的なGPUスーパークラスターとして機能させることを目的としています。この違いは、GPU間の同期、共同処理、共有データインフラストラクチャへのアクセスによって使用可能なクラスター規模が決まるAIトレーニングおよび推論ワークロードにとって重要です。
WhiteFiberは、単一サイトの電力、冷却、スペース、耐障害性設計、データ主権要件といった制約を超えるワークロードに対応できるプラットフォームを提供しています。同社はまた、エッジコンピューティング、電気通信、主権型AIの展開といった分野にも応用できると考えています。
DriveNetsの関連発表では、ハードウェアについて説明されています。このファブリックは、52マイル離れた場所に設置された2つのWhiteFiber NVIDIA H200 GPUクラスターを接続しており、DriveNetsはこの展開を、ラボではなく本番環境で検証された、業界初の商用長距離スケールアクロスAIスーパークラスターであると説明しています。検証の一環として、両社は単一サイト内のラック間パフォーマンスと、2つのサイトにまたがるラック間パフォーマンスを比較しました。その方法論の詳細は、DriveNetsのホワイトペーパーに記載されています。
DriveNetsファブリックデザイン
拠点間環境では、冗長構成のダークファイバーとDriveNets AI Fabricを使用してGPUおよびストレージのトラフィックを伝送します。DriveNetsはこのアーキテクチャを、従来の長距離イーサネット拡張ではなく、予測可能な分散型AI通信のために構築されたスケジュール型イーサネットファブリックであると説明しています。
この設計では、DriveNetsのFabric Scheduled Ethernetテクノロジーを同社の9300F、5300R、5301Rスイッチ上で活用し、AIファブリックを複数の拠点に拡張します。このアプローチは、セルベースの負荷分散、エンドツーエンドの仮想出力キューイング、およびディープバッファ相互接続を組み合わせることで、サイト間リンクで輻輳が発生する前に同期されたAIトラフィックの急増を吸収します。DriveNetsによると、その結果、サイト間の接続が予測可能でロスレスになり、まるでクラスタ全体が1つの建物内にあるかのようにGPU利用率を高く維持できるとのことです。
これらのメカニズムは、統合されたコンピューティングおよびストレージ基盤をサポートしながら、遠隔地での集団通信における予測可能な動作を維持することを目的としています。マルチテナント分離は、明示された設計目標の一部です。
その結果、光ファイバー経路を単なるサイト間の伝送接続としてではなく、AIファブリックの一部として扱うアーキテクチャが実現しました。目標は、クラスタ全体で実行されるワークロードにとって、物理的なデータセンター境界の運用上の重要性を低減することです。
NVIDIA Spectrum-XGSとは異なるアプローチ
WhiteFiberのテストプラットフォームは、NVIDIA Spectrum-XGS Ethernetとは異なる。しかし、この取り組みは、AIインフラストラクチャの「スケールアクロス」化に向けた業界全体の動きと合致している。
Hot Chips 2025において、NVIDIAのCEOであるジェンセン・フアン氏は、大規模なAIファクトリーを形成するために、都市、国、大陸をまたいでデータセンターを連携させる必要性について述べました。NVIDIAのSpectrum-XGSアプローチは、距離を考慮した輻輳制御、高精度なレイテンシ管理、テレメトリを活用することで、分散型GPU通信の予測可能性を向上させます。CoreWeaveは、NVIDIAが挙げた早期採用企業の1つです。
WhiteFiberは、NVIDIAがSpectrum-XGSの展開に関して公表しているよりも、より具体的な初期フィールドテストの指標を提供している。同社の83kmのテストでは、111.2Tbpsの速度と0.9msの往復遅延が達成されたが、両システムは異なるアーキテクチャを使用しているため、結果を直接比較することはできない。
分散型トレーニングは単一施設の枠を超えて展開する
WhiteFiberの発表は、他のクラウドおよびインフラストラクチャプロバイダーが、複数拠点にわたるAIトレーニングおよび推論アーキテクチャを検討している中で行われた。
Oracle Cloud InfrastructureとNVIDIAは、NeMo FrameworkとMegatron-Coreを使用して、約1,000km離れたデータセンター間でLLMトレーニングを実行する研究成果を発表しました。NVIDIAは、階層型オールリデュースとチャンク化されたデータセンター間通信により、96%を超えるトレーニングのスケーラビリティを実現したと報告しています。この研究は、メトロ規模のトランスポートベンチマークというよりも、主にソフトウェアとシステムの実証を目的としています。
GoogleはTPUマルチスライスも開発しており、これにより複数のTPUスライスをデータセンターネットワークと光インターコネクトにまたがる大規模な分散トレーニング環境として運用することが可能になった。Googleは、Geminiトレーニングでは複数のデータセンターを使用し、プラットフォームはワークロードの分割と大規模な耐障害性を管理するように設計されていると述べている。
WhiteFiberは、同様のクロスサイト設計をGPUクラウドインフラストラクチャにも導入することを目指しており、特に高帯域幅・低遅延のメトロ接続に重点を置いています。同社は、2026年第3四半期の商用展開に向けて、アーキテクチャと可用性に関する詳細情報を今後提供していく予定です。
Amazon