オラクルは、専用ファブリック、マルチプレーンネットワーク、SmartNIC、およびOracle Cloud Infrastructure向けのダイレクトデータパスを初めてバンドルしたネットワークスイートであるOracle Acceleronの第2弾機能を、ラスベガスで開催されたOracle AI Worldで発表しました。新しい機能には、OCIの共有フロントエンドネットワーク上のRDMA、AcceleronベアメタルとVMシェイプ全体に適用されるNVMeブロックストレージアタッチメント（オラクルはブロックパフォーマンスが最大3倍になると評価）、フェイルオーバーとロードバランシングをNCCLおよびRCCLレイヤーに移行する集合通信プラグイン、およびフロントエンドトラフィックに拡張されたマルチプレーンネットワークが含まれます。
「AIインフラストラクチャは、ネットワークの摩擦に対して非常に敏感です」と、Oracle Cloud InfrastructureのコンピューティングおよびAIインフラストラクチャ担当エグゼクティブバイスプレジデントであるプラディープ・ヴィンセント氏は述べています。「数千ものアクセラレータが連携して動作している場合、1つの経路が混雑したり障害が発生したりすると、単一の接続にとどまらず、はるかに広範囲に影響が及ぶ可能性があります。Oracle Acceleronでは、トラフィックの再ルーティング、障害からの復旧、そしてお客様の安全なスケーリングを支援することで対応できるネットワークを構築しています。」
フロントエンドRDMAと3倍のNVMeブロックストレージの主張
OCIのフロントエンドネットワークは、Oracle Database、顧客コンピューティング、ブロックストレージとオブジェクトストレージ、SaaSおよびOCIサービス、バックボーンリンク、インターネットアクセス、オンプレミス接続を同一のファブリック上で伝送するため、RDMAは従来、専用のバックエンドクラスタネットワーク上で運用されてきました。Oracle Acceleron High-Performance Fabricは、推論、ストレージ、HPCトラフィックのために、この共有フロントエンド上でRDMAを実行します。Oracleによると、このファブリックはすべてのキューペアタイプと動詞をサポートしているため、既存のRDMAアプリケーションは変更なしで実行できます。また、Oracleはフロントエンドリンクを使用して個別のGPUクラスタを接続し、バックエンドファブリックは各クラスタ内でのトレーニングを処理します。
ストレージ面では、新しいAcceleronベアメタルおよびVMシェイプ全体で拡張されたNVMeブロックストレージ接続オプションが採用されており、Oracleによると、これによりAI、データベース、その他のデータ集約型ワークロードにおけるNVMeブロックストレージのパフォーマンスが最大3倍向上するとのことです。Oracleは、ベースライン構成、ワークロード、あるいは数値がスループット、IOPS、レイテンシのいずれであるかを公表しておらず、弊社もテストや監査は行っていません。今回のリリースには、Oracleの標準的な将来の製品に関する免責事項が記載されており、新機能の提供開始時期は示されていません。
RDMAとTCPでフロントエンドを共有すると、輻輳制御の問題が生じます。RDMAトランスポートは通常レートベースの制御を使用し、TCPはウィンドウベースの制御を使用するため、一方のループが他方の帯域幅を枯渇させる可能性があるからです。Oracleの解決策はAcceleron SmartNICにあります。階層型トークンバケットは、共有親バケットの下でRDMAクラスと非RDMAクラスの帯域幅を追跡し、トークンが少なくなると、NICは確率的にECN対応パケットをマークするか、残りを破棄します。これにより、徐々に輻輳信号が生成され、ラック上部リンクでのインキャストも防止されます。どちらのクラスも、もう一方の未使用帯域幅を借りることができます。
ファブリック内部の輻輳に対して、SmartNICは一方向遅延輻輳制御を実行し、順方向パスの遅延を測定することで、輻輳した逆方向パスが誤ったシグナルをトリガーしないようにします。フローで遅延が増加していることを検出すると、3つの代替パスをプローブし、より良いパスがあればフローを移動します。より良いパスがない場合は、ECNマーキングまたはドロップにフォールバックします。Oracleは、この設計はスイッチからのQoSサポートを最小限に抑えつつ、ホスト上で標準のカーネルおよびCPUバイパスを維持できると説明しています。
| 機能 | オラクルが言うところの「機能」 |
|---|---|
| Oracle Acceleron ハイパフォーマンスファブリック | 推論、ストレージ、およびHPCワークロード向けのOCIフロントエンドコンピューティングにおけるRDMA、すべてのキューペアタイプと動詞をサポート |
| 拡張されたNVMeブロックストレージアタッチメント | AcceleronのベアメタルおよびVM構成全体でNVMeブロックストレージを実現し、ブロックストレージ性能を最大3倍向上（ベンダー発表値） |
| Oracle Collective Communications Library プラグイン | NCCLおよびRCCLネットワークプラグインは、バックエンドのマルチプレーナーネットワーク全体に集約トラフィックを分散し、輻輳に応じて負荷分散を行い、障害が発生したポートやNIC周辺でフェイルオーバーを実行します。 |
| 透過型フロントエンドマルチプレーンネットワーク | SmartNICで処理される、フロントエンドRDMAトラフィックのパス選択、フェイルオーバー、および輻輳制御 |
OCCLがフェイルオーバー機能をコレクティブレイヤーに移行
OCIのバックエンドであるマルチプレーンネットワークは、マルチポートNICを複数の独立したファブリックに接続することで、トレーニングジョブにnウェイ冗長性を持たせますが、これらのプレーンを使用するには、常に利用できるとは限らないNICレベルの機能が必要となります。Oracle Collective Communications Libraryプラグインは、この依存関係を解消します。このプラグインは、NVIDIA NCCLおよびAMD RCCLプラグインインターフェイス（集合操作をNIC転送に変換するためにレイヤーフレームワークが使用するインターフェイス）をネイティブにサポートするCCLネットワークプラグインであり、NICファームウェアやトポロジーに依存せず、プラグイン内部でフェイルオーバー、リカバリ、輻輳認識型ロードバランシングを実行します。
OCCL は動作時に、複数の標準の信頼性接続キュー ペアに集合トラフィックを分散し、スループットの高いペアにトラフィックを多く送信し、メッセージ レベルおよびチャンク レベルで混雑したパスからトラフィックを移動します。ポートまたは NIC 全体に障害が発生した場合、集合トラフィックを別のポートまたは NIC に誘導し、ジョブを再起動せずに継続します。Oracle の説明では、これはファブリック パスを選択して変更を監視するルーティング コントローラよりもシンプルで、シングル プレーン ネットワークとマルチ プレーン ネットワークの両方で動作します。同じマルチ プレーン パス選択とフェイルオーバーは、Oracle が Transparent Front-End Multiplanar Networking と呼ぶ機能を通じて、フロントエンド RDMA トラフィックにも適用されます。
同じネットワークアップデートでは、Acceleron以外の2つの項目についても触れられています。OCI Global CDN Connectは、OCI Object StorageとCloudflare、Fastly、Netskrt、Mainstreamingとの直接接続を提供し、サポート対象リージョンにおける対象となるキャッシュフェッチに対してOCIの送信料金をゼロにします。また、Oracleは、計画中のOCI App Defense WebアプリケーションおよびAPI保護サービスに関して、F5と拘束力のない覚書を締結しました。
Amazon