存儲評論網

Oracle Acceleron 新增前端 RDMA、用於多平面故障轉移的 NCCL 和 RCCL 插件,以及在 OCI 上提升 3 倍的 NVMe 區塊儲存效能

企業  ◇  網路相關

在拉斯維加斯舉行的 Oracle AI World 大會上,Oracle 發布了第二輪 Oracle Acceleron 功能更新。一年前,該網路套件首次將專用網路架構、多平面網路、智慧網卡和直接資料路徑整合在一起,用於 Oracle 雲端基礎架構 (OCI)。此次更新的新功能包括:OCI 共享前端網路上的 RDMA;跨 Acceleron 裸機和虛擬機配置的 NVMe 塊存儲附件(Oracle 稱其塊存儲性能最高可達原有性能的 3 倍);將故障轉移和負載平衡功能移至 NCCL 和 RCCL 層的集體通信插件;以及擴展到前端流量的多平面功能。

OCI多平面網路架構示意圖,其中SmartNIC將伺服器連接到四個獨立的網路結構平面。

「Oracle 雲端基礎設施在網路摩擦方面容不得半點差錯,」Oracle 雲端基礎設施運算與人工智慧基礎設施執行副總裁 Pradeep Vincent 表示,「當數千個加速器協同工作時,一條擁塞或故障路徑的影響可能遠遠超出單一連接本身。借助 Oracle Acceleron,我們正在建立一個能夠透過重新路由流量、從系統中恢復以及將

前端 RDMA 和 3 倍 NVMe 區塊儲存聲明

OCI 的前端網路將 Oracle 資料庫、客戶運算、區塊儲存和物件儲存、SaaS 和 OCI 服務、骨幹連結、網際網路存取以及本機連線整合在同一架構上,因此 RDMA 歷來都運作在專用的後端叢集網路上。 Oracle Acceleron 高效能架構將 RDMA 部署在該共用前端,用於推理、儲存和 HPC 流量。 Oracle 表示,該架構支援所有佇列對類型和操作,因此現有的 RDMA 應用程式無需變更即可運作。此外,Oracle 還利用前端連結連接不同的 GPU 集群,而後端架構則負責處理每個集群內部的訓練。

儲存方面,Oracle 表示,新增的 NVMe 區塊儲存連接選項支援全新的 Acceleron 裸機和虛擬機架構,可將 NVMe 區塊儲存效能提升高達 3 倍,尤其適用於 AI、資料庫和其他資料密集型工作負載。 Oracle 並未公佈基準配置、工作負載,也未說明具體指標是吞吐量、IOPS 或延遲,我們也沒有進行測試或審核。此次發布沿用了 Oracle 的標準未來產品免責聲明,並未給出任何新功能的可用日期。

RDMA 和 TCP 共享前端會帶來擁塞控制問題,因為 RDMA 傳輸通常使用基於速率的控制,而 TCP 使用基於視窗的控制,一個環路可能會導致另一個環路頻寬不足。 Oracle 的解決方案是 Acceleron SmartNIC。它使用分層令牌桶來追蹤共享父級令牌桶下 RDMA 和非 RDMA 類別的頻寬,當令牌不足時,網路卡會根據機率標記支援 ECN 的資料包或丟棄其餘資料包,從而產生漸進式擁塞訊號,並防止機架頂部鏈路出現擁塞。任何一類資料包都可以從另一類資料包借用未使用的頻寬。

為了應對網路內部擁塞,SmartNIC 運行單向延遲擁塞控制,測量前向路徑延遲,以避免擁塞的反向路徑觸發錯誤訊號。當偵測到資料流延遲升高時,它會偵測三條備用路徑,如果其中一條路徑更優,則將資料流轉移到該路徑;如果沒有更優路徑,則回退到 ECN 標記或丟棄資料。 Oracle 表示,該設計只需交換器提供最低限度的 QoS 支持,同時保持主機上標準的核心和 CPU 旁路。

權限 Oracle 聲稱它能做什麼
Oracle Acceleron 高效能網絡 OCI 前端運算上的 RDMA 支援推理、儲存和 HPC 工作負載,並支援所有佇列對類型和謂詞。
擴充型 NVMe 區塊儲存附件 Acceleron裸機和虛擬機器上的NVMe區塊存儲,區塊儲存效能最高可達3倍(廠商資料)。
Oracle Collective Communications Library 插件 NCCL 和 RCCL 網路插件,可將集中流量分散到後端多平面網路中,透過擁塞情況進行負載平衡,並在連接埠和網路卡失效時進行故障轉移。
透明前端多平面網絡 前端 RDMA 流量的路徑選擇、故障轉移和擁塞控制由 SmartNIC 處理。

OCCL 將故障轉移移至集體層

OCI 的後端多平面網路將多埠網路卡連接到多個不相交的網路結構,從而為訓練作業提供 n 路冗餘。然而,使用這些網路結構需要網卡層級的功能,而這些功能並非總是可用。 Oracle Collective Communications Library (CCL) 插件消除了這種相依性。它是一款 CCL 網路插件,原生支援 NVIDIA NCCL 和 AMD RCCL 插件介面(用於將集體操作轉換為網卡傳輸的層框架),並且在插件內部整合了故障轉移、恢復和擁塞感知負載平衡功能,獨立於網卡韌體和網路拓撲。

在運行過程中,OCCL 將集體流量分配到多個標準可靠連接佇列對上,優先將流量傳送到吞吐量更高的佇列對,並在訊息和資料區塊層級將流量從擁塞路徑轉移出去。當某個連接埠或整個網路卡發生故障時,它會將集體流量引導到另一個連接埠或網路卡,從而確保作業無需重新啟動即可繼續進行。 Oracle 認為,這比選擇網路路徑並監控已變更的路由控制器更簡單,並且適用於單平面和多平面網路。現在,同樣的多平面路徑選擇和故障轉移機制也透過 Oracle 稱為「透明前端多平面網路」的技術應用於前端 RDMA 流量。

此次網路更新也涵蓋了 Acceleron 以外的兩項內容。 OCI Global CDN Connect 提供 OCI 物件儲存與 Cloudflare、Fastly、Netskrt 和 Mainstreaming 之間的直接連接,在支援的區域內,符合條件的快取獲取操作可享受零 OCI 出口費用。此外,Oracle 已與 F5 簽署了一份不具約束力的諒解備忘錄,計劃推出 OCI App Defense Web 應用程式和 API 保護服務。

Oracle 雲端基礎架構網絡

參與 StorageReview

電子報| YouTube | PodcastiTunes / Spotify | Instagram | Twitter | TikTok | RSS訂閱

哈羅德弗里茨

自 IBM 創建 Selectric 以來,我一直在科技行業工作。 不過,我的背景是寫作。 因此,我決定退出售前業務,回歸本源,從事一些寫作工作,但仍從事技術工作。