CoreWeave 已在 CoreWeave Cloud 上部署了一個多機架NVIDIA Vera Rubin NVL72集群，將數百個 Rubin GPU 連接到一個面向智能體 AI 工作負載的橫向擴展環境中。每個由戴爾製造的機架包含 72 個 Rubin GPU、36 個 Vera CPU、NVLink 6 作為縱向擴展架構、BlueField-4 DPU以及每個 GPU 兩個 ConnectX-9 SuperNIC。機架之間透過 NVIDIA Spectrum-X 乙太網路連接，形成一個兩層無阻塞架構。 CoreWeave 表示，該架構可擴充至約 128,000 個 GPU。 CoreWeave 是第一個驗證並成功部署單一 Vera Rubin NVL72 叢集的雲端服務供應商，也是第一個發布此叢集實測效能的雲端服務供應商。該平台的首批經同行評審的數據已於上週在MLPerf Inference v6.1中發布，CoreWeave 提交的測試用例運行於 GB300 NVL72 上。除了運算能力之外，CoreWeave AI 物件儲存還增加了跨區域寫入加速和新的歸檔層。
多機架式 NVIDIA Vera Rubin NVL72 架構
這種多機架架構針對代理執行路徑，其中串行推理循環和外部工具呼叫會加劇分散式基礎設施的資料存取延遲。每個 Rubin GPU 上的兩個 ConnectX-9 SuperNIC 可提供高達 1.6 Tb/s 的後端網路連接，支援多軌、多平面路徑。 CoreWeave 將此架構描述為模組化架構，因此隨著容量的成長，額外的 NVL72 機架可以加入相同的無阻塞拓樸結構中。這些機架採用 45°C 液冷散熱。
CoreWeave 透過其任務控制軟體將各個機架連接起來。機架生命週期控制器負責每個機架的配置和生命週期管理，包括透過韌體刷新進行硬體檢測、驗證、電源和散熱迴路管理；名為 Racky 的機架管理層控制電源和基礎設施；而名為 Valvey 的可編程冷卻控制器則提供對液冷迴路和環境感測器的軟體定義可見性和控制。
機架只有在經過分階段驗證後才能投入生產。在節點層面，這意味著要進行數小時的重複GPU診斷、CPU到GPU的資料傳輸檢查、負載下的互連和散熱驗證，以及模擬真實場景的訓練運作。在機架層面，所有72個GPU上的同步作業會驗證NVLink GPU間的效能，任何低於預期範圍的系統都會被送去進行故障排除。在機架層面，CoreWeave運行分散式工作負載，刻意禁用NVLink路徑以強制流量通過後端網絡，並監控物理網路是否存在鏈路不穩定、錯誤率上升、硬體過熱和流量不均等問題，負載模式模擬代理應用程式：突發的需求高峰、並發性的變化以及通訊的突發性。 CoreWeave關於多機架啟動的文件詳細介紹了每個階段，值得一讀。
AI物件儲存更新：跨區域寫入與歸檔層
儲存方面基於CoreWeave AI 物件儲存及其本地物件傳輸加速器 (LOTA)。 LOTA 是一種快取代理，運行在 CoreWeave Kubernetes 服務中的每個 GPU 和 CPU 節點上，並將物件儲存在節點本地的 NVMe 儲存裝置上。 CoreWeave 報告稱，每個 GPU 的快取讀取速度高達 7 GB/s，p99 讀取延遲比從儲存桶讀取低 8 倍以上。 CoreWeave 也提到，一家領先的模型供應商在超過 15,000 個 GPU 和 20PB 的快取上運行 LOTA，命中率高達 99.7%。 LOTA 不收取額外費用。
跨區域寫入加速允許應用程式以本機延遲寫入遠端區域的儲存桶，而無需更改 API 或 SDK。應用程式向 LOTA 端點發出標準的 S3 寫入請求；物件資料持久化地保存在本地區域，而元資料則提交到遠端區域；物件可立即讀取，包括寫入該物件的作業；資料在後台遷移到遠端區域。應用程式在所有區域都看到一個統一的儲存桶命名空間，並具有統一的 IAM 策略、生命週期規則和存取控制，從而消除了通常跨站點分發檢查點所需的每個區域的分支和複製管道。
Cohere公司內部基礎設施總監Cécile Robert-Michon表示：“我們的數據集跨越多個地區，我們不能讓跨區域的數據檢索延遲影響我們的訓練計劃。CoreWeave AI對象存儲為我們提供了一個跨區域的統一數據集，讀取操作緩存在本地，因此無需在網絡上等待。”
歸檔層是繼熱儲存、溫儲存和冷儲存之後的第四種儲存類別，專為寫入一次、讀取頻率較低的資料而設計，例如較早的訓練檢查點和原始資料集。它的基本容量定價更低，並且免除檢索費、快取費、單次請求費、提前刪除費、分層儲存費和出口流量費。 CoreWeave 建議的模式是將最近的檢查點保留在速度更快的儲存層中以便立即重啟，並在 60 天未讀取後自動將其分層到歸檔層。跨區域寫入和歸檔層現已可用；CoreWeave 的儲存文章中提供了配置詳情。
Amazon