存儲評論網

MinIO ExaPOD:針對百億億次級人工智慧資料基礎架構的參考架構

AI  ◇  企業

MinIO 推出了 ExaPOD,這是一個用於開發和管理百億億次級 AI 基礎設施的模組化參考架構。該架構由 MinIO 與 Intel、Solidigm 和 Supermicro 合作開發。 ExaPOD 運行於 MinIO AIStor 之上,後者是 MinIO 為 AI 企業開發的百億億次級資料儲存系統。它將現有的 DataPOD 概念從 100PB 的儲存單元擴展到 1EB 的儲存區塊。

ExaPOD 為企業和新型雲端服務供應商提供了一個可重複使用的藍圖。它有助於在他們可控的基礎設施上,以極高的規模實現可持續、可預測且經濟高效的 AI 性能。

解決人工智慧的真正瓶頸

隨著人工智慧代理、長上下文模型和多模態管線的日益普及,資料量正從PB級成長到EB級。在許多情況下,主要的限制因素並非GPU的可用性,而是資料傳輸。 GPU經常處於閒置狀態,並非因為運算能力不足,而是因為儲存和資料路徑無法足夠快速地提供資料。

ExaPOD 的設計初衷正是為了消除這一瓶頸。它能夠降低並穩定百億億次級運算的延遲,確保資料路徑保持暢通且穩定。 MinIO 旨在利用 ExaPOD 建立一個儲存和資料層,支援對訓練、推理和檢索資料集進行高吞吐量、低延遲的存取。這確保了 AI 工作負載能夠持續接收數據,而無需等待 I/O 操作。

除了效能之外,ExaPOD 還滿足了大規模人工智慧的實際需求:

  • 可預測的總擁有成本: 此參考設計採用廣泛理解的行業標準組件和軟體定義存儲,從而可以隨著容量的增加進行可預測的成本建模。
  • 自主部署,本地部署: ExaPOD旨在運行於企業或新雲端供應商控制的硬體上。這最大限度地降低了意外成本,避免了雲端鎖定,並簡化了對資料駐留和主權規則的合規性。

換句話說,ExaPOD 不僅僅是速度的問題;它使 AI 資料基礎設施在 EB 級規模下更易於管理、可預測和可持續。

人工智慧的核心在於資料架構,而不僅僅是模型。

MinIO聯合創始人兼聯合執行長AB Periasamy認為,現代人工智慧的發展對資料基礎設施提出了挑戰,而不僅僅是模型或硬體問題。他相信,能夠在人工智慧領域取得成功的組織,將是那些重新思考如何大規模儲存、傳輸和存取數據,同時保持超大規模資料中心層級的成本效益的組織。

有鑑於此,ExaPOD 為企業提供了一種清晰、模組化的方式來建立 AI 就緒的基礎設施,同時又不犧牲控制力、靈活性或成本透明度。 ExaPOD 拋棄了不透明的、一刀切的解決方案,提供了一系列相同且可重複的模組,這些模組可以從機架擴展到完整的資料中心,從而保持效能和可靠性。

合作夥伴硬體

Supermicro SYS-212H-TN 2U 機架式伺服器,配備 24 個 NVMe 硬碟位元: SYS-212H-TN 為機架級部署提供了一個高密度且均衡的建置模組。其 24 個 U.2 NVMe 硬碟位最大限度地提高了每個機架的儲存密度,同時又不影響氣流、電源效率或可維護性,並支援液冷和高效電源供應。

英特爾至強 6781P(80 核,136 條 PCIe Gen5 通道):選擇至強 6781P 是因為它能夠同時充分利用高密度 NVMe 和 400/800 GbE 網路。憑藉 136 條 PCIe Gen5 通道,它支援 24 個 NVMe 驅動器和雙 400 GbE 網路卡之間的完全並行傳輸,而不會出現超額分配。

Solidigm D5-P5336 SSD(122.88 TB QLC NVMe):每塊硬碟容量高達 122.88 TB , Solidigm D5-P5336提供極高的儲存密度,使 ExaPOD 能夠在業界最小、最高效的資料中心空間內實現數艾位元組的可用容量。

ExaPOD 的一個關鍵方面是其對密度和能源效率的關注——這是多拍位元組和艾字節規模的關鍵因素。

ExaPOD提供:

  • 每個機架單元提供 36 PiB 的可用容量,採用緊湊的一體化設計,顯著減少了 AI 資料基礎設施所需的佔地面積。這種高密度對於受電力和物理空間限制的設施至關重要。
  • 平均而言,每 PiB 可用容量的功耗為 900 瓦(含散熱)。透過降低資料層的功耗,ExaPOD 可以釋放資料中心更多的電力容量,供 GPU 和加速器使用。

請在 SC25 上觀看

MinIO 將於 11 月 16 日至 21 日在聖路易斯舉行的 SuperComputing '25 大會上展示 ExaPOD。

參與 StorageReview

電子報| YouTube | PodcastiTunes / Spotify | Instagram | Twitter | TikTok | RSS訂閱

哈羅德弗里茨

自 IBM 創建 Selectric 以來,我一直在科技行業工作。 不過,我的背景是寫作。 因此,我決定退出售前業務,回歸本源,從事一些寫作工作,但仍從事技術工作。