Liqid Pools 在一台伺服器中整合 30 個 AMD MI350P GPU：4.3TB HBM3E 記憶體和 69 PFLOPS 的 AI 推理效能

7月下旬，Liqid發布了基於AMD Instinct MI350P PCIe GPU的可擴充AI平台UltraStack 30。該平台將Liqid的可組合GPU池化技術與AMD加速器結合，旨在滿足企業和雲端AI推理部署的需求，突破傳統伺服器加速器數量和記憶體容量的限制。

UltraStack 30：30 個 AMD MI350P GPU 的池化

該架構允許在單一伺服器環境中整合多達 30 個 AMD Instinct MI350P GPU。 Liqid 表示，這可以為大型模型、檢索增強型生成部署和長上下文推理工作負載提供 4.3TB 的聚合 HBM3E 容量。該平台旨在實現 GPU 資源的動態分配，而非固定分配給單一伺服器，並原生支援 Kubernetes 以實現平行模型部署。

此次合作旨在應對人工智慧推理領域日益嚴峻的基礎設施挑戰：如何在控制代幣生成成本的同時，最大限度地提高加速器的利用率。 Liqid 聲稱，其 GPU 池化方案相比傳統伺服器配置，可提供高達 3.7 倍的代幣吞吐量提升、每美元代幣產量提升 2.1 倍，以及每瓦特代幣產量提升 1.8 倍。該公司還表示，對於大型模型部署，其目標是將部署成本降低高達 65%，並將功耗降低高達 50%。 Liqid 指出，這些數據是基於內部預測，具體數值會因配置和工作負載而異。

「Liqid 已成為 GPU 池化和擴展領域的領導者。AMD Instinct MI350P 系列為我們提供了理想的基於 PCIe 的 GPU，用於構建下一代 AI 基礎設施，使我們能夠提供針對企業級 AI 推理進行優化的解決方案，其中利用率和每個代幣的成本決定了經濟效益，」Liqid 首席執行官 Rick Hegberg 表示。

小米350P內部構造

AMD 將MI350P定位為基於 PCIe 的加速器，旨在提供卓越的 AI 推理性能，而無需專用散熱或對資料中心進行大規模改造。 AMD 的規格表顯示，該顯示卡配備 144GB HBM3E 顯存，擁有 4TB/s 的顯存帶寬，基於 CDNA 4 架構，可提供 2.3 PFLOPS 的密集型 FP8 運算能力，典型板載功耗為 600W（可配置為 450W），採用被動散熱的典型板載功耗為 600W（可配置為 450W），採用被動散熱的典型板載功耗。 UltraStack 的 4.3TB 和 69 PFLOPS 的綜合效能資料正是由 30 張這樣的顯示卡所組成的。結合 Liqid 的架構，可以根據需要添加和擴展 GPU，以支援不斷變化的推理需求，從而減少閒置的 GPU 容量，並提高每個系統的模型密度。

AMD運算與企業AI事業部副總裁Suresh Andani表示：「AMD Instinct MI350P PCIe GPU無需專用基礎設施即可提供卓越的AI推理性能。結合Liqid的GPU池化解決方案，客戶可以按需擴展GPU資源，從而實現更高的利用率、更低的基礎設施成本以及業界領先的AI推理經濟效益。」

平台的目標使用者群體

該解決方案面向企業人工智慧團隊、NeoCloud 供應商、人工智慧服務供應商以及高效能運算和研究機構。已確定的應用情境包括：用於銷售、人力資源、行銷、法律和編碼等功能的私有本地企業助理；紅綠燈和長上下文推理；包括藥物發現和材料科學在內的科學工作負載；以及從共享加速器池中支援多種模型規模的混合模型群集。

從GPU池化到CXL記憶體池化

CXL的相關技術已不再是紙上談兵。 8月初，Liqid 發布了 EX-5410C 記憶體平台，該公司稱之為業界首款也是唯一完全解耦的軟體定義記憶體池解決方案。 EX-5410C 基於 CXL 2.0 構建，並透過 Liqid Matrix 軟體進行管理，每個機箱可容納高達 40TB 的 DRAM，可擴展至超過 160TB 的統一記憶體池，並可在多達 16 個伺服器節點之間動態分配記憶體，Liqid 稱之為零冗餘容量。

Liqid 聲稱，該平台在處理圖分析工作負載時速度可提升高達 30 倍，在處理某些鍵值快取工作負載時每秒令牌數可提升高達 7 倍。目前，太平洋西北國家實驗室已建造了一個早期測試平台，並透過 AMAIS 計劃向美國能源部資助的研究人員開放。對於 UltraStack 而言，其意義在於：Liqid 應用於 GPU 容量的可組合性模型正擴展到系統內存，這將使未來的部署能夠為鍵值緩存和其他內存密集型 AI 工作負載分配共享內存，並與池化加速器協同工作。

隨著 Liqid 和 AMD 兩家公司推進研發和客戶部署活動，預計將公佈更多關於雙方聯合解決方案的詳細資訊。