VAST Data 和 AMD 聲稱，Instinct 處理器透過 KV 快取卸載，首次令牌獲取時間提升了 9 倍。

by 哈羅德弗里茨 on 2026 年 7 月 27 日

AI ◇ 企業

VAST Data 擴大了與 AMD 在人工智慧基礎架構領域的合作，旨在為雲端服務供應商和企業部署訓練、推理、檢索增強生成和智慧體人工智慧服務。此次合作將 VAST AI 作業系統與第六代 AMD EPYC 處理器、AMD Instinct GPU、AMD 網路硬體和 ROCm 軟體結合。

此次合作反映了更廣泛的基礎設施轉型，即從以訓練為中心的AI集群轉向必須同時支援持久上下文、高並發推理和多輪代理工作流程的環境。這些部署更加重視資料移動、鍵值快取管理、GPU利用率以及向大型模型和上下文資料集提供低延遲存取的能力。

VAST 將其Disaggregated Shared Everything (DASE ) 架構定位為這些環境的共享資料層。該平台將文件和物件儲存、資料庫、事件流和資料服務整合到一個統一的全域命名空間中。它還為運行並發客戶和應用程式工作負載的 AI 雲端提供多租戶和工作負載隔離功能。

EPYC 9006 平台適用於 VAST CBox 和 EBox 系統

VAST 已選擇第六代 AMD EPYC 處理器（原代號 Venice）用於其下一代 CBox 和 EBox 平台。該公司計劃在其第六代 CBox 和第三代 EBox 系統中使用這些處理器，這兩個系統是 VAST AI 作業系統的基礎。

AMD EPYC 9006 的支援為 VAST 硬體平台引入了 PCIe Gen6 連接。 VAST 表示，新介面可將 I/O 頻寬提升一倍，從而提高檔案和物件儲存吞吐量，同時降低透過 VAST DataBase 和 DataEngine 提供的資料庫、資料倉儲和事件流工作負載等資料服務的延遲。

對於人工智慧基礎設施而言，更高的 I/O 頻寬有助於減少運算、網路和 NVMe 儲存資源之間的瓶頸。這對於模型載入、檢索管道、檢查點存取和外部化鍵值快取工作流程尤其重要，因為在這些場景中，僅靠 GPU 記憶體容量不足以保留活動上下文。

參考架構結合了 Helios、VAST 和 DriveNets

VAST、AMD 和DriveNets也正在開發以 AMD Helios 機架級 AI 基礎架構、VAST AI 作業系統和 DriveNets AI Fabric 網路為核心的 AI 基礎架構參考架構。

此參考架構旨在為模型訓練、推理、強化學習和鍵值快取工作負載提供部署指導。它涵蓋了建構人工智慧工廠的組織所需的規模和可用性方面的考慮因素，這些組織需要共享資料基礎設施、高效能網路以及GPU運算能力。

VAST也提到將擴大與推理軟體供應商TensorMesh和EmbeddedLLM的合作。該生態系統致力於為智能體AI應用開發生產級推理架構，但具體的整合方案和可用性細節尚未揭露。

KV快取卸載針對高並發推理

此次公告的核心內容是利用AMD Instinct GPU、AMD Infinity Context、ROCm 軟體和 VAST AI 作業系統擴展KV 快取支援。

鍵值快取資料儲存推理過程中產生的中間注意力狀態資訊。保留這些資料可以提升多輪互動和長上下文工作負載的效能，但龐大的快取佔用空間會消耗大量的GPU記憶體。將鍵值快取外部化或分層儲存到高效能儲存平台，可以在保留上下文資訊以供後續推理請求使用的同時，釋放GPU記憶體用於其他活躍工作負載。

VAST 報告稱，其使用AMD Instinct MI355X GPU進行的早期測試表明，在採用 VAST 進行高並發代理 AI 工作負載的 KV 快取卸載時，首次令牌獲取時間縮短了 9 倍，令牌吞吐量提高了 9.7 倍。該公司指出，這些結果取決於硬體基線、工作負載特性和儲存配置。

此整合也將 VAST 生命週期策略應用於鍵值快取資料。此功能旨在自動過期並刪除快取訊息，這在推理上下文包含敏感、個人或受監管資料時尤其重要。

Pensando Pollara 400 將 GPU 連接到共享存儲

該架構採用AMD Pensando Pollara 400 AI 網路卡將 AMD Instinct GPU 與 VAST 儲存叢集連接起來。據 VAST 稱，該網卡支援透過 TCP 上的 NFS 和 RDMA 進行 GPU 到儲存的資料傳輸，從而能夠存取基於 NVMe SSD 的 VAST 集群，以滿足鍵值快取和更廣泛的推理資料需求。