存儲評論網

企業人工智慧評論

我們目前的AI系統評測主要集中在實驗室環境下的推理服務,使用來自Llama、Qwen、DeepSeek和gpt-oss系列的開放權重模型,透過vLLM或SGLang運行,並測量其輸出吞吐量和首令牌延遲。評測範圍涵蓋從邊緣到完整GPU節點:NVIDIA RTX PRO 4500伺服器版在HPE ProLiant DL145 Gen11伺服器中,其輸出令牌/秒的中位數是其所替代的L4緩存的2.7倍,功耗僅高出約105W;戴爾、技嘉和惠普的DGXb網路版本在200W; JumpStart計畫讓我們有機會親身體驗NVIDIA HGX B200和AMD Instinct MI350X系統。儲存也受到同樣的對待,因為資料路徑決定了這些 GPU 的繁忙程度,所以我們使用 GDSIO 測量 GPUDirect Storage 吞吐量,並測試KV 快取卸載到快閃記憶體以處理長上下文和代理工作負載。

如果您正在為 AI 規劃硬體規模,「最佳伺服器」頁面列出了我們根據這些評論資料挑選的當前 AI 推理和邊緣伺服器,「最佳企業級 SSD」頁面涵蓋了為 GPU 提供資料的驅動器,「最佳儲存陣列」頁面涵蓋了訓練叢集和新雲端背後的 AI 儲存平台。

從上方可以看到戴爾 PowerEdge R7725 伺服器中安裝了兩張 AMD Instinct MI350P 顯示卡,機箱蓋已打開,一張顯示卡安裝在擴充卡上,另一張顯示卡安裝在旁邊的擴充卡插槽上。
AI  ◇  企業

AMD Instinct MI350P 初步體驗:144GB HBM3E 記憶體,600W PCIe 顯示卡

AMD Instinct MI350P 是 AMD 繼 2022 年的 MI210 之後,四年來推出的首款全新 PCIe Instinct GPU。它將 AMD 的 CDNA 4 架構應用於傳統的獨立顯示卡,擁有高達 4.6 PFLOPS 的 MXFP4 效能、144GB 的 HBM3E 記憶體以及 4TB/s 的顯存頻寬。所有這些強大的性能都整合在一個雙插槽、600W 的顯示卡中。

NVIDIA L4、RTX PRO 4500 Blackwell 伺服器版和 L40S 從上到下側立堆疊,以便比較插槽厚度和長度,RTX PRO 6000 工作站版位於其後。
AI  ◇  企業

NVIDIA RTX PRO 4500 Blackwell 伺服器版評測:單槽 165W 功耗下實現 L40S 級吞吐量

NVIDIA RTX PRO 4500 Blackwell 伺服器版是 NVIDIA 專為大多數企業現有伺服器打造的顯示卡。它是一款單槽被動散熱的 165W 顯示卡,配備 32GB GDDR7 顯存,並擁有完整的 Blackwell 功能集:第五代 Tensor Core(支援 FP4)、第四代 RT Core、三個編碼器和三個解碼器,以及多實例 GPU 支援。

RTX PRO 4500 Edge 評測:俯視圖,展示了安裝在全高擴充座上的 RTX PRO 4500 伺服器版顯示卡以及其 16 針電源線在 HPE ProLiant DL145 Gen11 伺服器內部結構。
AI  ◇  企業

NVIDIA RTX PRO 4500 Edge 評測:HPE ProLiant DL145 Gen11 伺服器內部 L4 快取容量是其 2.7 倍

NVIDIA RTX PRO 4500 Blackwell 伺服器版是 NVIDIA 專為替代資料中心外伺服器中的 L4 快取而設計的顯示卡:單槽設計,支援 PCIe Gen5,採用被動散熱,功耗 165W,配備 32GB GDDR7 顯存,並擁有完整的 BlackFP 執行個體功能集,包括 TenFP4 HPE 寄送了一台 ProLiant DL145 伺服器給我們。

AI  ◇  企業

高效處理長上下文推理:將鍵值快取卸載到快閃記憶體

企業級人工智慧基礎設施已從優化訓練模型轉向服務這些模型,這改變了其經濟模式。訓練是一項有終點的資本項目。推理則是一項生產工作負載,只要服務在線上就會運行,其輸出以代幣衡量。這就是人工智慧營運商目前面臨的代幣經濟學問題:一旦

AI  ◇  企業

Metrum AI 和俄勒岡州立大學如何建立學術評估新標準

去年11月,我們發表了關於俄勒岡州立大學浮游生物成像研究的報道,標題聚焦於科學本身:研究船上搭載的人工智慧加速基礎設施,在船隻抵達港口之前,就能近乎即時地處理數TB的海洋數據。但在接下來的幾周里,一些其他的事情悄悄發生。校園裡開始流傳著這樣一個消息:

Supermicro H14 伺服器,配備 AMD Instinct MI350X GPU,正面視圖顯示了風扇罩和 NVMe 硬碟托架。
AI  ◇  企業

Supermicro JumpStart 評測:搭載 AMD Instinct MI350X 的 H14 主機板

Supermicro 的 JumpStart 專案已成為 AI 基礎架構採購前評估工具包中最實用的工具之一。與在共享環境中進行腳本演示不同,JumpStart 為符合條件的用戶提供免費、限時、裸機訪問權限,用戶可以透過 SSH、IPMI 和 VNC 連接到真實的生產伺服器,從而在實際硬體上運行工作負載。