人工智慧基礎設施市場並非朝著單一方向發展，而是正在分化為兩個截然不同的領域。一方面是前緣訓練集群，旨在大規模開發基礎模型，這些集群與專有架構和少數加速器緊密耦合。另一方面是快速發展的企業推理應用，企業部署模型來服務使用者、處理即時數據並創造可衡量的商業價值。戴爾 PowerEdge XE7740 正是為這第二個領域而設計的。
關鍵要點
- PowerEdge XE7740 專為企業級推理而設計， 採用雙區散熱、結構化 PCIe Gen5 拓樸結構和橫向擴展網絡，以適應實際生產工作負載。
- 系統平衡是刻意設計的， 結合 Xeon 6 核心密度、高記憶體頻寬和 PCIe Gen 5 E3.S NVMe，支援 KV 快取卸載和編排。
- 矽的柔性是其基礎， 支援各種 PCIe Gen5 加速器，無需強制重新設計基礎架構。
- 該平台能夠隨著時間的推移實現平滑擴展， 從單一機箱內部分 GPU 部署到使用八個後置 Gen5 x16 專用網路插槽在機架上進行分散式推理。
XE7740 的核心在於對晶片多樣性的承諾。戴爾並沒有將該平台局限於單一的加速器路線圖，而是建構了一個能夠根據可用性、成本和組織準備進行調整的系統。 XE7740 支援一系列 PCIe Gen5 加速器，包括 NVIDIA 的 RTX PRO 6000、H100/200、L40S、L4 和 A16 GPU（適用於重視廣泛生態系統相容性的組織），以及 Intel Gaudi 3（適用於尋求更具成本效益且易於獲取的推理路徑的團隊）。 Gaudi 3 加速器現已上市，使組織能夠從規劃階段直接過渡到部署階段，避免通常會影響加速器策略的採購延誤。
隨著推理成為人工智慧的主流工作負載，可用性和成本結構至關重要。大多數企業並非在訓練前沿規模的模型，而是在運行推理流水線、服務中等規模的語言模型、驅動檢索增強型生成工作流程，以及在生產環境中部署電腦視覺。在此背景下，Gaudi 3 定位為市場上最具性價比的現代推理加速器之一，它採用先進的架構，配備高頻寬記憶體和基於乙太網路的橫向擴展能力，且成本遠低於旗艦級訓練 GPU。在 XE7740 中，Gaudi 3 的目標並非取代現有 GPU，而是助力企業實現永續的推理部署。
圍繞加速器的平台同樣經過精心設計。 XE7740 基於英特爾至強 6 處理器，在以推理為中心的系統中，CPU 仍然是關鍵組件。高核心數和更高的記憶體頻寬為調度器、標記化、預處理和編排任務提供了所需的效能餘裕，這些任務直接位於推理的關鍵路徑上。前置 E3.S NVMe 儲存空間進一步支援本機資料暫存和鍵值快取卸載，從而降低加速器負載並提高整體系統效率。這種均衡的設計體現了對推理表現的深刻理解，即推理表現取決於整個系統，而不僅僅是加速器。
XE7740 的設計也充分考慮了其未來的可擴展性。企業可以從適中的配置入手，例如兩到四個加速器，無需佔用全部機箱空間即可立即獲得價值。隨著需求的成長，同一平台可以進行垂直擴展或轉型為分散式推理。八個後置 PCIe Gen5 x16 插槽提供專用頻寬，用於高速網路連接，使 XE7740 能夠作為構建橫向擴展推理集群的基礎模組。可選的 DPU 支援進一步增強了這種靈活性，隨著部署的成熟，DPU 可以卸載網路和通訊任務。
戴爾 PowerEdge XE7740 主要規格
| 規格 | PowerEdge XE7740 |
|---|---|
| PowerEdge XE7740 的特性 | |
| 處理器 | 兩顆英特爾® 至強式® 6 系列處理器，每顆處理器最多可達 86 個核心 |
| 老虎機 | |
| PCIe加速器 | 8 個 PCIe Gen 5 x16 DW-FHFL 插槽，最高可達 600 瓦，或
16 個 PCIe Gen 5 x16 SW-FHFL 插槽，最高 75 瓦 |
| PCIe網路卡 |
|
| 外形尺寸 | |
| 外形尺寸 | 4U機架式服務器 |
| 記憶體應用 | |
| DIMM 速度，最大容量 | 最高速度可達 6400 噸/秒，最大容量 4 TB |
| 記憶體模組插槽 | 32 個 DDR5 DIMM 插槽 僅支援註冊型 ECC DDR5 RDIMM。 |
| 儲存 | |
| 前托架 | 多達 8 個 EDSFF E3.S Gen5 NVMe (SSD)，最大容量 122.88 TB |
| 存儲控制器 | |
| 內部引導 | 啟動最佳化儲存子系統 (BOSS-N1 DC-MHS)：HWRAID 1，2 個 M.2 介面
NVMe 固態硬盤 |
| 電源 | |
| 電源 | 3200瓦鈦金版，200-240伏特交流電或240伏特直流電，支援熱插拔冗餘
適用於 3200 瓦電源供應器的多容量：
適用於 2400 瓦電源供應器的多容量：
注意：系統需要在 CPU 區域和 GPU 區域各安裝一個電源單元 (PSU) 以維持 BMC 和待機電源。如果 GPU 區域未安裝電源單元，系統將保持待機狀態。為確保完全冗餘，請在每個區域安裝 N+N 個電源單元：CPU 區域 1+1 個，GPU 區域 3+3 個。在系統通電狀態下移除 CPU 區域的所有電源單元將導致系統立即關機，並可能導致資料遺失。 |
| 冷卻選項 | |
| 冷卻選項 | 空氣冷卻 |
| 風扇 | 中間托架最多可安裝四組高效能（HPR）鉑金級風扇（雙風扇模組）。
系統前面板最多可安裝十二個高性能（HPR）白金級風扇 全部都是熱插拔風扇 |
| 連接埠數量 | |
| 網絡選項 | 1 個 PCIe Gen 5 OCP 3.0 相容於 I/O（由 x8 PCIe 通道支援） |
| 前端口 | 1 個 USB 2.0 Type-A 介面（選購） 1 個迷你顯示埠（選購） 1 個 USB 2.0 Type-C 雙模介面（主機/iDRAC 直通連接埠） |
| 後端口 | 1 個專用 iDRAC/BMC 直連乙太網路端口 2 個 USB 3.1 Type A 連接埠 1個VGA |
| 內部連接埠 | 1 x USB 3.1 Type-A |
XE7740 設計與製造
雙區架構：CPU 與 GPU 分離
XE7740 最顯著的設計特點之一是其物理上將散熱和供電區域分隔成兩個獨立的區域。上部 1U 機架空間容納了 CPU 區域，包括兩顆 Xeon 6 處理器、全部 32 個 DIMM 記憶體插槽、儲存裝置和 DC-SCM 管理模組。 CPU 區域採用四組高效能雙風扇模組（40×40×56mm），可提供 47.4 CFM 的風量。
下方的3U區域為GPU區域，包含所有加速卡插槽及其獨立的散熱系統，此外還有PCIe基板（PBB）、後置PCIe擴充插槽以及OCP網路卡介面。 GPU區域配備了12個尺寸更大的高效能風扇（60×60×56mm），每個風扇的風量高達122.2 CFM，遠高於CPU風扇。所有風扇均支援熱插拔。這種雙區域散熱設計意味著，在19吋標準機架中，高TDP加速卡（單卡最高可達600W）的散熱需求不會影響CPU和記憶體的散熱，反之亦然。
戴爾在XE7740機殼中對氣流優化格外重視。高密度加速器系統必然需要大量的內部線纜，包括GPU輔助電源線、HPM板和PBB板之間的PCIe訊號線以及風扇板連接線。在XE7740中，這些線纜透過專用的線纜固定支架和線纜蓋組件沿著機殼側壁佈線。每根線纜都根據實際需求精確地客製化長度，系統內部沒有任何多餘的線纜束。透過將線纜避開中央氣流通道，該設計保持了從前到後的暢通氣路徑，並最大限度地降低了CPU和GPU散熱區域的阻抗。
在可容納多達八個 600W 加速器的機殼中，即使氣流路徑上有微小的障礙物，也會造成局部過熱，迫使風扇以更高的轉速運轉，從而增加功耗和噪音。戴爾的線管理方案確保機殼中心區域暢通無阻，使氣流能夠直接、無阻礙地流過最需要散熱的組件。
PCIe交換器拓撲結構和資料流
XE7740 的 PCIe 子系統圍繞著 PBB（PCIe 基板）上的四個 PCIe Gen 5 交換機構建，編號為 SW1 至 SW4。這些交換機構變成了系統 I/O 架構的骨幹，以精心組織的拓撲結構將加速器、網路和儲存連接到兩個 Xeon 6 處理器。
16 個內部 GPU 插槽分為兩組，每組 8 個，每組由一對 PCIe 交換器提供服務，每個交換器的上游連接到一個 CPU。在每組插槽內，相鄰的雙倍寬度 GPU 插槽成對交錯分佈在兩台交換器上。在 CPU0 側，交換器 SW1 服務於 GPU 插槽 21 和 25 以及後置 PCIe 插槽 8 和 9，而交換器 SW2 服務於 GPU 插槽 23 和 27 以及後置 PCIe 插槽 6 和 7。在 CPU1 側，交換器 SW3 服務於 GPU 插槽 29 和 33 以及後置 PCIe 插槽 3 和 4，而交換器 SW4 服務於 GPU 插槽 31 和 35 以及後置 PCIe 插槽 1 和 2。
因此，每個 CPU 域都擁有四個雙倍寬度的加速器插槽、四個後置網路卡/I/O 插槽以及八個前置 E3.S NVMe 儲存託架中的四個。這種交換器拓撲結構對資料流，特別是基於 RDMA 的流量，有顯著的影響。由於每個交換器都同時擁有加速器插槽和後置網卡插槽，因此同一交換器上的加速器和網路適配器可以完全在交換結構內部執行 RDMA 傳輸。資料無需經過 CPU 的根複合體，從而消除了當一個根端口上的 PCIe 設備與另一個根端口上的設備通訊時通常需要的 CPU 緩衝。這降低了延遲，避免了佔用寶貴的 CPU 記憶體頻寬，並將 CPU 週期釋放出來用於其他任務。
單一 CPU 域內兩個交換器之間的通訊透過 CPU 根複合體進行路由，但僅限於此插槽內部。然而，跨 CPU 通訊必須透過兩個 Xeon 6 處理器之間的 UPI 連結進行。 6787P 提供四條 UPI 2.0 鏈路，每條鏈路的速率為 24 GT/s，從而提供相當大的插槽間頻寬。但是，CPU0 交換器組上的加速器與 CPU1 交換器組上的網路卡之間的流量，其延遲必然高於交換器本地或同一插槽內的傳輸。
交換器本身並非直接互連。所有跨交換器流量都透過 CPU 根複合體路由，因此了解 GPU 插槽、網路卡插槽、儲存和 CPU 插槽之間的關聯性至關重要。為了簡化企業用戶的配置，戴爾為常用加速器提供經過驗證且最佳化的配置方案。
雙區電源
XE7740 的供電設計與其散熱架構相呼應，採用了略顯獨特的雙區電源設計。本系統支援最多八個熱插拔電源，分為兩個區域：區域 1（CPU 區）容納 1 號和 2 號電源，區域 2（GPU 區）容納 3 號至 8 號電源。
此系統每個區域至少需要一台電源 (PSU) 來維持 BMC 和備用電源。如果系統運作時任一區域失去交流電源，系統將立即關閉以防止資料遺失。儘管各區域在物理和電氣上相互隔離，但它們的運作是相互依賴的。為了實現完全冗餘，戴爾建議 CPU 區域採用 1+1 配置，GPU 區域採用 3+3 配置，這意味著所有八個電源插槽都應安裝電源，以實現完全冗餘部署。
戴爾 AIOps、管理與企業可靠性
戴爾的PowerEdge平台以其可靠性和易維護性在業界贏得了良好的聲譽。企業客戶始終強調以下幾點：PowerEdge系統經久耐用，戴爾的支援團隊能夠快速解決問題，管理工具成熟且整合度高。 XE7740延續了這一傳統，並且戴爾在這一代產品中，在硬體管理和安全方面都取得了顯著進步。
iDRAC 10
XE7740 搭載了戴爾新一代 iDRAC 10，相比戴爾客戶多年來一直信賴的、功能強大的 iDRAC 9，iDRAC 10 進行了重大升級。 iDRAC 10 並非簡單的韌體更新，而是全新的硬件，它以資料中心安全控制模組 (DC-SCM) 的形式，符合 OCP DC-MHS 標準。控制器採用四個 1 GHz 核心，配備 64 位元架構和 2 GB DDR4 記憶體（是上一代的兩倍），顯著提升了管理作業的效能和回應速度。
在安全性方面，iDRAC 10 引進了多項顯著增強功能。該平台全面提升了加密支持，包括 SHA-384 和 SHA-512 身份驗證以及量子安全的 AES-256 加密，以應對業界為後量子時代加密威脅所做的準備。 iDRAC 10 晶片內部整合了一個專用的安全區域，用於管理網路彈性功能，包括設備級認證和戴爾定制的信任根。這種基於硬體的信任根可確保所有韌體（BIOS、iDRAC 和元件韌體）在執行前都經過加密驗證，從而有效抵禦供應鏈攻擊和韌體篡改。
安全組件驗證 (SECV) 可確保從戴爾工廠交付的系統完全符合客戶指定的組件和配置要求，從而從製造到部署全程保持系統完整性。最新的 iDRAC 10 韌體還提供了一個全新的模組化使用者介面，進一步提升了日常管理體驗。
開放管理企業
為了實現大規模的伺服器叢集管理，戴爾的 OpenManage Enterprise (OME) 可對整個 PowerEdge 部署進行集中式監控、韌體更新和設定管理。最近一項針對 AI 部署的顯著新增功能是，OME 現在支援直接查看 GPU 和加速器統計信息，包括功耗、溫度、利用率、錯誤計數等，而無需使用其他廠商特定的工具。對於在推理叢集中管理數十甚至數百個 XE7740 節點的組織而言，這種統一的管理平台可顯著簡化維運流程。
英特爾至強 6
XE7740 的核心是兩顆英特爾至強 6 6787P 處理器，它是至強 6700P 系列的旗艦產品。 6787P 採用英特爾 3 奈米製程的 Granite Rapids 架構，每個插槽提供 86 個 P 核心（172 個執行緒），TDP 為 350W，基礎頻率為 2.0 GHz，睿頻頻率為 3.8 GHz。
Granite Rapids之所以特別適用於人工智慧基礎設施，在於其高核心數和記憶體子系統的完美結合。每個6787P處理器提供8個DDR5記憶體通道，最高速度可達6400 MT/s。配備雙路XE7740處理器和32個DIMM記憶體插槽，該系統最高可配置4TB的系統記憶體。
記憶體容量和頻寬對於人工智慧工作負載至關重要，尤其是在採用鍵值快取卸載技術時。隨著大型語言模型上下文長度的增加，鍵值快取也會成比例擴展，並可能消耗大量的加速器記憶體。將部分鍵值快取卸載到系統記憶體或高速儲存設備，可以使加速器的 HBM 更有效率地用於主動運算，從而縮短多輪對話的首字回應時間 (TTFT)。
值得一提的是，Xeon 6 的 AMX 張量單元承擔了大量的 CPU 工作，包括預處理、詞法分析以及涉及矩陣運算的混合推理任務。這對於像 SGLang 這樣的推理架構尤其重要，因為 SGLang 會利用 CPU 進行基數樹鍵值快取管理和零開銷調度。
英特爾 Gaudi 3 擴充卡：大規模競爭推理能力
英特爾的 Gaudi 3 是該公司旗艦級 AI 加速器，將於 2024 年第四季發布。英特爾並未選擇與頂級資料中心訓練加速器正面競爭，而是採取了非常積極的市場策略。 Gaudi 3 的目標市場明確鎖定在推理領域。
目前所有流行的LLM（層級模型）中，基於Transformer的模型推理本質上都受限於記憶體。在自迴歸產生的解碼階段，模型逐一產生詞元，並讀取每個產生的詞元的模型權重和鍵值快取條目。瓶頸不在於運算能力，而是記憶體頻寬，也就是加速器將資料從HBM（高階模型）傳輸到計算引擎的速度。
Gaudi 3 配備 128 GB HBM2e 記憶體，記憶體頻寬高達 3.7 TB/s。架構方面，Gaudi 3 採用台積電 5nm 製程製造，並使用雙晶片晶片設計：兩個相同的矽晶片透過高頻寬互連連接，在軟體層面呈現為一個統一的裝置。計算部分由四個深度學習核心 (DCORE) 組成，每個核心包含 2 個 MME、16 個 TPC 和 24 MB 本地 SRAM 快取。片上總共 96 MB 的 SRAM 提供 12.8 TB/s 的內部頻寬。該加速器還整合了 14 個專用媒體解碼器（H.265、H.264、JPEG、VP9），可實現多模態工作負載的快速視覺預處理。
目前發布的許多前沿開源人工智慧模型要么是原生使用 FP8 訓練的，要么是混合了 FP8 (E4M3) 和 BF16 權重的混合模型。 Gaudi 3 透過其 8 個矩陣乘法引擎和 64 個張量處理器核心，為這些模型提供原生 FP8 加速，可提供 1.8 PFlops 的 FP8 運算能力。
Gaudi 3 還整合了基於融合乙太網路的 RDMA (RoCEv2) 網絡，其 OAM 版本內建 24 個 200 GbE 連接埠。雖然 XE7740 中使用的 PCIe 擴展卡版本並未以相同方式暴露所有這些端口，但擴展卡版本支援橋接 4 個卡，從而實現更快的通訊。
性能和基準
XE7740配置詳情：
- 2 個英特爾至強 6787P 處理器（86 核心，2.00 GHz）
- 2TB DDR5（32 x 64GB 5200MT/s DDR5）
- 4 個 Intel Gaudi 3 PCIe AI 加速卡，配備 128GB HBM 記憶體
- Ubuntu 24.04.5服務器
vLLM 線上服務效能
為了評估搭載英特爾 Gaudi 3 加速器的戴爾 XE7740 的推理能力，我們對一系列涵蓋不同架構、參數數量和精度格式的常用模型進行了 vLLM 線上服務性能基準測試。每個模型均在三種工作負載設定檔下進行測試，並發請求數從 1 到 128 不等。
LLM推理包含兩個截然不同的階段。預填階段並行處理所有輸入詞元，之後才能產生任何輸出詞元，因此這是一個計算密集型操作，其複雜度與輸入詞元的數量呈線性關係。解碼階段則逐一產生輸出詞元（自迴歸），每個新詞元都需要從記憶體中讀取完整的模型權重，但每個詞元的計算量相對較小，因此其複雜度受記憶體頻寬限制。
這兩個階段對加速器的不同部分施加了不同的壓力，因此我們測試了三種工作負載方案，以改變它們之間的平衡：
- 相等（1024 個輸入標記/1024 個輸出標記）表示平衡的聊天互動。
- Prefill Heavy（8192 輸入/1024 輸出）模擬檢索增強生成或長上下文摘要，其中系統必須處理大型輸入上下文。
- 解碼重度（1024 輸入/8192 輸出）代表長格式內容生成，其中持續記憶體頻寬決定吞吐量。
本節主要關注兩個指標。總令牌吞吐量（以每秒令牌數衡量）反映了系統在負載下的整體服務能力。首令牌產生時間 (TTFT) 衡量的是提交請求到收到第一個產生令牌之間的延遲。由於模型必須完成整個預填充階段才能發出第一個令牌，因此 TTFT 與加速器的計算吞吐量直接相關。這使得預填充密集型場景（結合 TTFT）成為了解 Gaudi 3 加速器原始運算能力的一個特別有用的指標，因為系統必須處理所有 8,192 個輸入令牌，使用者才能看到任何回應。
相反，解碼密集型場景會考驗加速器的記憶體頻寬，因為系統必須維持高吞吐量以處理數千個產生的令牌。對於用戶需要等待回應才能開始串流的互動式應用而言，TTFT 至關重要。系統在大量批次的情況下可以實現極佳的吞吐量，但如果 TTFT 過高，仍然會感覺運行緩慢，因此這兩個指標對於生產部署都至關重要。
關於 FP8 精確度測試結果的說明：雖然 Intel Gaudi 3 加速器原生支援 FP8 運算加速（理論上 FP8 的吞吐量應該高於 BF16），但我們基準測試中 FP8 的效能資料卻低於 BF16。這並非硬體限制，而是 Intel 版本 vLLM 軟體成熟度不足的問題。我們測試的版本（Gaudi Docker 1.22.2 上的 vLLM 安裝程式 2.7.1）尚未完全最佳化其 FP8 程式碼路徑。 Intel 目前有一個基於插件的 vLLM 新版本，正處於 beta 測試階段，預計將解決許多此類效能問題。
駱駝 3.1 8B 指導
Llama 3.1 8B Instruct 是 Meta 公司的一款密集 Transformer 模型，這表示每個參數都會對產生的每個 token 生效。它擁有 8 億個參數，是開源模型中較常見的類型之一。這種規模的模型常用於日常任務，例如摘要短文檔、撰寫電子郵件和訊息、回答簡單問題，以及為簡單的聊天機器人提供互動支援——在這些場景中，速度和成本效益比深度推理更為重要。
我們在 TP1（單一加速器）和 TP4（全部四個 Gaudi 3 加速器）配置下測試了這個模型。在 TP1 上運行時，模型在相同工作負載下，128 個並發請求時的總吞吐量約為 8,000 tok/s，從單一請求的約 250 tok/s 平滑擴展。預填充密集型場景呈現有趣的模式：TP1 的峰值約為 7,000 tok/s，而 TP4 在 128 個並發請求下則飆升至超過 17,900 tok/s，這得益於額外的加速器能夠更有效率地處理大型輸入上下文。
對於單一使用者延遲，TP1 在低並發情況下實際實現了更低的 TTFT（67 毫秒對比 TP4 的 98 毫秒），這反映了該模型需要跨四個加速器進行協調所帶來的開銷，而該模型原本只需一個加速器即可完成。然而，隨著負載的增加，TP4 的優勢就明顯顯現出來。在 128 個並發請求下，TP4 在相同負載和解碼負載下將 TTFT 控制在 2 秒左右，而 TP1 則分別攀升至 3.7 秒和 6.6 秒。在預填充密集型場景下，這種差距最為顯著：TP1 在 128 個請求下 TTFT 接近 47 秒，而 TP4 則將其控制在 11 秒左右。
駱駝 3.1 70B 指導
Llama 3.1 70B Instruct 是 Meta Llama 3.1 系列中規模更大的密集型模型。它擁有 70 億個參數，相比 8 億版本，在指令執行和多語言處理能力方面都有顯著提升。這種規模的模型非常適合處理更密集的智能體工作負載，例如客戶支援人員、多步驟研究助理、複雜文件分析以及需要在長時間互動中保持上下文連貫性的任務。
我們使用 TP2 和 TP4 配置測試了該模型。兩者的吞吐量差異顯著。在 128 個並發請求的情況下，TP4 在相同工作負載下可提供約 3,600 tok/s 的吞吐量，在預填充密集型場景下峰值接近 4,600 tok/s。這分別是 TP2 吞吐量的約 4.4 倍和 4.6 倍，TP2 的峰值吞吐量分別約為 816 tok/s 和 1,005 tok/s。即使在解碼密集型工作負載下，TP4 的吞吐量也達到了約 1,960 tok/s，而 TP2 僅為 593 tok/s。
對於 TTFT 測試，TP2 在預填充工作負載下負載過高，表現不佳，在 128 個並發請求時耗時高達 496 秒，幾乎無法用於互動式應用程式。 TP4 則將耗時縮短至約 73 秒。對於 equal 和 decode 工作負載，TP4 在 128 個請求下 TTFT 控制在約 10 秒，而 TP2 則分別達到 50 秒和 29 秒。在低並發情況下，TP4 在 equal 工作負載下提供首代令牌回應的時間約為 160 毫秒，而 TP2 則需要 486 毫秒。
Qwen3 程式設計師 30B-A3B 指導
Qwen3 Coder 30B-A3B 是本地推理部署中最受歡迎的編碼模型之一，它採用混合專家 (MoE) 架構。與每個參數都參與每次前向傳播的密集模型不同，MoE 模型會將每個詞元路由到一小部分專門的專家網路。 Qwen3 Coder 在 BF16 精確度下保持 3 億參數的完整模型規模，而每個產生的詞元僅啟動 30 億個參數。這種稀疏激活模式意味著該模型能夠以遠低於大型網路的計算量實現更高的效能，從而在支援路由開銷的硬體上實現極高的效率。對於最終用戶而言，該模型非常適合日常編碼輔助，例如生成樣板程式碼、完成函數、解釋程式碼、編寫單元測試以及處理那些受益於程式碼專用模型而無需進行繁重推理的常規開發任務。
我們測試了三種設定：TP1 BF16、TP1 FP8 和 TP4 BF16。在 128 個並發請求的情況下，TP4 BF16 在預填密集型場景中表現最佳，吞吐量約為 14,300 tok/s，這是我們測試套件中所有模型記錄到的最高吞吐量。 TP1 BF16 在相同場景下緊隨其後，吞吐量約為 6,900 tok/s，而 TP1 FP8 則落後於前者，約為 3,360 tok/s。在相同的工作負載下，差距有所縮小，TP4 為 6,073 tok/s，TP1 BF16 為 5,718 tok/s，TP1 FP8 為 2,101 tok/s。如上文 FP8 部分所述，此處較低的 FP8 數值反映的是英特爾 vLLM 分支的目前狀態，而非硬體瓶頸。
由於活化模式較為稀疏，TTFT 保持較低水準。 TP4 BF16 在單一使用者負載下首令牌延遲約為 140 毫秒，在相同工作負載下，128 個同時請求的延遲約為 2.6 秒。 TP1 BF16 在低併發情況下表現相近（106 毫秒），但在滿載下延遲上升至 3.1 秒。預填密集場景再次清楚地展現了不同配置之間的差異：TP4 在 128 個請求下延遲約為 18 秒，TP1 BF16 為 57 秒，而 TP1 FP8 則長達 72 秒。
Qwen3 235B-A22B 思考
我們基準測試套件中最大的模型 Qwen3 235B-A22B Thinking 是一個龐大的 MoE 推理模型，總共有 235 億個參數，每個 token 有 22 億個有效參數。除了其龐大的規模之外，該模型還內建了鍊式推理能力，使其能夠逐步分解複雜問題，最終得出答案，但代價是需要更多的解碼 token。這使得它特別適合最具挑戰性的任務：高級程式碼生成和調試、數學問題求解、多步驟邏輯推理以及複雜的、智能體工作流程（在這些工作中，準確性比速度更重要）。該模型需要 TP4 精度才能運行，我們分別在 BF16 和 FP8 精度下對其進行了測試。
BF16 在所有測試場景下都明顯優於 FP8。在 128 個並發請求的情況下，BF16 在預填充密集型工作負載下速度約為 2,750 tok/s，在相同工作負載下速度約為 2,500 tok/s，而 FP8 的速度分別約為 1,784 tok/s 和 516 tok/s。此外，在解碼密集型場景下，當並發量較高（32 個以上請求）時，FP8 也出現了逾時現象。
對於 TTFT，BF16 在單一等長請求下的回應時間約為 340 毫秒，在 128 個同時請求時約為 6.9 秒。對於這種規模的模型來說，這樣的反應速度相當不錯。 FP8 的速度則慢了大約一半，初始反應時間為 615 毫秒，滿載時約為 11.2 秒。預填充密集型工作負載是最苛刻的場景，在 128 個請求的情況下，BF16 的回應時間會攀升至 168 秒，而 FP8 的回應時間則會攀升至 80 秒。
這個是誰的？
推理需求並未放緩。無論企業是在內部部署模型以加速開發團隊，或是將人工智慧嵌入面向客戶的產品，亦或是搭建全天候運作的自動化管線，運算需求都在持續成長。而隨之而來的是老生常談的瓶頸：採購。熱門加速器的交付週期可能長達數月，導致那些已經獲得資金和人員配備的項目停滯不前。
搭載英特爾 Gaudi 3 加速器的 XE7740 直接解決了這個難題。 Gaudi 3 加速器現已上市，英特爾還提供經過驗證的部署模板，使團隊能夠在數小時內完成從開箱到部署推理的整個流程。戴爾進一步降低了門檻，提供試用購買計劃，將 XE7740 系統直接部署到您的環境中，讓您在全面部署之前，根據實際工作負載、資料和基礎架構驗證效能。這種即時可用性、快速實現價值和低風險評估的組合，使得 Gaudi 3 配置對那些需要立即獲得推理能力且無法承受等待分配隊列的組織來說極具吸引力。
儘管如此，XE7740 並非單一加速器平台。戴爾致力於晶片多樣性，因此同一平台可搭配多種選項，並相容於市面上所有主流加速器，而最佳選擇完全取決於工作負載。例如，視訊處理管線與 NVIDIA L4 快取完美契合，XE7740 可配備 16 個 L4 GPU 和 8 個 PCIe Gen5 x16 網路卡插槽，打造效能卓越的串流媒體和轉碼系統。對於跨部門運行混合 AI 工作負載的企業而言，XE7740 機箱是標準化的，只需根據具體部署調整加速器配置即可，從而簡化叢集管理，並根據任務需求自訂運算能力。
結語
戴爾 PowerEdge XE7740 伺服器專為滿足企業級推理的實際需求而設計。其雙區散熱設計、結構化 PCIe 拓樸結構、高頻寬記憶體架構以及橫向擴展網路容量，共同打造了一個能夠應付持續生產工作負載的系統。這些並非偶然的設計選擇；它們體現了一種基礎設施模型，在該模型中，推理可以持續運作、可預測地擴展，並能無縫整合到現有資料中心營運中。在本次評估中，Intel Gaudi 3 測試表明，XE7740 伺服器能夠在密集型和 MoE 架構上實現當前的推理性能，並具有可預測的擴展性和強大的記憶體密集型吞吐量。軟體優化將持續改進，但該平台的架構基礎已經非常穩固。
更重要的是，XE7740 為企業級 AI 基礎架構樹立了持久的藍圖。企業可以採用統一的機箱、管理堆疊和部署模型，並隨著時間的推移不斷演進加速器策略。隨著模型規模的擴大、工作負載的多樣化以及推理技術在業務運營中日益深入的融合，對穩定、適應性強的基礎設施的需求只會與日俱增。 PowerEdge XE7740 正是為了滿足這一發展趨勢而打造的。它能夠提供企業級 AI 從快速部署到長期整合所需的架構平衡、營運成熟度和擴展空間。
本報告由 Dell Technologies 贊助。 本報告中表達的所有觀點和意見均基於我們對所考慮產品的公正看法。
Amazon