隨著 AMD 今天推出其新的 EPYC Rome 7002 CPU 系列,多家供應商已宣布支持新技術的服務器,包括 GIGABYTE。 事實上,技嘉已經發布了支持EPYC Rome R系列的全系列機架式服務器。 R 系列是一個資源平衡的通用服務器系列。 該系列提供 1U 和 2U 服務器以及多種存儲介質組合。 對於本次特別評測,我們將關注配備 272 個 U.32 NVMe 托架的 GIGABYTE R24-Z2 服務器。
隨著 AMD 今天推出其新的 EPYC Rome 7002 CPU 系列,多家供應商已宣布支持新技術的服務器,包括 GIGABYTE。 事實上,技嘉已經發布了支持EPYC Rome R系列的全系列機架式服務器。 R 系列是一個資源平衡的通用服務器系列。 該系列提供 1U 和 2U 服務器以及多種存儲介質組合。 對於本次特別評測,我們將關注配備 272 個 U.32 NVMe 托架的 GIGABYTE R24-Z2 服務器。
從硬件方面來看,服務器採用了技嘉的 EPYC Rome MZ32-AR0 服務器主板。 該主板適合單個 AMD EPYC 7002 SoC 以及 16 個用於 DDR4 內存的 DIMM 插槽。 該服務器有 24 個用於 NVMe 存儲的插槽,可熱插拔,後面還有兩個插槽用於 SATA SSD 或 HDD。 為了擴展,主板配備了七個 PCIe 擴展槽和一個夾層連接器,為客戶提供了擴展或添加所需配件的空間。 在配置的服務器中,NVMe 托架佔用了大部分可用的 PCIe 插槽以及用於 PCIe 通道到前背板的夾層插槽。 最終客戶只剩下三個 PCIe 插槽來實現真正的擴展。
與所有技嘉服務器一樣,R272-Z32 使用技嘉服務器管理 (GSM) 作為其遠程管理軟件。 技嘉AMD EPYC Rome服務器還可以利用AMI MegaRAC SP-X平台進行BMC服務器管理。 這種基於瀏覽器的直觀且功能豐富的 GUI 具有多項顯著功能,包括 RESTful API 支持、基於 HTML5 的 iKVM、詳細的 FRU 信息、事前自動視頻錄製和 SAS/RAID 控制器監控。
對於我們的特定構建,我們使用 AMD EPYC 7702P CPU。 對於 RAM,我們使用了 8 個 32GB 3200MHz Micron 品牌的 DDR4 模塊。 對於存儲,我們使用了 12 個 Micron Pro 9300 SSD,即 3.84TB 容量版本。
技嘉R272-Z32服務器主要規格
中央處理器 | AMD EPYC 7002 |
外形尺寸 | 2U |
母板 | EATX MZ32-AR0 |
記憶體應用 | 16 個 DIMM 插槽 |
驅動器托架 | |
前 | 24 x 2.5” 熱插拔 U.2 NVMe SSD |
後 | 2 x 2.5:熱插拔硬盤 |
擴展插槽 | |
7 x 薄型插槽 | (Slot7)PCIe x16 插槽 @Gen4 x16 s/w 帶有 4 x U.4 的 4 x Slim-SAS 2i (Slot6)PCIe x16 插槽 @Gen4 x16 (Slot5)PCIe x16 插槽 @Gen4 x8 (Slot4)PCIe x16 插槽 @Gen4 x16 (Slot3)PCIe x16 插槽 @Gen4 x16 (Slot2)PCIe x8 插槽 @Gen3 x8 (Slot1)PCIe x16 插槽 @Gen3 x16 夾層 @Gen3 x16 (Type 1, P1,P2,P3,P4; Type2 P5 with NCSI support) |
背板 | U.2硬盤背板(CBP20O5+CEPM080x3) |
IO連接器 | 後置 1 x VGA, 1 x COM, 2 x 1G LAN, 1 x MLAN, 3 x USB3.0, 1 x ID Button 內部 1 x COM, 1 x TPM, 1 x USB3.0(2ports), 1 x USB2.0(2ports) |
電源供應器 | 冗餘 1200W 80+ 鉑金 |
系統冷卻 | 4 x 8cm 易插拔反向旋轉風扇 |
尺寸 | 87.5 x 438 x 660毫米 |
技嘉 R272-Z32 設計與建造
從正面開始,我們將逐步深入到服務器的內部和背面,並詳細介紹所有功能。 服務器正面有 24 個 2.5 英寸 U.2 NVMe 托架、兩個 USB 3.0 端口、一個電源按鈕、一個嵌入式重置按鈕和一個 ID 按鈕。 ID 按鈕在數據中心很有用,因為從服務器的正面和背面都有一個 LED 可見。 在一個有幾十台服務器的房間裡,ID 指示燈會亮起,以幫助您識別您正在使用的機器。
在內部,我們在單處理器主板上有 16 個 DDR4 插槽和 7 個 PCIe 插槽。 主板上的所有插槽都是 Gen 4,速度比上一代快一倍。 由於每個 NVMe 托架都需要自己的 PCIe 連接到主板,我們的配置包括五個子板來為 NVMe 托架提供連接。 對於用戶自定義,有三個開放式 PCIe 插槽,均為半高。 在三個開放插槽中,一個是機械和電氣 x8。 另外兩個插槽是機械 x16,一個是 x8 電氣,另一個是 x16 電氣。 使用 PCIe 佈線時,流向卡的氣流可能會受到限制,因此這些更多用於網絡連接,與需要額外冷卻的 GPU 相比,LFM 氣流要求較低。 靠近服務器前部有一排 4 個可現場熱插拔的機箱風扇。
最後是服務器的背面。 就服務器而言,這是非常標準的東西。 共有三個 USB 3.0 端口、兩個 1GbE 端口、一個管理端口、一個 ID 開關、一個串行端口、一個 VGA 端口、兩個 SATA 托架和兩個 1200 瓦電源。 雖然前面有 NVMe 托架和昂貴的高性能存儲,但背面的 SATA 托架為引導驅動器提供高容量低成本存儲。 與前面看到的相匹配的是背面相應的 ID 按鈕。 很高興看到串行端口仍然在下一代平台上為仍然利用它的遺留產品保留。
技嘉R272-Z32管理
如前所述,技嘉 R272-Z32 擁有自己的 GSM 遠程管理軟件,但也可以利用 AMI MegaRAC SP-X 平台進行 BMC 服務器管理。 我們將使用 MegaRAC 來查看 KVM 的兩個組件:管理屏幕及其關聯的登錄頁面以及用於服務器操作系統管理和加載軟件的遠程控制台彈出窗口。
從主管理屏幕,可以在登錄頁面上查看快速統計信息,並在左側看到幾個主要選項卡,包括:儀表板、傳感器、系統庫存、FRU 信息、日誌和報告、設置、遠程控制、圖像重定向、電源控制、和維護。 第一頁是儀表板。 在這裡,您可以輕鬆查看 BMC 的正常運行時間、未決斷言、訪問日誌以及出現的問題數量、傳感器監控、驅動器插槽以及它們在過去 24 小時和 30 天內發生的事件數量。
單擊傳感器,用戶可以快速查看離散傳感器及其當前狀態。 用戶還可以看到正常的傳感器以及它們當前的讀數和行為方式(例如,風扇轉速及其啟動時間)。
“系統清單”選項卡讓管理員可以查看服務器中的各種硬件。 單擊 CPU 會提供有關它是哪一個的詳細信息,在本例中為 AMD EPYC 7702P。 用戶還可以查看 CPU 的緩存信息。
與 CPU 非常相似,DIMM 清單子選項卡提供有關 RAM 的詳細信息,包括最大可能、安裝在哪個插槽上的內存量、是否為 ECC,以及各個 DIMM 的詳細信息。
HDD Inventory 子選項卡與上麵類似,提供有關已安裝驅動器的信息以及向下鑽取更多信息的能力。
下一個主要選項卡是 FRU(現場可更換單元)信息。 顧名思義,此選項卡提供有關 FRU 單元的信息,在這裡我們可以看到有關機箱和主板的信息。
“設置”選項卡相當全面。 它使管理員能夠訪問他們需要的所有設置選項,並能夠更改它們以滿足他們選擇的工作負載。
下一個選項卡是遠程控制。 在這裡,用戶可以選擇啟動 KVM 或啟動 JAVA SOL。 我們啟動了 KVM。
一旦啟動,它就會讓用戶遠程訪問服務器操作系統,在我們的示例中是一個 Linux 加載屏幕。 遠程控制台窗口是數據中心中的一個非常寶貴的工具,您可以在數據中心進行本地控制,而不必拖著監視器、鍵盤和鼠標來進行操作。 在窗口的右上角可以看到 CD 映像功能,它允許您從本地系統安裝 ISO,以便在服務器上遠程訪問以加載軟件。
“電源控制”選項卡提供了一小部分電源操作,包括關機、開機、重啟、硬重置和 ACPI 關機。
維護選項卡允許訪問管理員可能需要處理的多項事情,包括備份配置、固件映像位置、固件信息、固件更新、HPM 固件更新、保留配置、恢復配置、恢復出廠默認設置和系統管理員。
也可以通過維護選項卡下的固件信息訪問 BIOS 信息。
技嘉R272-Z32配置與性能
對於我們的初始測試陣容,我們專注於裸機 Linux 環境中的綜合基準測試。 我們安裝了 Ubuntu 18.04.02 並利用 vdbench 來應用我們的存儲驅動基準測試。 將 12 個 Micron 9300 Pro 3.84TB SSD 加載到服務器後,我們的重點是使 CPU 與存儲 I/O 飽和。 隨著其他操作系統支持完全支持 AMD EYPC Rome,主要是 VMware vSphere(等待 6.7 U3 成為 GA),我們將添加到該服務器平台上的測試。
VDBench 工作負載分析
在對存儲陣列進行基準測試時,應用程序測試是最好的,綜合測試排在第二位。 雖然不能完美代表實際工作負載,但綜合測試確實有助於為具有可重複性因素的存儲設備建立基線,從而可以輕鬆地在競爭解決方案之間進行同類比較。 這些工作負載提供了一系列不同的測試配置文件,包括“四個角”測試、常見的數據庫傳輸大小測試,以及來自不同 VDI 環境的跟踪捕獲。 所有這些測試都利用通用的 vdBench 工作負載生成器,以及一個腳本引擎來自動化和捕獲大型計算測試集群的結果。 這使我們能夠在各種存儲設備上重複相同的工作負載,包括閃存陣列和單個存儲設備。
簡介:
- 4K 隨機讀取:100% 讀取,128 個線程,0-120% 重複率
- 4K 隨機寫入:100% 寫入,64 線程,0-120% iorate
- 64K 順序讀取:100% 讀取,16 個線程,0-120% 迭代
- 64K 順序寫入:100% 寫入,8 個線程,0-120% 迭代
- 綜合數據庫:SQL 和 Oracle
- VDI 完整克隆和鏈接克隆跟踪
對於隨機 4K 讀取,技嘉 R272-Z32 的啟動時間剛好超過 100µs,峰值為 6,939,004 IOPS,延遲為 189.6µs。
對於隨機 4K 寫入,服務器 158,161 IOPS,延遲僅為 28µs。 服務器保持在 100µs 以下,直到大約 1.27 萬 IOPS,並在 1,363,259µs 的延遲下達到 699.8 IOPS 的峰值。
切換到順序工作負載,我們看到服務器峰值為 645,240 IOPS 或 40.3GB/s,592.9K 讀取延遲為 64µs。
在 64K 寫入中,服務器在 110µs 的延遲下達到約 6.8K IOPS 或約 246.1GB/s 的峰值,然後顯著下降。
我們的下一組測試是我們的 SQL 工作負載:SQL、SQL 90-10 和 SQL 80-20。 對於 SQL,服務器峰值為 2,489,862 IOPS,延遲為 151.2µs。
對於 SQL 90-10,服務器的峰值性能為 2,123,201 IOPS,延遲為 177.2µs。
我們上次的 SQL 測試 80-20 看到服務器達到了 1,849,018 IOPS 的峰值性能,延遲為 202.1µs。
接下來是我們的 Oracle 工作負載:Oracle、Oracle 90-10 和 Oracle 80-20。 使用 Oracle 時,GIGABYTE 服務器的峰值為 1,652,105 IOPS,延遲為 227.5µs。
使用 Oracle 90-10,服務器的峰值為 1,727,168 IOPS,延遲僅為 150.1µs。
對於 Oracle 80-20,服務器以 1,551,361µs 的延遲達到了 166.8 IOPS 的峰值。
接下來,我們切換到我們的 VDI 克隆測試,完整和鏈接。 對於 VDI 完整克隆 (FC) 啟動,由 EPYC Rome 提供支持的服務器在 1,680,812 微秒的延遲下具有 220.4 IOPS 的峰值性能。
使用 VDI FC 初始登錄時,服務器以 39,309 IOPS 啟動,延遲為 79.8µs。 服務器保持在 100µs 以下,直到大約 200K IOPS,並以 393,139µs 的延遲達到 627.3 IOPS 的峰值。
對於 VDI FC Monday Login,服務器峰值為 351,133 IOPS,延遲為 326.6µs。
對於 VDI LC Boot,服務器峰值為 777,722 IOPS,延遲為 197.6µs。
使用 VDI LC 初始登錄時,技嘉服務器在 211,720µs 延遲時達到 341.9 IOPS 的峰值。
最後,使用 VDI LC Monday Login,EPYC Rome 服務器的峰值性能為 216,084 IOPS,延遲為 521.9µs。
結論
新的 AMD EPYC 7002 CPU 已經推出,第一台配備新處理器的服務器(無論如何在我們的實驗室)是 GIGABYTE R272-Z32。 這款 2U 通用服務器使用 MZ32-AR0 主板,使其與單個新的 EPYC Rome 處理器兼容。 該服務器有 16 個 DIMM 插槽,總共可能有 1TB 的 DDR4 3200MHz RAM。 R272-Z32 前面有 24 個熱插拔托架,用於所有 NVMe 存儲,後面有兩個托架用於 SATA SSD 或 HDD。 如果客戶需要添加PCIe設備(包括現在的Gen4設備),後面有七個插槽,雖然只有三個是開放的。 服務器還支持用於 BMC 服務器管理的 AMI MegaRAC SP-X。
為了進行測試,我們使用了 AMD EPYC 7702P CPU、256GB 的 3,200MHz Micron DDR4 RAM 和 12 個 3.84TB Micron Pro 9300 SSD。 有了上面這個小服務器真的帶來了風頭。 僅使用我們的 VDBench 工作負載,我們看到服務器在 7K 讀取中達到 4 萬 IOPS,在 1.4K 寫入中達到 4 萬 IOPS,在 40.3K 順序讀取中達到驚人的 64GB/s,在 6.8K 順序寫入中達到驚人的 64GB/s。 進入我們的 SQL 工作負載,服務器繼續以 2.5 萬 IOPS、SQL 2.1-90 中的 10 萬 IOPS 和 SQL 1.85-80 中的 20 萬 IOPS 給人留下深刻印象。 在 Oracle 中,服務器達到 1.65 萬 IOPS,1.73-90 達到 10 萬 IOPS,1.55-80 達到 20 萬 IOPS。 即使在我們的 VDI 克隆測試中,服務器也能夠以 1.68 萬次在 VDI FC 啟動中突破 100 萬次 IOPS。 雖然延遲大部分超過 1µs,但在順序 64K 寫入測試中僅超過 XNUMXms。
對於通用服務器,AMD EPYC Rome 將 GIGABYTE R272-Z32 變成了野獸。 雖然我們在服務器中擁有良好的設備,但我們甚至沒有接近最大限度地發揮其潛力。 隨著支持 Rome 的操作系統列表不斷增加,我們將能夠看到新 CPU 在處理大量工作負載時的表現如何。 這些帶有支持它們的服務器的新處理器可能會讓我們進入數據中心的新性能水平,這是我們尚未看到的,尤其是當您開始考慮 PCIe Gen4 未開發的潛力時