Pi表示圓的周長與其直徑的比值，它有無數個從不重複或結束的小數位。 計算無窮大的 Pi 不僅僅是數學家的一項激動人心的任務； 這也是一種讓計算能力和存儲容量通過最終耐力測試的方法。 到目前為止，谷歌的 Cloud 保持著 100 萬億位最大圓周率求解的世界紀錄。 截至今天，StorageReview 已經匹配了他們的數量，而且只用了一小部分時間。
天空中的圓周率，雲層之上
去年，谷歌云開發者倡導者 Emma Haruka Iwao 宣布，她和她的團隊已經將 Pi 計算到了 100 萬億位，打破了她自 31.4 年以來的 2019 萬億位的記錄。他們使用了一個名為 y-cruncher 的程序，該程序運行在谷歌云的計算引擎上，大約需要 158 天才能完成並處理大約 82 PB 的數據。 最後，該運行還會產生大量的雲計算和存儲發票，再加上組織將特定工作負載帶回本地的勢頭越來越大，這給了我們一個有趣的想法……
我們對 Emma 和 Google Cloud 的成就印象深刻，但我們也想知道能否以更快的速度、更低的成本實現相同的目標。在 StorageReview.com，我們擁有業內一些最新、最頂尖的硬件，包括AMD EPYC 第四代處理器、Solidigm P5316 固態硬碟以及數量驚人的鋰電池。我們巧妙地利用這些資源，打造了一台高效能伺服器，配備了近 600TB 的 QLC 快閃記憶體和獨特的高可用性電源解決方案。
以下是我們計算系統的規格：
- 2 x AMD EPYC 9654（96 核，2.4 GHz，3.7 GHz 加速）
- 24 個 64GB DDR5-4800 DIMM，總容量 1.5TB
- 19件¯x Solidigm 30.72TB QLC P5316 固態硬盤
- Windows Server 2022 標準版 21H2
- 程序： y 粉碎機 通過 Alexander Yee
雖然硬件總量可能看起來很極端，但直接購買我們的硬件的成本仍然只是在雲中運行相同工作負載六個月的一小部分。
數據中心：由 Madmen 設計
當我們為這個測試設計我們的裝備時出現的第一個問題是，“我們如何提供一個足夠大的連續體積來存儲一個包含 100 萬億位 Pi 的文本文件？”（這絕對是一個直接的引用我們完全說過的話）。 數學很簡單，1 個 Pi 數字 = 1 個字節，有 100 萬億個十進制數字意味著我們需要 100TB 的空間，另外需要 83TB 的空間來計算 83 萬億個十六進制數。 值得慶幸的是，這是 StorageReview，如果我們知道如何做一件事，那就是在壓力過大的情況下存儲大量數據。
不幸的是，就連 Kevin 的看門人大小的閃存驅動器鑰匙圈上也沒有 183TB 的閃存驅動器（目前）。 因此，在實驗室中查看和測試各種方法並探索映射 NAS 或文件共享的多種方法後，我們通過測試注意到 y-cruncher 喜歡對其正在使用的磁盤進行直接 IO 控制； 不僅是交換磁盤，還有文件輸出目錄。 為 y-cruncher 提供一個可以向其發送 SCSI 命令的捲是我們唯一的選擇，因為它會產生最佳性能。
因此，接下來唯一合乎邏輯的做法是使用 iSCSI 目標連接到Supermicro 儲存伺服器來儲存輸出文件，這些文件太大，無法儲存在本機運算主機上的任何單一磁碟區中。該平台在高容量儲存方面更為傳統，它「僅」承載了 200TB 的儲存空間，分佈在四個 50TB 的 LUN 上，我們將其條帶化部署在我們的運算平台上。
雖然 RAID 0 可能會引起一些人的注意，但在我們的辯護中，文件服務器存儲是從鏡像的 Windows 存儲空間池中分割出來的，因此遠程主機上可以使用冗餘。 然後它通過雙端口 10G 接口進行多路徑連接，直接連接並在兩台服務器之間硬連線。 從這個等式中刪除一個開關是有目的的，因為這個 Pi 平台被設計為完全獨立運行，以防主實驗室離線。
雖然在StorageReview實驗室，電源保護並非總是首要考慮因素，但如此大規模的專案（歷時數月）需要採取極端措施來確保正常運作時間。我們使用了三台EcoFlow Delta Pro手提電源，每台都具備3600W的輸出功率和3600Wh的電池容量。
AMD Genoa 伺服器使用了兩台電源，其中一台 Delta Pro 電源之間串聯了一台Eaton 5PX不間斷電源，以緩解 EcoFlow 在斷電期間的切換延遲。檔案伺服器則專用於一台 Delta Pro 電源，並配備一台Eaton 5PX G2電源以減少傳輸延遲。
簡而言之，我們打造了一款功能強大的 UPS，將高容量便攜式電站的優勢與現代數據中心級備用電池設備的可靠性相結合。 在峰值計算負載下，我們的電池運行時間為 4-8 小時。 在整個 100T Pi 運行過程中，我們遇到了無數風暴，但我們可以輕鬆入睡，因為我們知道 Pi 運行會保持運行。
肉、土豆和 Pi。 很多很多Pi…
我們在美國東部時間 9 年 17 月 40 日星期四 47:2023:10 開始計算，並在美國東部時間 05 年 27 月 37 日星期一 2023:54:17 結束。 經過的 Pi 計算時間為 35 天 48.96 小時 59 分 10 秒，包括編寫和驗證在內的總時間為 46 天 49.55 小時 XNUMX 分 XNUMX 秒。
可用總儲存空間為 530.1TB，不包括用於寫入的 200TB iSCSI 目標。以下是 y-cruncher 驗證檔案中的一些計數器亮點，該檔案可供下載和驗證。
數字
開始日期：9 年 17 月 40 日星期四 47:2023:XNUMX
工作模式：
- 常量：Pi
- 算法：Chudnovsky (1988)
- 小數位數：100,000,000,000,000
- 十六進制數：83,048,202,372,185
- 工作內存：1,512,978,804,672 (1.38 TiB)
- 總內存：1,514,478,305,280 (1.38 TiB)
邏輯磁盤計數器：
- 邏輯最大檢查點：150,215,548,774,568 (137 TiB)
- 邏輯峰值磁盤使用：514,540,112,731,728 ( 468 TiB)
- 邏輯磁盤總字節讀取：40,187,439,132,182,512 (35.7 PiB)
- 寫入的邏輯磁盤總字節數：35,439,733,386,707,040 (31.5 PiB)
數字不說謊：
- 總計算時間：4728948.966 秒
- 從開始到結束的牆時間：5136409.559 秒
- 最後的小數位：
- 4658718895 1242883556 4671544483 9873493812 1206904813：99,999,999,999,950
- 2656719174 5255431487 2142102057 7077336434 3095295560：100,000,000,000,000
結束日期：10 年 05 月 27 日星期一 37:2023:XNUMX
100萬億前的十位數是3095295560。
我們用大約三分之一的時間將 Pi 計算到 100 萬億位，部分原因是與 Google 的方法相比所有本地交換存儲空間。 這顯示了本地連接的 Solidigm P5316 QLC SSD 以及 AMD EPYC 第四代處理器令人難以置信的性能、密度和效率。
本地存儲是這種速度運行不可或缺的一部分。 雖然谷歌的運行可以利用近乎無限量的存儲，但它僅限於 100Gb 的網絡接口。 說 100Gb 很慢很奇怪，但在我們的測試規模下，它成為一個巨大的瓶頸。 在交換寫入突發期間，我們測量到 Solidigm P5316 QLC SSD 的累計傳輸速度超過 38GB/s。
讀取速度甚至更高。 在網絡方面，您需要多個 400Gb 鏈路（冗餘）來傳輸該數量的數據。 雖然並非不可能，但許多雲環境並不是為該級別的帶寬而構建的。 Oracle 的裸機密集 I/O 實例可能最接近這種原始速度規模，但僅限於 54.4 個 NVMe SSD 和 XNUMXTB 的總容量。
用於性能、耐用性和密度的 Solidigm QLC 閃存
為了便於進行如此重要的計算，我們需要盡可能快地找到空間，而且需要大量空間。 交換模式是 y-cruncher 中的一項功能，它允許使用磁盤執行計算，這是執行主內存無法容納的大型計算所必需的。 並行使用多個驅動器對於獲得更好的性能是必要的，並且為了進一步提高性能，可以使用固態驅動器 (SSD)。 但是，過去不推薦使用，因為對其寫磨損的理論分析並不令人鼓舞。
使用 y-cruncher 的交換模式而不是依賴操作系統頁面文件是必不可少的，因為 y-cruncher 中的內存訪問模式不是直接對磁盤友好的。 值得慶幸的是，y-cruncher 的交換模式旨在通過最小化磁盤尋道和使用順序磁盤訪問來克服此限制。 y-crunchers 交換模式用於具有 0 個驅動器的 RAID 19 配置，這使應用程序可以直接 IO 訪問 NVMe 磁盤以獲得最佳性能。
我們在測試中使用的 Solidigm P5316 SSD 採用 PCIe Gen4 接口，配備 144 層 QLC NAND 閃存。 它們提供卓越的性能，具有高達 7 GB/s 的順序讀取速度和高達 3.6 GB/s 的順序寫入速度。
QLC 固態硬盤因其在不影響存儲容量和高效性能的情況下降低開支的能力而受到認可。 這使得 QLC SSD 技術有利於許多業務情況。 例如，VAST Data 將這些驅動器整合到他們的產品中，以消除硬盤驅動器的必要性。 同時，Pliops 採用帶 QLC 驅動器的加速卡，以實現快速且經濟高效的解決方案。
自 2021 年底以來，我們的實驗室就已經有了這些驅動器，並對其進行了多次測試，但這是迄今為止最密集和最廣泛的測試之一。 在我們使用的 19 個驅動器中，所有驅動器在計算開始時都處於 99-100% 的運行狀況。
在此計算運行的 54.5 天中，我們總共向驅動器寫入了 33,127,095 GB，或每個驅動器約 1,742,500 GB。 將其轉換為我們運行期間的每日超量，即每個驅動器每天超過 29TB。
推斷模擬的長期工作負載大約是每個驅動器每年寫入 10.69PB 的數據。 Solidigm 列出了 P5316 的耐用性，隨機工作負載為 22.9PBW，順序工作負載為 104.6PBW。 由於 Pi 工作負載在其持續時間內保持爆發狀態，而不會對閃存造成很大壓力，因此它的行為非常連續，將工作負載推向了 Solidigm 耐久性範圍的高端。
這意味著您可以讓它們承受類似的工作量近十年，然後才會耗盡生命。 至少可以說令人印象深刻，考慮到這是 QLC NAND，並且驅動器保修期為五年。 任何擔心磨損這些驅動器的人都可以使用此用例作為 QLC 已為企業準備就緒的另一個驗證點。
在 59.5 天的運行結束時，服務器中所有驅動器的健康狀況報告為 97-98%。 我們幾乎沒有對這些驅動器的耐用性產生影響。
史詩級 AMD EPYC CPU
AMD EPYC（霄龍）第四代處理器基於 Zen 4 微架構和 4nm 工藝，是業界首款 5nm x5 數據中心處理器。 它們支持多達 86 個通道的 DDR12 內存、AVX-5 VNNI 和 BFloat512 指令，以增強 AI 和 ML 應用程序的性能。 它們的每核性能比英特爾的 Ice Lake 處理器高出 16%，是 AMD 上一代 EPYC Milan 處理器的兩倍。
調整是這次運行的重要組成部分，因為我們已經通過更小的、以前保存的 Pi 計算記錄（例如 1 億和 10 億）進行了廣泛的測試和迭代。 通過對 BIOS 進行一些調整併使用 10 億次運行時間作為指標，我們能夠為該工作負載實現顯著的性能改進。 與利用雲資源相比，這給了我們顯著的優勢，因為我們可以對平台進行精細控制以針對我們的應用程序對其進行優化，而現成的雲實例無法提供這種選擇。
我們首先在 BIOS 中禁用 SMT，然後在較小的測試運行時間上取得了幾個百分點的改進。 我們探索的下一個選項是 C 狀態。 我們注意到，在運行 y-cruncher 時，CPU 往往會頻繁地跳入和跳出低功耗 c 狀態，因為它會逐步執行不同的進程。
BIOS 設置的調整，包括禁用 SMT 和控制 C 狀態，結合對操作系統的一些性能調整，是提高此工作負載性能的關鍵因素。 非常感謝 y-Cruncher 的 Alexander Yee 和一位來自超頻領域的朋友 Forks，感謝他們幫助指出 Windows 和 y-Cruncher 中的一些調整和設置，以幫助完成這次運行。
π; 100T 極速跑，100%。 怎麼辦？
好吧，伙計們，當我們結束這個 Pi-lgrimage 時，讓我們花點時間沉浸在僅 100 天計算 Pi 的 54 萬億位數字的榮耀中！ 多虧了 y-cruncher 程序、AMD EPYC（霄龍）第四代處理器的強大力量，以及快如閃電的 Solidigm P4 QLC SSD，我們見證了一項讓您的計算器臉紅的成就。
突破原始計算機能力和海量數據存儲的界限，我們值得信賴的本地連接 QLC 閃存單元團隊真正閃耀了光芒。 Solidigm P5316 SSD 具有出色的耐用性和性能，就像商業世界的超級英雄夥伴。 我們不要忘記我們的便攜式發電站和強大的備用電池設備，確保我們的 Pi-rade 保持運轉——即使大自然母親試圖為我們完美烘烤的慶祝活動下雨。
因此，當我們告別這場破紀錄的 Pi 盛會時，讓我們為未來數學和計算機科學世界的無限可能性乾杯。 乾杯!
Amazon