繼 Pi 紀錄之後：使用 Backblaze B2 服務 130 TB 資料集

今年早些時候，我們計算出了圓周率π的314兆位，創造了一項新紀錄。這項計算在一台戴爾PowerEdge R7725伺服器上運行了數月，將現代CPU和儲存基礎設施的效能發揮到了極致，同時也展現了企業級硬體的巨大進步。然而，當計算最終完成時，我們發現，這項紀錄本身只是故事的一部分。計算產生了一個龐大的資料集，包含628個文件，每個文件約206GB，總計超過130TB。這些文件代表了計算的完整結果，通常也是此類專案中最精彩的部分。數學家、開發人員和資料科學家經常希望進一步探索這類資料集，無論是為了驗證部分計算結果、嘗試新的分析方法，或是處理異常龐大的數值資料集。

這就產生了一個遠超計算圓周率本身的實際問題。現代計算工作負載越來越多地產生海量輸出資料集，這些資料集必須在計算任務完成後很長時間內保持可存取性。科學模擬、基因組分析和大規模人工智慧訓練運行都會產生數十甚至數百TB的數據。雖然實驗室環境可能非常適合產生這些數據，但它很少是為全球用戶長期託管這些數據的最佳地點。

對於我們的Pi專案而言，將超過130TB的資料集永久儲存在StorageReview實驗室並非最佳方案。研究人員已經開始申請存取權限，而要讓資料集廣泛可用，就需要能夠可靠儲存並有效率地分發資料集的基礎設施。

正是在這種情況下，Backblaze 伸出了援手。該公司將整個 Pi 資料集託管在 Backblaze B2 雲端儲存中，使研究人員和愛好者能夠存取這些結果。為如此龐大的資料集提供持久儲存和全球存取是一項意義重大的承諾，我們感謝 Backblaze 的幫助，確保這項創紀錄的運算結果能夠繼續為更廣泛的社群所用。

此次合作也反映了我們在現代基礎設施領域日益看到的一個趨勢：將本地運算與雲端儲存和分發相結合的混合工作流程所帶來的實際優勢。 π 的運算本身完全在我們實驗室的單一系統上運行，但運算完成後，雲端自然而然地成為了託管和共享結果的最佳場所。

不過在此之前，數據必須先從我們的實驗室傳輸到 Backblaze。傳輸超過 130 TB 的結果絕非易事，但憑藉良好的網路頻寬，傳輸在不到兩週的時間內完成，並且在整個過程中大部分時間都保持了穩定的 2 Gbps 吞吐量。大型資料集仍然具有一定的複雜性，當一次性傳輸數百 GB 的資料時，頻寬很快就會成為瓶頸。

現在，資料集已安全地儲存在 Backblaze B2 中，這 314 兆位元數字的計算結果不再局限於我們的實驗室。研究人員可以下載這些文件，進行實驗，驗證計算結果，或將這些數字用於自己的專案。隨著 2026 年圓周率日的臨近，現在正是發布該資料集的最佳時機。

Backblaze B2：面向大規模資料的企業級雲端存儲

要讓 Pi 資料集廣泛可用，需要能夠可靠地儲存和分發海量資料的基礎設施。 Backblaze B2 雲端儲存是企業級物件儲存平台，專為此類工作負載而設計。物件儲存允許將海量檔案儲存在可擴展的物件儲存桶中，而不是強制它們進入傳統的檔案層級結構，因此非常適合大型資料集、備份和現代資料管道。 B2 還支援與 S3 相容的 API，使組織能夠使用熟悉的工具和工作流程與該服務交互，而無需重新設計現有應用程式或資料流程。

Backblaze 的平台專注於提供持久存儲，同時兼顧經濟性和易用性。其架構旨在實現 11 個 9 的資料持久性，並將資料分佈在多個儲存 pod 中，從而確保大規模的長期可靠性。該公司還以其透明度著稱，定期發布詳細的硬碟可靠性報告，並保持可預測的定價，這深受眾多基礎設施團隊的青睞。在我們的案例中，B2 為託管實驗室產生的大型資料集提供了一個切實可行的解決方案，確保任何有興趣探索資料的人都能存取這些結果，同時也展示了雲端儲存如何擴展本地運算環境的覆蓋範圍。除了標準的 Backblaze B2 雲端儲存之外，B2 Overdrive 還支援高達 1 Tbps 的吞吐量。

在 Backblaze B2 中託管資料集

314兆位數的π計算完成後，資料已從R7725伺服器卸載到NAS儲存設備。如何將資料集公開存取的問題需要仔細考慮。直接從實驗室提供130TB的數據並不現實。我們的廣域網路連線最大上傳下載速度均為2Gbps，且供實驗室所有使用者分享。持續的、任何有意義的公開下載都會對日常工作造成乾擾，而且僅頻寬限制就會導致大量並發下載速度緩慢且不穩定，任何試圖存取資料的用戶都會遇到這個問題。

最初的想法是透過 BitTorrent 分發資料集。雖然技術上可行，但對大多數使用者來說，這種方式並不方便。透過 BT 下載 130 TB 的資料集需要客戶端，需要對 BT 下載的工作原理有一定的了解，並且需要耐心等待，因為整個過程不像直接下載那樣簡單直接。對於一個旨在廣泛供研究人員和廣大用戶使用的資料集來說，避免這些不便之處是值得的。

Backblaze B2 完美地解決了這兩個問題。資料集完全託管在雲端基礎架構中，因此公開下載無需依賴實驗室廣域網，也不會對實驗室運行帶來任何負載。與 B2 的連線直接透過 HTTPS 由 Backblaze 基礎架構提供，這意味著下載安全可靠、穩定一致，並且不受任何第三方種子伺服器可用性的限制。完整的資料集現在儲存在 pi-314-trillion 儲存桶中，包含 628 個對象，總大小約為 132 TB，組織在單一資料路徑下，任何人都可以訪問，且不會對實驗室造成任何影響。

從實驗室 NAS 傳輸資料是透過簡單的 Rclone 配置完成的，資料傳輸經由我們的 UDM Pro Max（作為實驗室網關）路由，上傳速率在整個過程中保持在 2 Gbps 以上。按照這個吞吐量，傳輸 130 TB 的資料大約需要 10 天的連續傳輸時間。下圖分別從每分鐘和累積兩個角度展示了傳輸情況。

傳輸期間的廣域網路利用率

實驗室的 UniFi 網路控制面板證實了傳輸視窗期間的上傳特性。廣域網路介面顯示 Backblaze 是流量最大的應用，上傳吞吐量為 2.27 Gbps，該期間的每月廣域網路資料使用量記錄為 90.9 TB。傳輸過程中連線始終保持穩定，未發生明顯的丟包事件。

每分鐘傳輸吞吐量

下圖顯示了上傳過程中一個典型視窗內每分鐘的傳輸吞吐量。長條圖顯示，吞吐量穩定在每分鐘 15 至 16 GB 之間，這與持續約 2 Gbps 的線路速率相符。圖中短暫的間隙對應於傳輸過程中週期性運行的校驗和驗證暫停，用於在繼續傳輸前確認資料完整性。

累計轉學進度

累計位元組數圖表追蹤了2月4日至2月10日期間傳輸的總資料量，顯示在此期間資料量從0持續線性成長至約100 TB。整個期間的穩定成長反映了傳輸的穩定性，沒有重大中斷或速率下降。

最終桶佈局

Backblaze 創建了名為 pi-314-trillion 的儲存桶，其中包含全部 628 個文件，確認大小為 132,210.5 GB。此儲存桶配置為私有，保留所有檔案版本，可透過 s3.us-west-004.backblazeb2.com 上的 S3 相容端點存取。物件儲存使得管理如此大規模的資料集變得非常簡單。每個文件都可以單獨尋址，可以透過程式設計方式檢索完整的文件列表，並且無需考慮文件系統層次結構或磁碟區限制。

存取資料集

研究人員一直要求我們提供這些數據；事實上，我們已經有一個專案正在進行中。麥可·克萊伯是Google的首席軟體工程師，但他從1999年剛獲得數學博士學位時就開始研究圓周率的數字。數學家們認為圓周率是一個正態數，因此可以合理地提出這樣的問題：「在10^d個d位數的序列中，哪個序列最難出現在圓周率中，它需要多少位數字？」克萊伯將搜尋範圍擴展到了d=7，當法布里斯·貝拉爾在2009年計算出圓周率的2.7.7，當法布里斯·貝拉爾在2009年計算出克萊伯率的2.71000億位。 「有了314兆個隨機數字，大約有79%的機率會看到所有長度為13的字串，」克萊伯說，「所以我希望我們能走運！」既然 Backblaze 已經將數據向所有人開放，我們預計這種情況會更加普遍。

PI 資料集託管在 Backblaze B2 上，任何有興趣使用這些資料的人都可以下載。使用者可透過請求連結存取此資料集，並可取得憑證或下載說明，以便從儲存桶中擷取檔案。 Backblaze 將託管此資料集，以確保在此期間資料始終可用於研究和驗證。

下載選項

使用者可以根據需要從資料集中檢索單一文件，也可以檢索完整的 130 TB 資料集。儲存桶的結構允許直接存取和下載單個對象，而無需拉取整個資料集。如果想要檢索所有內容，可以使用下文所述的工具對儲存桶進行完全同步。建議使用此選項時預留 135 TB 的可用空間。

推薦工具

• Rclone 是存取該資料集的建議工具。它與 Backblaze B2 無縫集成，並允許用戶根據自身可用頻寬需求調整下載過程。
• S3 相容 API因此，任何具備 S3 功能的下載工具都可以用來檢索資料。唯一的要求是，該工具必須允許覆寫預設的 S3 端點 URL，使其指向 B2 端點而不是 AWS 端點。

混合基礎設施的實際案例

我們計算 314 兆位數的圓周率，清楚地展現了混合基礎設施在實踐中的應用。該計算完全在 StorageReview 實驗室的一台戴爾 PowerEdge R7725 伺服器上完成，但由於運行完成後該系統需要重新分配給其他項目和任務，因此將 130 TB 的結果永久保存在實驗室中始終是不可持續的。

無論是出於嚴謹的科學研究，還是僅僅出於對數據的好奇，我們都渴望將數據提供給需要的人。然而，在實驗室內部託管如此龐大的資料集很快就會成為營運的負擔。頻寬被消耗殆盡，基礎設施被佔用，實驗室的日常工作也與每個下載請求爭奪資源。

Backblaze B2 等解決方案消除了所有這些摩擦。資料儲存在專為此規模的資料集所建置的雲端基礎架構中，其吞吐量可隨需求擴展，多重冗餘確保資料不會遺失，並具備企業級儲存平台所特有的安全性和運維專業知識。計算資源部署在本地是因為任務需求。而儲存則部署在雲端，因為對於後續的所有工作而言，雲端無疑是更佳的選擇。