Efter Pi-posten: Betjäna en 130 TB-datauppsättning med Backblaze B2

Tidigare i år satte vi ett nytt rekord genom att beräkna 314 biljoner siffror i Pi . Beräkningen kördes i månader på en enda Dell PowerEdge R7725, vilket pressade modern CPU- och lagringsinfrastruktur till gränsen samtidigt som den visade hur långt företagshårdvara har kommit. När körningen äntligen var klar visade sig dock själva rekordet bara vara en del av historien. Beräkningen producerade en massiv datamängd bestående av 628 filer, vardera ungefär 206 GB, totalt över 130 TB. Dessa filer representerar hela artefakten i beräkningen och är ofta den mest intressanta delen av ett projekt som detta. Matematiker, utvecklare och datavetare vill ofta utforska datamängder som denna ytterligare, oavsett om det är för att validera delar av beräkningen, experimentera med nya analysmetoder eller arbeta med ovanligt stora numeriska datamängder.

Det skapar ett praktiskt problem som sträcker sig långt bortom att beräkna Pi. Moderna beräkningsarbetsbelastningar genererar i allt högre grad enorma utdatamängder som måste förbli tillgängliga långt efter att beräkningsjobbet är slutfört. Vetenskapliga simuleringar, genomisk analys och storskaliga AI-träningskörningar producerar alla resultat som kan sträcka sig över tiotals eller hundratals terabyte. Även om en laboratoriemiljö kan vara perfekt lämpad för att generera den informationen, är det sällan den bästa platsen att vara värd för den på obestämd tid för en global publik.

För vårt Pi-projekt var det inte rätt lösning att ha mer än 130 TB resultat permanent monterade i StorageReview-labbet. Forskare hade redan börjat begära åtkomst, och för att göra datamängden allmänt tillgänglig krävdes en infrastruktur som kunde lagra och distribuera den på ett tillförlitligt sätt.

Det var där Backblaze kom in i bilden. Företaget lagrar hela Pi-datasetet i Backblaze B2 Cloud Storage, vilket gör resultaten tillgängliga för forskare och entusiaster som vill arbeta med dem. Att tillhandahålla hållbar lagring och global åtkomst för en dataset av denna storlek är ett meningsfullt åtagande, och vi uppskattar Backblazes hjälp med att säkerställa att resultaten av denna rekordbrytande beräkning förblir tillgängliga för den bredare gemenskapen.

Samarbetet illustrerar också en trend vi alltmer ser inom modern infrastruktur: de praktiska fördelarna med hybridarbetsflöden som kombinerar lokal beräkning med molnbaserad lagring och distribution. Själva Pi-beräkningen kördes helt i vårt labb på ett enda system, men när arbetet var klart blev molnet den logiska platsen att vara värd för och dela resultaten.

Innan det kunde hända var dock datan tvungen att färdas från vårt labb till Backblaze. Att flytta mer än 130 TB resultat är ingen liten uppgift, men med ett välfungerande nätverk slutfördes överföringen på under två veckor, vilket bibehöll en stabil dataöverföringshastighet på 2 Gbps under en stor del av processen. Stora datamängder har fortfarande gravitation, och när man flyttar hundratals gigabyte åt gången blir bandbredden snabbt den begränsande faktorn.

Nu när datamängden är säkert lagrad i Backblaze B2 kan resultaten av beräkningen på 314 biljoner siffror användas utanför vårt laboratoriums gränser. Forskare kan ladda ner filerna, experimentera med dem, verifiera delar av beräkningen eller utforska siffrorna för sina egna projekt. Med Pi-dagen 2026 här är detta det perfekta tillfället att göra datamängden tillgänglig.

Backblaze B2: Molnlagring för företag för storskalig data

Att göra Pi-datasetet brett tillgängligt krävde en infrastruktur som tillförlitligt kunde lagra och distribuera mycket stora datamängder. Backblaze B2 Cloud Storage är en objektlagringsplattform för företag utformad för just den typen av arbetsbelastning. Objektlagring gör det möjligt att lagra massiva samlingar av filer i skalbara objektbuckets snarare än att tvinga dem in i traditionella filhierarkier, vilket gör den väl lämpad för stora datamängder, säkerhetskopior och moderna datapipelines. B2 stöder också S3-kompatibla API:er, vilket gör det möjligt för organisationer att interagera med tjänsten med hjälp av välbekanta verktyg och arbetsflöden utan att omdesigna befintliga applikationer eller dataprocesser.

Backblaze har fokuserat sin plattform på att leverera hållbar lagring med enkelhet i både ekonomi och drift. Arkitekturen är utformad för 11 nivåer av datahållbarhet, och distribuerar data över lagringspoddar för att säkerställa långsiktig tillförlitlighet i stor skala. Företaget har också byggt upp ett rykte för transparens, publicering av detaljerade rapporter om hårddisktillförlitlighet och förutsägbar prissättning som många infrastrukturteam uppskattar. I vårt fall tillhandahåller B2 en praktisk lösning för att vara värd för en mycket stor datamängd som genereras i vårt labb, vilket säkerställer att resultaten förblir tillgängliga för alla som är intresserade av att utforska data samtidigt som de demonstrerar hur molnlagring kan utöka räckvidden för lokala beräkningsmiljöer. Utöver standard Backblaze B2 Cloud Storage stöder B2 Overdrive upp till 1 Tbps dataflöde.

Hosting av datamängden i Backblaze B2

När PI-beräkningen på 314 biljoner siffror var klar och data hade överförts från R7725 till NAS-lagring, krävdes en del funderingar kring hur man skulle göra datamängden offentligt tillgänglig. Att servera 130 TB direkt från labbet var inte ett praktiskt alternativ. Vår WAN-anslutning fungerar med maximalt 2 Gbps uppåt och 2 Gbps nedåt och delas mellan all laboratorieverksamhet. Ihållande offentliga nedladdningar i någon större skala skulle ha skapat konflikt med det dagliga arbetet, och enbart bandbreddstaket skulle ha gjort stora samtidiga nedladdningar långsamma och opålitliga för alla som försökte komma åt data.

Den ursprungliga idén var att distribuera datamängden via BitTorrent. Även om det tekniskt sett hade fungerat är det inte den mest lättillgängliga upplevelsen för de flesta användare. Att ladda ner en datamängd på 130 TB via torrent kräver en klient, viss förtrogenhet med hur torrenting fungerar och tålamod med en process som inte är lika enkel som en direkt nedladdning. För en datamängd som är avsedd att vara allmänt tillgänglig för forskare och den bredare gemenskapen var den friktionen värd att undvika.

Backblaze B2 löste båda problemen på ett smidigt sätt. Datasetet finns helt i molninfrastruktur, så offentliga nedladdningar är inte beroende av labbets WAN och belastar inte labbets verksamhet. Anslutningar till B2 sker via HTTPS direkt från Backblaze-infrastrukturen, vilket innebär att nedladdningar är säkra, konsekventa och inte beroende av tillgängligheten hos tredjeparts seeders. Hela datasetet finns nu i pi-314-biljoner-bucketen som 628 objekt på totalt cirka 132 TB, organiserade under en enda datasökväg och tillgängliga för vem som helst, utan att labbet påverkas.

Överföringen från labbets NAS hanterades med en enkel Rclone-konfiguration, som dirigeras via vår UDM Pro Max, som fungerar som labgateway, med en ihållande hastighet på drygt 2 Gbps under hela uppladdningen. Vid den dataflödeshastigheten krävdes cirka 10 dagars kontinuerlig överföring för att flytta 130 TB. Diagrammen nedan visar hur det såg ut både per minut och kumulativt.

WAN-användning under överföring

UniFi-nätverksinstrumentpanelen för labbet bekräftar uppladdningsegenskaperna över hela överföringsfönstret. WAN-gränssnittet visar Backblaze som den dominerande applikationen sett till trafikvolym, med en uppladdningshastighet på 2.27 Gbps och en månatlig WAN-dataanvändning på 90.9 TB för perioden. Anslutningen förblev stabil under hela perioden utan några betydande paketförluster under överföringen.

Genomströmning per minut för överföring

Diagrammet nedan visar överföringsdataflödet samplat per minut över ett representativt fönster av uppladdningen. Staplarna ligger konsekvent mellan 15 och 16 gigabyte per minut, vilket överensstämmer med en ihållande linjehastighet på ~2 Gbps. De korta mellanrummen som syns i diagrammet motsvarar checksummevalideringspauser som körs regelbundet under överföringen för att bekräfta dataintegriteten innan man fortsätter.

Kumulativ överföringsförlopp

Diagrammet över kumulativa byte spårar den totala datamängden som överförts från 4 februari till 10 februari och visar en konsekvent linjär ökning från 0 till cirka 100 TB under den perioden. Den stadiga lutningen över hela perioden återspeglar överföringens stabilitet utan större avbrott eller hastighetsfall.

Slutlig hinklayout

Backblaze skapade pi-314-trillion-hinken, som innehåller alla 628 filer och har en bekräftad storlek på 132 210,5 GB. Hinken är konfigurerad som privat med alla filversioner bevarade och är tillgänglig via den S3-kompatibla slutpunkten på s3.us-west-004.backblazeb2.com. Objektlagring gör det enkelt att hantera en datamängd av denna skala. Varje fil är individuellt adresserbar, den fullständiga listan kan hämtas programmatiskt och det finns inga filsystemhierarkier eller volymgränser att arbeta runt.

Åtkomst till datamängden

Forskare har bett oss om tillgång till dessa data; faktum är att vi redan har ett projekt på gång. Michael Kleber är chefsprogramvaruingenjör på Google, men han har lekt med siffrorna i pi sedan han blev nybliven matematikdoktor 1999. Matematiker förväntar sig att pi är ett normalt tal , så det är rimligt att fråga: "Av de 10^d sekvenserna av d siffror, vilken tar längst tid att först dyka upp i pi, och hur många siffror krävs det?" Kleber körde sökningen upp till d=7, och när Fabrice Bellard beräknade 2.7 biljoner siffror i pi 2009 uppmuntrade Kleber honom att utöka till d=11, gränsen för vad som var möjligt vid den tiden. "Med 314 biljoner slumpmässiga siffror finns det cirka 79 % chans att se alla strängar med längden 13 tum", säger Kleber, "så jag hoppas att vi har tur!" Vi förväntar oss mycket mer av detta nu när Backblaze har gjort informationen tillgänglig för alla.

PI-datasetet finns på Backblaze B2 och är tillgängligt för nedladdning av alla som är intresserade av att arbeta med datan. Åtkomst sker via en förfrågningslänk, genom vilken användare kan få inloggningsuppgifter eller ladda ner instruktioner för att hämta filer från bucketen. Backblaze kommer att vara värd för datasetet för att säkerställa att datan förblir tillgänglig för forskning och verifiering under hela den perioden.

Nedladdningsalternativ

Användare kan hämta antingen enskilda filer från datamängden eller hela samlingen på 130 TB, beroende på deras behov. Bucketen är strukturerad så att enskilda objekt kan adresseras och laddas ner direkt utan att hela datamängden behöver hämtas. För de som vill hämta allt kan en fullständig synkronisering av bucketen utföras med hjälp av verktygen som beskrivs nedan. För detta alternativ rekommenderas 135 TB ledigt utrymme.

Rekommenderade verktyg

• Rclone är det rekommenderade verktyget för att komma åt datasetet. Det integreras sömlöst med Backblaze B2 och låter användare finjustera nedladdningsprocessen så att den matchar deras tillgängliga bandbreddsbehov.
• S3-kompatibelt API, så vilket nedladdningsverktyg som helst med S3-kapacitet kan användas för att hämta data. Det enda kravet är att verktyget måste tillåta att standard-URL:en för S3-slutpunkten åsidosätts så att den pekar på B2-slutpunkten snarare än AWS.

Ett verkligt exempel på hybridinfrastruktur

Vår Pi-beräkning på 314 biljoner siffror är ett tydligt exempel på hur hybridinfrastruktur ser ut i praktiken. Beräkningen kördes helt på en enda Dell PowerEdge R7725 i StorageReview-labbet, men eftersom systemet behövde omfördelas till andra projekt och uppgifter när körningen var klar, var det aldrig ett hållbart alternativ att permanent lagra 130 TB resultat i labbet.

Viljan att få ut data till dem som vill använda den, vare sig det är för seriöst vetenskapligt arbete eller för att tillfredsställa nyfikenheten kring siffrorna, är verklig. Men att ha en datauppsättning av den storleken i labbet blir snabbt en belastning för verksamheten. Bandbredden förbrukas, infrastrukturen förblir upptagen och labbets dagliga arbete konkurrerar med varje inkommande nedladdningsförfrågan.

En lösning som Backblaze B2 eliminerar all den friktionen. Data finns i en molninfrastruktur som är specialbyggd för datamängder av denna skala, med ett dataflöde som skalar med efterfrågan, flera redundanspunkter för att säkerställa att ingenting går förlorat, och den säkerhet och operativa expertis som följer med en företagslagringsplattform. Beräkningen var lokal eftersom jobbet krävde det. Lagringen finns i molnet eftersom det helt enkelt är det bättre verktyget för allt som kommer efteråt.