StorageReview heeft een populaire titel in de computerwereld heroverd met een nieuw record voor het oplossen van pi tot 314 biljoen cijfers. De moderne π-race is geëvolueerd van cloudexperimenten naar een grootschalige inzet van infrastructuur. In 2022 wist Google Cloud π tot 100 biljoen cijfers te brengen door y-cruncher te draaien op een enorme vloot cloud-instances en daarbij tientallen petabytes aan I/O te verwerken. Die mijlpaal gold als maatstaf voor "hoe ver mogelijk is" met traditionele infrastructuur.
De actie verplaatste zich vervolgens naar het lab. Begin 2024 verbeterden we ons record naar 105 biljoen cijfers op een systeem dat werd ondersteund door bijna een petabyte aan Solidigm QLC SSD's. Deze prestatie zette een nieuwe standaard voor schaalbaarheid en toonde aan hoe efficiënt een enkele on-premises machine kon werken. Een paar maanden later herhaalden we dit, ditmaal met 202 biljoen cijfers. Dit bevestigde dat flashgeheugen met hoge dichtheid en zorgvuldige afstemming beter presteerden dan hyperscale-infrastructuur voor deze specifieke, veeleisende workload.
Natuurlijk nodigen records uit tot uitdagers. Linus Media Group en KIOXIA veroverden de kroon met een run van 300 biljoen cijfers, mogelijk gemaakt door een groot Weka shared-storage cluster met 2 PB flashgeheugen. Die prestatie liet zien waartoe traditionele, opslagintensieve infrastructuren in staat zijn, zij het met een rack vol hardware, een hoge energierekening en complexe koelingssystemen. We konden natuurlijk niet zomaar toekijken hoe dat record bleef staan!
StorageReview heeft π nu tot 314 biljoen cijfers gebracht, met behulp van een enkele 2U Dell PowerEdge R7725- server, uitgerust met twee AMD EPYC 192-core CPU's en veertig Micron 6550 Ion SSD's van 61.44 TB. De systeemopbouw en -optimalisatie vonden plaats in juli, en we begonnen onze run op 31 juli 2025. Gelukkig werd onze pi-run afgerond op de tweede dag van SC25, wat perfect paste bij een nieuw HPC-record.
Y-Cruncher opschalen naar 314 biljoen cijfers
Zodra je de grens van honderden biljoenen cijfers overschrijdt, gedraagt y-cruncher zich minder als een traditionele benchmark en meer als een stresstest voor een infrastructuur op de lange termijn. De applicatie zelf is eenvoudig, maar de manier waarop deze op deze schaal met de hardware interacteert, wordt de bepalende factor. Alles komt neer op hoe goed het systeem duizenden multiprecisie-bewerkingen kan blijven uitvoeren zonder dat de CPU's vastlopen of de opslaglaag overbelast raakt. Juist op de opslaglaag werd dit record behaald. We hebben 40 Micron 6550 Ion Gen5 NVMe SSD's ingezet, waarvan er 34 aan y-cruncher werden toegewezen. Deze SSD-pool leverde ongeveer 2.1 petabytes, waardoor y-cruncher voldoende ruimte had om de 314 biljoenen berekening uit te voeren. De overige 6 SSD's werden gebruikt om een softwarematig RAID10-volume te creëren, waarmee we de 314 biljoenen cijfers van pi vastlegden.
Ontwerpwijzigingen tussen de 16e en 17e generatie Dell PowerEdge-servers hebben ook bijgedragen aan de verbetering van de prestaties van onze meest recente recordpoging van 314T. Bij ons vorige record van 202T maakten we gebruik van de Dell PowerEdge R760 met 24 bays, die een PCIe-switch op de backplane gebruikte, waardoor we schijfdichtheid inruilden voor prestaties. Op de 17e generatie Dell PowerEdge-servers, zoals de Intel-gebaseerde R770 of de AMD-gebaseerde R7725, zijn de backplanes weer volledig direct-connect, met 2 of 4 PCIe-lanes per bay. In de PowerEdge R7725 met zijn Gen5 E3.S-backplane met 40 bays krijgt elke SSD 2 PCIe-lanes. Hoewel dat een prestatieverlies lijkt, is het platform nog steeds in staat om lees- en schrijfsnelheden tot 280 GB/s te bereiken wanneer alle 40 bays tegelijkertijd worden gebruikt.
Met behulp van de interne y-cruncher-benchmark voor opslag hebben we de opslagprestaties van elk platform vastgelegd in de configuratie die voor elke testrun werd gebruikt. Bij elke workload zagen we een toename in opslagprestaties variërend van 72% tot 383%, met evenwichtige lees- en schrijfprestaties.
| metrisch | 202T-systeem (oude registratie) | 314T-systeem (nieuw record) | Procentueel verschil (314T versus 202T) |
|---|---|---|---|
| Sequentiële schrijven | 47.0 GiB/s | 107 GiB/s | + 127.7% |
| Sequentieel lezen | 56.7 GiB/s | 127 GiB/s | + 124.0% |
| Drempel Stapte Schrijven | 62.2 GiB/s | 107 GiB/s | + 72.0% |
| Drempel Stapte Gelezen | 20.9 GiB/s | 101 GiB/s | + 383.3% |
De Dell PowerEdge R7725 is meer dan alleen een opslagbox; hij biedt ook aanzienlijke rekenkracht als dual-socket AMD Turin-platform. We hebben gebruikgemaakt van AMD EPYC 9965 CPU's met 192 kernen, goed voor in totaal 384 kernen. Daarnaast hebben we de standaard luchtgekoelde koelers vervangen door vloeistofgekoelde CoolIT SP5-koelplaten, die werden gekoeld door een CoolIT AHx10 Liquid-to-Air CDU. Deze combinatie zorgde ervoor dat de CPU's op hogere, constante kloksnelheden bleven draaien, de chassisventilatoren op ongeveer 30% PWM werkten en ons gemiddelde stroomverbruik rond de 1,600W bleef.
Aan de softwarekant draaide het platform Ubuntu 24.04.2 LTS Server in plaats van Windows Server, zoals bij eerdere runs. Dit maximaliseerde de systeemstabiliteit en leverde aanzienlijke prestatiewinst op. We hebben talloze testiteraties uitgevoerd voordat we onze run startten, waaronder het reserveren van 4 van de 384 cores voor achtergrondprocessen. Het resultaat was niet alleen dat we het bestaande pi-record verbraken; we hebben het op tal van punten overtroffen. Niets komt in de buurt van onze run wat betreft prestaties, energieverbruik en, het meest indrukwekkend, betrouwbaarheid. We zijn bovendien de enige grootschalige pi-wereldrecordrun zonder een seconde downtime. Van begin tot eind hoefde de run geen moment te worden hervat.
Recordbrekende energie-efficiëntie
De aanpak die StorageReview heeft gekozen voor elk van onze pi-recordruns, was om de complexiteit te verminderen en de benchmark met zo min mogelijk stroomverbruik uit te voeren. Het vorige record van 300 biljoen cijfers, dat gebruikmaakte van een gedistribueerd opslagcluster en een snel netwerk, ging ten koste van een hoger stroomverbruik en meer koeling. Wij kozen voor een andere aanpak en richtten ons op opslagdichtheid door één enkele 2U-server te gebruiken voor zowel swap- als uitvoeropslag. Dit speelde een belangrijke rol in het verlagen van ons totale stroomverbruik en de koelingskosten. Onze Dell PowerEdge R7725 verbruikte slechts 4,304.662 kWh gedurende de run van 314 biljoen cijfers, wat neerkomt op slechts 13.70 kWh per biljoen cijfers. Dit maakt het een van de meest energiezuinige grootschalige pi-berekeningen. Bij een vergelijking van de twee benaderingen wordt het verschil direct duidelijk, zoals weergegeven in de onderstaande tabel.
| lopen | Totaal kWh | Kosten @ $0.12/kWh | Kosten @ $0.20/kWh |
|---|---|---|---|
| 300T Weka Cluster Run | 33,600 kWh (geschat) | $4,032 | $6,720 |
| 314T Single-Server Run | 4,304.662 kWh | $517 | $861 |
Het is belangrijk om te vermelden dat onze 314T-run tijdens de berekening gebruikmaakte van SSD's in een JBOD-configuratie zonder data-redundantie. Stroomverbruik en algehele systeemprestaties waren de factoren die tot die beslissing hebben geleid, maar het gaf ook aanleiding tot een discussie over het ontwerpen van de opslagoplossing op basis van de workload. Elke workload is anders, en sommige workloads die met minimale impact op de productie opnieuw kunnen worden opgestart, vereisen mogelijk niet dezelfde mate van fouttolerantie. In ons geval hebben we ons gericht op het beschermen van de data-output met traditionele software-RAID.
Totale looptijd: 110 dagen
Ondanks dat er meer cijfers werden verwerkt dan bij alle voorgaande runs, was de totale rekentijd aanzienlijk korter dan het vorige record, waarvoor ongeveer 225 dagen nodig waren (175 rekendagen exclusief downtime). De ononderbroken periode van 110 dagen is het resultaat van een stabiel besturingssysteem, een minimale achtergrondbelasting, een gebalanceerde NUMA-topologie en een scratch-array die is ontworpen voor het patroon dat de y-cruncher op deze schaal genereert.
Technische hoogtepunten
- Totaal aantal cijfers berekend: 314,000,000,000,000
- Gebruikte hardwareDell PowerEdge R7725 met 2x AMD EPYC 9965 CPU's, 1.5 TB DDR5 DRAM, 40x Micron 61.44 TB 6550 Ion
- Software en algoritmen: y-cruncher v0.8.6.9545, Chudnovsky
- SSD-slijtage volgens SMART-gegevens: 7.3 PB per schijf geschreven of 249.11 PB verdeeld over de 34 SSD's die voor swap worden gebruikt
- Logisch grootste controlepunt: 850,538,385,064,992 (774 TiB)
- Logisch piekschijfgebruik: 1,605,960,520,636,440 (1.43 PiB)
- Logische schijfbytes lezen: 148,356,635,606,263,504 (132 PiB)
- Logische schijfbytes geschreven: 126,658,805,195,776,600 (112 PiB)
- Begin datum: Do 31 jul 17:16:41 2025
- Einddatum: di 18 nov 2025 05:57:08
- pi: 8793223.144 seconden, 101.773 dagen
- Totale rekentijd: 9274878.580 seconden
- Begin-tot-eind-muurtijd: 9463226.454 seconden
Sluiting Gedachten
Decennialang waren extreme Pi-runs een manier om te pronken met alles wat op dat moment als "krachtige hardware" gold. Vroege records waren gebaseerd op krachtige desktops en extern aangesloten opslag, later verschoof de focus naar lokale bedrijfsapparatuur. Meer recentelijk verplaatste de race zich naar de cloud, waar taken zoals Google's run van 100 biljoen cijfers bewezen dat je met voldoende instanties en voldoende I/O een record kon vestigen. Vervolgens zagen we grote gedeelde opslagclusters hun intrede doen, waarbij eenvoud werd ingeruild voor pure parallelle verwerking en een enorme energie- en koelingsrekening.
Onze aanpak is juist de tegenovergestelde richting op gegaan. Tijdens meerdere recordruns hebben we y-cruncher behandeld als een serieuze HPC-workload, niet als een eenmalige stunt. De oplossingen van 105 TB en 202 TB hielpen ons de echte knelpunten te identificeren, de omvang en optimalisatie van de tijdelijke opslag te optimaliseren, de CPU's te blijven voeden zonder de I/O-laag te overbelasten, en een systeem te versterken zodat een taak die maanden duurt ook daadwerkelijk wordt afgerond. De run van 314 TB is het resultaat van die ervaring. Het is niet zomaar een groter getal. Het is een volwassener ontwerp.
De cijfers bevestigen dat verhaal. We hebben meer dan 300 biljoen cijfers verwerkt op één enkele 2U Dell PowerEdge R7725 met 40 Micron 6550 Ion SSD's en twee 192-core AMD EPYC CPU's, het systeem 110 dagen achter elkaar online gehouden en hoefden nooit te herstarten na een storing. De opslagdoorvoer is meer dan verdubbeld ten opzichte van ons 202T-platform, terwijl de server gemiddeld slechts ongeveer 1,600W verbruikte en in totaal 4,305 kWh. Dat komt neer op 13.70 kWh per biljoen cijfers, wat een fractie is van het geschatte energieverbruik van het vorige 300T-cluster: minder nodes, minder complexiteit, minder energie, meer werk verzet.
Daarom is dit record niet alleen belangrijk om mee te pronken: als één commerciële 2U-server een y-cruncher-run van deze omvang met die mate van betrouwbaarheid en efficiëntie kan volhouden, dan zijn dezelfde ontwerpprincipes direct toepasbaar in de praktijk. Langlopende klimaatmodellen, natuurkundige simulaties, genomics-pipelines en AI-trainingstaken zijn allemaal afhankelijk van dezelfde fundamentele principes: gebalanceerde I/O, voorspelbare thermische prestaties, stabiele firmware en een architectuur die maandenlang onafgebroken kan functioneren. Dit platform heeft nu bewezen dat het precies dat kan, onder omstandigheden die geen ruimte voor fouten laten.
Ja, StorageReview heeft de pi-kroon heroverd met 314 biljoen cijfers. Belangrijker nog, we hebben de lat hoog gelegd voor wat "goed" betekent in grootschalige numerieke berekeningen op echte hardware. Als iemand het record wil verbreken, zien we diegene graag het hele record behalen: meer cijfers, minder stroomverbruik, kortere rekentijd en dezelfde betrouwbaarheid zonder uitval. Tot die tijd is dit de maatstaf voor efficiëntie.
Amazon