StorageReview berekende 100 biljoen cijfers van Pi in 54 dagen, beter dan Google Cloud

Pi vertegenwoordigt de verhouding van de omtrek van een cirkel tot zijn diameter, en het heeft een oneindig aantal decimale cijfers die zich nooit herhalen of eindigen. Het berekenen van oneindige Pi is niet alleen een spannende zoektocht voor wiskundigen; het is ook een manier om rekenkracht en opslagcapaciteit aan de ultieme duurtest te onderwerpen. Tot nu toe heeft Google's Cloud het wereldrecord gehouden voor de grootste Pi-oplossing op 100 biljoen cijfers. Vanaf vandaag heeft StorageReview hun aantal geëvenaard en dit in een fractie van de tijd gedaan.

100 biljoen cijfers van Pi

Pi in de lucht, boven de wolk(en)

Vorig jaar kondigde Google Cloud Developer Advocate Emma Haruka Iwao aan dat zij en haar team Pi hadden berekend tot 100 biljoen cijfers, waarmee ze haar vorige record van 31.4 biljoen cijfers uit 2019 had verbroken. Ze gebruikten een programma met de naam y-cruncher dat draait op de Compute Engine van Google Cloud. die ongeveer 158 dagen in beslag nam om ongeveer 82 petabytes aan gegevens te voltooien en te verwerken. Uiteindelijk zou die run ook een enorme rekening voor cloudcomputing en -opslag hebben gehad, gecombineerd met het toenemende momentum voor organisaties om specifieke workloads weer on-prem te brengen, wat ons op een interessant idee bracht...

We waren onder de indruk van de prestatie van Emma en de Google Cloud, maar we vroegen ons ook af of we het sneller konden doen, tegen lagere totale kosten. Bij StorageReview.com hebben we toegang tot enkele van de nieuwste en beste hardware in de branche, waaronder AMD EPYC 4e generatie processors, Solidigm P5316 SSD's en obscene hoeveelheden lithiumbatterijen. Als een match made in heaven, hebben we een krachtige server gebouwd met iets minder dan 600 TB aan QLC-flash en een unieke stroomoplossing met hoge beschikbaarheid.

Dit zijn de specificaties van ons rekensysteem:

2 x AMD EPYC 9654 (96 cores, 2.4 GHz, 3.7 GHz boost)
24 x 64 GB DDR5-4800 DIMM's, 1.5 TB totaal
19 x Solidigm 30.72TB QLC P5316 SSD's
Windows Server 2022 Standaard 21H2
Programma: y-cruncher door Alexander Yee

Hoewel de totale hardware misschien extreem lijkt, zijn de kosten om onze hardware te kopen nog steeds een fractie van zes maanden lang dezelfde werklast in de cloud draaien.

Datacenter: ontworpen door Madmen

Een van de eerste vragen die opkwam toen we onze opstelling voor deze test aan het ontwerpen waren, was: "Hoe gaan we een aaneengesloten volume presenteren dat groot genoeg is om een tekstbestand met 100 biljoen cijfers Pi op te slaan?" citaat dat we helemaal zeiden). De wiskunde is vrij eenvoudig, 1 Pi-cijfer = 1 byte, en met 100 biljoen decimale cijfers hadden we daarvoor 100 TB nodig en nog eens 83 TB voor de 83 biljoen hexadecimaal die ook zou worden berekend. Gelukkig is dit StorageReview, en als er één ding is dat we weten te doen, is het veel gegevens opslaan met buitensporige hoeveelheden stress.

Helaas heeft zelfs Kevin (nog) geen flashdrive van 183 TB aan zijn sleutelhanger van flashdrives ter grootte van een conciërge. Dus na het bekijken en testen van verschillende methoden in het lab en het verkennen van meerdere manieren om een NAS of een bestandsshare in kaart te brengen, merkten we door te testen dat y-cruncher graag directe IO-controle heeft over de schijven waarmee het werkt; niet alleen de wisselschijven, maar ook de bestandsuitvoerdirectory. Y-cruncher een volume geven waar het SCSI-commando's naartoe kan sturen, was onze enige optie, omdat het optimale prestaties oplevert.

Dus het enige logische om vervolgens te doen was een iSCSI-doel te gebruiken om een Supermicro-opslagserver om de uitvoerbestanden op te slaan, die te groot waren om op een enkel volume op de lokale computerhost te passen. Dit platform was traditioneler in de zin van opslag met hoge capaciteit, met "slechts" 200 TB verspreid over vier 50 TB LUN's die we op ons computerplatform hebben gestript.

Hoewel RAID 0 misschien wat wenkbrauwen doet fronsen, werd ter verdediging de bestandsserveropslag uit een gespiegelde Windows Storage Spaces-pool gehaald, zodat er redundantie beschikbaar was op de externe host. Het werd vervolgens multi-pathed over een dual-port 10G-interface, direct aangesloten en bedraad tussen beide servers. Het was met opzet een omschakeling uit deze vergelijking verwijderen, aangezien dit Pi-platform was ontworpen om volledig afzonderlijk te werken voor het geval het hoofdlaboratorium offline zou gaan.

Hoewel stroombeveiliging niet altijd een grote zorg is in het StorageReview-lab, vereiste een project van deze omvang (dat maanden beslaat) extreme maatregelen om uptime te garanderen. We hebben er drie gebruikt EcoFlow Delta Pro draagbare energiecentrales, elk met een uitgangsvermogen van 3600 W en een batterij van 3600 Wh.

De AMD Genoa-server maakte gebruik van twee, met één Eaton 5PX ononderbroken stroomvoorziening inline tussen één Delta Pro, om de omschakelvertraging van de EcoFlow tijdens een storing te verminderen. De fileserver had één Delta Pro toegewezen, met één Eaton 5PX G2 voor overdrachtsvertragingen.

Kortom, we hebben een UPS op steroïden gemaakt, die de voordelen van draagbare energiecentrales met hoge capaciteit combineert met de betrouwbaarheid van moderne back-upapparatuur voor datacenters. Bij piekbelasting hadden we een looptijd van 4-8 uur op de batterij. We hebben tijdens de 100T Pi-run talloze stormen gehad, maar we konden gemakkelijk slapen, wetende dat de Pi-run operationeel zou blijven.

Vlees, Aardappelen en Pi. Veel en veel Pi…

We zijn begonnen met de berekening op do 9 feb 17:40:47 2023 EST, en het eindigde op ma 10 apr 05:27:37 2023 EST. De verstreken Pi-berekeningstijd was 54 dagen, 17 uur, 35 minuten en 48.96 seconden, waarbij de totale tijd van muur tot muur, inclusief schrijven en validatie, 59 dagen, 10 uur, 46 minuten en 49.55 seconden was.

De totale opslagcapaciteit was 530.1 TB beschikbaar, exclusief de 200 TB iSCSI-doelstelling voor het wegschrijven. Hier zijn enkele hoogtepunten van tellers uit het y-cruncher-validatiebestand, beschikbaar voor download en verificatie.

The Numbers

Startdatum: do 9 februari 17:40:47 2023

Werkend model:

Constante: Pi
Algoritme: Chudnovsky (1988)
Decimale cijfers: 100,000,000,000,000
Hexadecimale cijfers: 83,048,202,372,185
Werkgeheugen: 1,512,978,804,672 (1.38 TiB)
Totaal geheugen: 1,514,478,305,280 (1.38 TiB)

Tellers van logische schijven:

Logisch grootste ijkpunt: 150,215,548,774,568 (137 TiB)
Logisch piekschijfgebruik: 514,540,112,731,728 (468 TiB)
Logische schijf Totaal gelezen bytes: 40,187,439,132,182,512 (35.7 PiB)
Logische schijf Totaal geschreven bytes: 35,439,733,386,707,040 (31.5 PiB)

Cijfers liegen niet:

Totale rekentijd: 4728948.966 seconden
Start-tot-eind muurtijd: 5136409.559 seconden
Laatste decimale cijfers:
- 4658718895 1242883556 4671544483 9873493812 1206904813: 99,999,999,999,950
- 2656719174 5255431487 2142102057 7077336434 3095295560: 100,000,000,000,000

Einddatum: ma 10 april 05:27:37 2023

De tien cijfers van Pi tot 100 biljoen zijn 3095295560.

We berekenden Pi tot 100 biljoen cijfers in ongeveer een derde van de tijd, mede dankzij alle lokale swap-opslagruimte in vergelijking met de methode van Google. Dit toont de ongelooflijke prestaties, dichtheid en efficiëntie van lokaal aangesloten Solidigm P5316 QLC SSD's en, natuurlijk, AMD EPYC 4e generatie processors.

Lokale opslag was een integraal onderdeel van deze snelheidsrun. Hoewel de run van Google bijna onbeperkte hoeveelheden opslagruimte kon aanboren, was deze beperkt tot een netwerkinterface van 100 Gb. Het is vreemd om te zeggen dat 100 Gb traag is, maar op de schaal van onze test wordt het een enorm knelpunt. Tijdens onze swap-schrijfbursts hebben we cumulatieve overdrachtssnelheden gemeten naar de Solidigm P5316 QLC SSD's van meer dan 38 GB/s.

De leessnelheden waren nog hoger. In netwerktermen heb je meerdere links van 400 Gb (redundantie) nodig om die hoeveelheid gegevens te laten stromen. Hoewel niet onmogelijk, zijn veel cloudomgevingen gewoon niet gebouwd voor dat bandbreedteniveau. De bare metal Dense I/O-instances van Oracle komen waarschijnlijk het dichtst in de buurt van deze schaal van onbewerkte snelheid, maar die zijn beperkt tot acht NVMe SSD's en 54.4 TB aan capaciteit gecombineerd.

Solidigm QLC Flash voor prestaties, uithoudingsvermogen en dichtheid

Om zo'n significante berekening mogelijk te maken, hadden we ruimte nodig, en heel veel, zo snel als we het konden vinden. Swap-modus is een functie in y-cruncher waarmee berekeningen kunnen worden uitgevoerd met behulp van schijf, wat nodig is voor het uitvoeren van grote berekeningen die niet in het hoofdgeheugen passen. Het parallel gebruiken van meerdere schijven is noodzakelijk voor betere prestaties en om de prestaties verder te verbeteren kunnen Solid State Drives (SSD's) worden gebruikt. Het is in het verleden echter niet aanbevolen omdat de theoretische analyse van hun schrijfslijtage niet bemoedigend is.

Het gebruik van de wisselmodus van y-cruncher, in plaats van te vertrouwen op het wisselbestand van het besturingssysteem, is essentieel omdat de geheugentoegangspatronen in y-cruncher niet direct schijfvriendelijk zijn. Gelukkig is de swap-modus van y-cruncher ontworpen om deze beperking te omzeilen door schijfzoekopdrachten te minimaliseren en sequentiële schijftoegang te gebruiken. y-crunchers Swap-modus werd gebruikt in een RAID 0-configuratie met 19 schijven, waardoor de toepassing directe IO-toegang tot de NVMe-schijven kreeg voor optimale prestaties.

De Solidigm P5316 SSD's die we in onze test hebben gebruikt, maken gebruik van een PCIe Gen4-interface en zijn uitgerust met 144-laags QLC NAND-flashgeheugen. Ze bieden uitzonderlijke prestaties, met tot 7 GB/s sequentiële leessnelheid en tot 3.6 GB/s sequentiële schrijfsnelheid.

QLC solid-state drives staan bekend om hun vermogen om kosten te verlagen zonder afbreuk te doen aan opslagcapaciteit en efficiënte prestaties. Dit maakt QLC SSD-technologie gunstig voor veel zakelijke situaties. VAST Data neemt deze schijven bijvoorbeeld op in hun producten om harde schijven overbodig te maken. Tegelijkertijd maakt Pliops gebruik van een versnellerkaart met QLC-drives voor een snelle en kostenefficiënte oplossing.

We hebben deze schijven sinds eind 2021 in ons lab en hebben ze aan vele tests onderworpen, maar dit was een van de meest intensieve en uitgebreide tests tot nu toe. Van de 19 schijven die we gebruikten, hadden ze allemaal een gezondheid van 99-100% aan het begin van de berekening.

Gedurende de 54.5 dagen dat deze berekening liep, hadden we in totaal 33,127,095 GB aan schrijfbewerkingen naar de schijven, of ongeveer 1,742,500 GB per schijf. Als we dit omrekenen naar een dagelijks overschot tijdens onze run, is dat iets meer dan 29 TB per schijf per dag.

Extrapoleren voor een gesimuleerde werkbelasting op langere termijn is ongeveer 10.69 PB per jaar aan gegevensschrijven per schijf. Solidigm vermeldt het uithoudingsvermogen van de P5316 op 22.9 PBW voor willekeurige workloads en 104.6 PBW voor sequentiële workloads. Omdat de Pi-workload de hele tijd in burst bleef zonder de flitser zwaar te belasten, handelde het zeer sequentieel, waardoor de werklast naar het hogere einde van Solidigm's uithoudingsspectrum ging.

Dit betekent dat je deze bijna tien jaar aan een vergelijkbare werkdruk kunt onderwerpen voordat je leven op is. Op zijn zachtst gezegd indrukwekkend, aangezien dit QLC NAND is en de schijfgarantie vijf jaar is. Iedereen die zich zorgen maakt over het verslijten van deze schijven, kan deze use case gebruiken als een ander validatiepunt dat QLC bedrijfsklaar is.

Aan het einde van de run van 59.5 dagen werd de gezondheidsstatus gerapporteerd als 97-98% voor alle schijven in de server. We hadden amper een deuk in het uithoudingsvermogen van deze ritten gemaakt.

Epische AMD EPYC CPU's

AMD EPYC 4e generatie processors zijn gebaseerd op de Zen 4-microarchitectuur en het 5nm-proces, waarmee ze de eerste 5nm x86-datacenterprocessors in de branche zijn. Ze ondersteunen tot 12 kanalen DDR5-geheugen, AVX-512 VNNI en BFloat16-instructies voor verbeterde prestaties in AI- en ML-toepassingen. Ze bieden tot 30% meer prestaties per kern dan Intel's Ice Lake-processors en tot twee keer zoveel prestaties als AMD's vorige generatie EPYC Milan-processors.

amd genua kale cpu

Afstemming was een groot deel van deze run, omdat we uitgebreid hadden getest en herhaald door kleinere, eerder bewaarde records van Pi-berekeningen, zoals 1 miljard en 10 miljard. Door wat af te stemmen met het BIOS en door de runtime van 10 miljard als maatstaf te gebruiken, konden we aanzienlijke prestatieverbeteringen realiseren voor deze werklast. Dit gaf ons een aanzienlijk voordeel ten opzichte van het gebruik van cloudresources, aangezien we gedetailleerde controle over het platform hadden om het voor onze applicatie te optimaliseren, wat geen optie is met kant-en-klare cloudinstanties.

We zijn begonnen met het uitschakelen van SMT in het BIOS en hebben een paar procent verbeteringen gevonden in de looptijd van de kleinere tests. De volgende optie die we onderzochten was C-States. We merkten dat bij het uitvoeren van y-cruncher de CPU de neiging had om vrij vaak in en uit c-states met een lager vermogen te springen omdat het door verschillende processen zou stappen.

Het afstemmen van de BIOS-instellingen, waaronder het uitschakelen van SMT en het regelen van C-states, gecombineerd met enkele prestatieaanpassingen aan het besturingssysteem, was een cruciale factor bij het verbeteren van de prestaties voor deze werklast. Een grote schreeuw naar Alexander Yee van y-Cruncher, en een vriend uit de overklokscene, Forks, voor het helpen wijzen op enkele tweaks en instellingen in zowel Windows als y-Cruncher om deze run samen te laten komen.

Pi; 100T snelheidsrun, 100%. Wat nu?

Nou, mensen, terwijl we deze Pi-lgrimage afronden, laten we even de tijd nemen om ons te koesteren in de glorie van het berekenen van maar liefst 100 biljoen cijfers van Pi in slechts 54 hapklare dagen! Dankzij het y-cruncher-programma, de enorme kracht van AMD EPYC 4e generatie processors en de razendsnelle Solidigm P5316 QLC SSD's, zijn we getuige geweest van een prestatie die je rekenmachine doet blozen.

Ons vertrouwde team van lokaal aangesloten QLC-flashopslageenheden verlegde de grenzen van onbewerkte computermacht en gegevensopslag van oceanische omvang en had echt hun tijd om te schitteren. Solidigm P5316 SSD's, met hun uitzonderlijke uithoudingsvermogen en prestaties, zijn als de superheld-sidekicks van de zakenwereld. En laten we onze draagbare energiecentrales en stevige back-upbatterijen niet vergeten, die ervoor zorgden dat onze Pi-rade bleef draaien - zelfs toen Moeder Natuur probeerde te regenen op ons perfect gebakken feest.

Dus, terwijl we afscheid nemen van dit recordbrekende Pi-extravaganza, laten we eens kijken naar de eindeloze mogelijkheden in de wereld van wiskunde en informatica die voor ons liggen. Proost!

Bezoek Solidigm

Neem contact op met StorageReview