Pí představuje poměr obvodu kruhu k jeho průměru a má nekonečný počet desetinných míst, která se nikdy neopakují ani nekončí. Výpočet nekonečného pí není pro matematiky jen vzrušující úkol; je to také způsob, jak podrobit výpočetní výkon a úložnou kapacitu dokonalému testu odolnosti. Doposud držel světový rekord v největším vyřešeném pí Google Cloud se 100 biliony číslic. K dnešnímu dni se StorageReview podařilo jejich číslo překonat a zvládnout to za zlomek času.
Pí na obloze, nad oblakem (oblaky)
Emma Haruka Iwao, advokátní kancelář Google Cloud Developer Advocate, loni oznámila, že ona a její tým vypočítali číslo pí na 100 bilionů číslic, čímž překonali svůj předchozí rekord 31.4 bilionu číslic z roku 2019. Použili program s názvem y-cruncher běžící na platformě Google Cloud Compute Engine, jehož dokončení trvalo přibližně 158 dní a zpracovalo přibližně 82 petabajtů dat. Nakonec by tento běh vedl také k masivním nákladům na cloudové výpočty a úložiště, v kombinaci s rostoucím úsilím organizací o návrat specifických úloh do lokálních prostředí, což nám dalo zajímavý nápad…
Emmin úspěch a Google Cloud na nás zapůsobily, ale také jsme se zamýšleli nad tím, zda bychom to nedokázali rychleji a s nižšími celkovými náklady. Na StorageReview.com máme přístup k nejnovějšímu a nejlepšímu hardwaru v oboru, včetně procesorů AMD EPYC 4. generace , SSD disků Solidigm P5316 a neuvěřitelného množství lithiových baterií . Jako stvořený pár jsme postavili vysoce výkonný server s necelými 600 TB QLC flash paměti a unikátním řešením napájení s vysokou dostupností.
Zde jsou specifikace našeho výpočetního systému:
- 2 x AMD EPYC 9654 (96 jader, 2.4 GHz, boost 3.7 GHz)
- 24 x 64GB DDR5-4800 DIMM, celkem 1.5 TB
- 19 x SSD disky Solidigm 30.72 TB QLC P5316
- Windows Server 2022 Standard 21H2
- Program: y-cruncher od Alexandra Yeeho
I když se celkový hardware může zdát extrémní, náklady na jeho pořízení jsou stále jen zlomkem nákladů na provozování stejného zatížení v cloudu po dobu šesti měsíců.
Datové centrum: Navrženo šílenci
Jednou z prvních otázek, která se objevila při navrhování našeho zařízení pro tento test, bylo: „Jak prezentujeme souvislý svazek dostatečně velký pro uložení textového souboru se 100 biliony číslic čísla pí?“ (Toto je rozhodně přímá citace, kterou jsme přesně řekli). Matematika je docela jednoduchá, 1 číslice pí = 1 bajt, a 100 bilionů desetinných číslic znamenalo, že na to potřebujeme 100 TB a dalších 83 TB pro 83 bilionů šestnáctkových číslic, které by se také vypočítaly. Naštěstí je to StorageReview a pokud existuje jedna věc, kterou umíme, tak je to ukládání velkého množství dat s nadměrným množstvím zátěže.
Bohužel ani Kevin (zatím) nemá na svém svazku klíčů velikosti školníka flash disk s kapacitou 183 TB. Po prozkoumání různých metod v laboratoři a prozkoumání různých způsobů, jak namapovat NAS nebo sdílenou složku, jsme si všimli, že y-cruncher má rád přímou kontrolu nad disky, se kterými pracuje; nejen nad odkládacími disky, ale i nad výstupním adresářem souborů. Jedinou možností bylo dát y-cruncheru svazek, na který může odesílat příkazy SCSI, protože to vede k optimálnímu výkonu.
Jedinou logickou věcí tedy bylo použít cíl iSCSI pro úložný server Supermicro k ukládání výstupních souborů, které byly příliš velké na to, aby se vešly na jakýkoli jeden svazek na lokálním výpočetním hostiteli. Tato platforma byla tradičnější ve smyslu vysokokapacitního úložiště, které hostovalo „pouhých“ 200 TB na čtyřech 50TB LUN, které jsme na naší výpočetní platformě rozdělili.
I když RAID 0 může vzbudit určité pochybnosti, na naši obranu je třeba uvést, že úložiště souborového serveru bylo vyčleněno ze zrcadleného fondu úložných prostorů Windows, takže na vzdáleném hostiteli byla k dispozici redundance. Úložiště bylo poté vícecestné přes dvouportové 10G rozhraní, přímo připojené a pevně propojené mezi oběma servery. Odebrání přepínače z této rovnice bylo záměrné, protože tato platforma Pi byla navržena tak, aby fungovala zcela samostatně pro případ, že by se hlavní laboratoř odpojila od sítě.
I když ochrana napájení není v laboratoři StorageReview vždy velkým problémem, projekt tohoto rozsahu (trvající měsíce) vyžadoval extrémní opatření k zajištění provozuschopnosti. Využili jsme tři přenosné napájecí stanice EcoFlow Delta Pro , každá s výstupním výkonem 3600 W a baterií 3600 Wh.
Server AMD Genoa využíval dva zdroje, jeden nepřerušitelný zdroj napájení Eaton 5PX zapojený mezi jedním zdrojem Delta Pro, aby se zmírnilo zpoždění přepnutí z EcoFlow během výpadku. Souborový server měl vyhrazený jeden zdroj Delta Pro a jeden zdroj Eaton 5PX G2 pro zpoždění přenosu.
Stručně řečeno, vytvořili jsme UPS na steroidech, který kombinuje výhody přenosných napájecích stanic s vysokou kapacitou se spolehlivostí moderního záložního bateriového vybavení pro datová centra. Při maximálním výpočetním zatížení jsme měli dobu provozu na baterii 4–8 hodin. Během provozu 100T Pi jsme zažili četné bouřky, ale mohli jsme klidně spát s vědomím, že Pi zůstane v provozuschopném stavu.
Maso, brambory a pi. Spousta a spousta pi…
Výpočet jsme zahájili ve čtvrtek 9. února 2023 v 17:40:47 EST a skončil v pondělí 10. dubna 2023 v 05:27:37 EST. Doba výpočtu čísla pí byla 54 dní, 17 hodin, 35 minut a 48.96 sekund, přičemž celkový čas výpočtu, včetně zápisu a validace, byl 59 dní, 10 hodin, 46 minut a 49.55 sekund.
Celková velikost úložiště byla 530.1 TB, bez započítání 200TB iSCSI cíle pro zápis. Zde je několik nejdůležitějších údajů o čítačích z ověřovacího souboru y-cruncher, které jsou k dispozici ke stažení a ověření.
Čísla
Datum zahájení: Čt 9. února 17:40:47 2023
Pracovní model:
- Konstanta: Pí
- Algoritmus: Čudnovský (1988)
- Desetinná čísla: 100 000 000 000 000
- Šestnáctkové číslice: 83 048 202 372 185
- Pracovní paměť: 1 512 978 804 672 (1.38 TiB)
- Celková paměť: 1 514 478 305 280 (1.38 TiB)
Čítače logických disků:
- Logicky největší kontrolní bod: 305 175 690 291 376 (137 TiB)
- Logické maximální využití disku: 1 053 227 481 637 440 (468 TiB)
- Celkový počet přečtených bajtů logického disku: 40 187 439 132 182 512 (35.7 PiB)
- Celkový počet zapsaných bajtů na logický disk: 35 439 733 386 707 040 (31.5 PiB)
Čísla nelžou:
- Celkový čas výpočtu: 4728948.966 sekund
- Čas od začátku do konce zdi: 5136409.559 sekund
- Poslední desetinná místa:
- 4658718895 1242883556 4671544483 9873493812 1206904813: 100 000 000 000 000
- 2656719174 5255431487 2142102057 7077336434 3095295560: 100 000 000 000 000
Datum ukončení: Po 10. duben 05:27:37 2023
Deset číslic čísla pí vedoucích až do 100 bilionů je 3095295560.
Číslo pí na 100 bilionů číslic jsme vypočítali zhruba za třetinu času, částečně díky veškerému lokálnímu swapovému úložnému prostoru ve srovnání s metodou Googlu. To ukazuje neuvěřitelný výkon, hustotu a efektivitu lokálně připojených SSD disků Solidigm P5316 QLC a samozřejmě procesorů AMD EPYC 4. generace.
Lokální úložiště bylo nedílnou součástí tohoto rychlostního běhu. Ačkoli systém od Googlu dokázal využít téměř neomezené množství úložiště, byl omezen na 100GB síťové rozhraní. Je zvláštní říci, že 100 GB je pomalé, ale v rozsahu našeho testu se stává obrovským úzkým hrdlem. Během našich swap zápisů jsme naměřili kumulativní přenosové rychlosti na SSD disky Solidigm P5316 QLC přesahující 38 GB/s.
Rychlosti čtení byly ještě vyšší. Z hlediska sítě byste k přenosu takového množství dat potřebovali více 400Gb linek (redundance). I když to není nemožné, mnoho cloudových prostředí prostě není pro tuto úroveň šířky pásma stavěno. Bare metal instance Oracle Dense I/O se této stupnici hrubé rychlosti pravděpodobně nejvíce blíží, ale ty jsou omezeny na osm NVMe SSD disků a celkovou kapacitu 54.4 TB.
Blesk Solidigm QLC pro výkon, odolnost a hustotu
Abychom mohli provést takový rozsáhlý výpočet, potřebovali jsme prostor, a to spoustu místa, a to tak rychle, jak jsme ho jen mohli najít. Režim swap je funkce v y-cruncheru, která umožňuje provádět výpočty s použitím disku, což je nezbytné pro provádění velkých výpočtů, které se nevejdou do hlavní paměti. Použití více disků paralelně je nezbytné pro lepší výkon a pro další zlepšení výkonu lze použít disky SSD (Solid State Drive). V minulosti se to však nedoporučovalo, protože teoretická analýza jejich opotřebení při zápisu není povzbudivá.
Použití swapovacího režimu y-cruncher namísto spoléhání se na stránkovací soubor operačního systému je nezbytné, protože přístupové vzorce k paměti v y-cruncher nejsou přímo kompatibilní s disky. Naštěstí je swapovací režim y-cruncher navržen tak, aby toto omezení překonal minimalizací vyhledávání disků a použitím sekvenčních přístupů k diskům. Swapovací režim y-cruncher byl použit v konfiguraci RAID 0 s 19 disky, což aplikaci poskytlo přímý I/O přístup k NVMe diskům pro optimální výkon.
SSD disky Solidigm P5316, které jsme použili v našem testu, využívají rozhraní PCIe Gen4 a jsou vybaveny 144vrstvou QLC NAND flash pamětí. Nabízejí výjimečný výkon s rychlostí sekvenčního čtení až 7 GB/s a rychlostí sekvenčního zápisu až 3.6 GB/s.
Pevné disky QLC jsou známé pro svou schopnost snižovat náklady bez kompromisů v oblasti úložné kapacity a efektivního výkonu. Díky tomu je technologie QLC SSD prospěšná pro mnoho obchodních situací. Například společnost VAST Data tyto disky začleňuje do svých produktů, aby eliminovala nutnost pevných disků. Zároveň společnost Pliops využívá akcelerační kartu s disky QLC pro rychlé a cenově efektivní řešení.
Tyto disky máme v naší laboratoři od konce roku 2021 a podrobili jsme je mnoha testům, ale tento byl jeden z dosud nejintenzivnějších a nejrozsáhlejších testů. Z 19 disků, které jsme použili, byly všechny na začátku výpočtu v 99–100% stavu.
Během 54.5 dne, kdy tento výpočet běžel, jsme na disky zapsali celkem 33 127 095 GB dat, což je přibližně 1 742 500 GB na disk. Převedeme-li to na denní překročení během našeho běhu, je to o něco více než 29 TB na disk za den.
Extrapolací pro simulované dlouhodobé zatížení je přibližně 10.69 PB zápisů dat na disk za rok. Solidigm uvádí výdrž disku P5316 na úrovni 22.9 PBW pro náhodné zatížení a 104.6 PBW pro sekvenční zatížení. Vzhledem k tomu, že zatížení disku Pi zůstalo po celou dobu v burst režimu bez velkého zatěžování flash paměti, chovalo se velmi sekvenčně, což řadí zatížení na horní hranici spektra výdrže disku Solidigm.
To znamená, že byste je mohli vystavit podobné zátěži téměř deset let, než by vám došla životnost. Je to přinejmenším působivé, vezmeme-li v úvahu, že se jedná o QLC NAND a záruka na disk je pětiletá. Každý, kdo se obává opotřebení těchto disků, může tento případ použití použít jako další potvrzení, že QLC je připraveno pro podniky.
Na konci 59.5denního testu byl stav všech disků v serveru hlášen na 97–98 %. Výdrž těchto disků jsme sotva zaznamenali.
Epické procesory AMD EPYC
Procesory AMD EPYC 4. generace jsou založeny na mikroarchitektuře Zen 4 a 5nm procesu, což z nich činí první 5nm procesory x86 pro datová centra v oboru. Podporují až 12 kanálů paměti DDR5, instrukce AVX-512 VNNI a BFloat16 pro vyšší výkon v aplikacích umělé inteligence a strojového učení. Nabízejí až o 30 % vyšší výkon na jádro než procesory Intel Ice Lake a až dvakrát vyšší výkon než procesory AMD EPYC Milan předchozí generace.
Ladění bylo velkou součástí tohoto běhu, protože jsme rozsáhle testovali a iterovali menší, dříve uchovávané záznamy výpočtů Pí, jako například 1 miliarda a 10 miliard. Díky ladění v BIOSu a použití doby běhu 10 miliard jako metriky jsme byli schopni dosáhnout významného zlepšení výkonu pro tuto pracovní zátěž. To nám dalo značnou výhodu oproti využívání cloudových zdrojů, protože jsme měli granulární kontrolu nad platformou a mohli jsme ji optimalizovat pro naši aplikaci, což u běžně dostupných cloudových instancí není možné.
Začali jsme vypnutím SMT v BIOSu a zaznamenali jsme několik procentních zlepšení doby běhu menších testů. Další možností, kterou jsme zkoumali, byly C-stavy. Všimli jsme si, že při spuštění y-cruncheru měl CPU tendenci poměrně často přecházet do a z c-stavů s nižší spotřebou energie, protože procházel různými procesy.
Vyladění nastavení BIOSu, včetně vypnutí SMT a ovládání C-stavů, v kombinaci s některými úpravami výkonu operačního systému, bylo klíčovým faktorem pro zlepšení výkonu při této zátěži. Velké poděkování patří Alexandru Yeeovi z y-Cruncheru a příteli z přetaktovací scény, Forksovi, za pomoc s poukázáním na některá vylepšení a nastavení ve Windows i y-Cruncheru, která pomohla tento běh zvládnout.
Pí; Rychlostní běh 100T, 100 %. Co teď?
Tak, lidi, když už končíme s tímto snímkem Pí, pojďme si na chvíli užít slávu výpočtu ohromujících 100 bilionů číslic Pí za pouhých 54 dní! Díky programu y-cruncher, herkulovské síle procesorů AMD EPYC 4. generace a bleskově rychlým SSD diskům Solidigm P5316 QLC jsme byli svědky úspěchu, který rozesmájel vaši kalkulačku.
Náš spolehlivý tým lokálně připojených flash úložišť QLC posouvá hranice hrubé počítačové síly a úložiště dat o rozměrech oceánu a skutečně zazářil. SSD disky Solidigm P5316 se svou výjimečnou odolností a výkonem jsou jako superhrdinští parťáci obchodního světa. A nezapomínejme na naše přenosné elektrárny a robustní záložní baterie, které zajišťují, že náš Pi-rade běží dál – i když se Matka Příroda snažila naši dokonale upečenou oslavu zasypat deštěm.
Takže, zatímco se loučíme s touto rekordní extravagancí s číslem pí, pojďme si připomenout nekonečné možnosti, které nás čekají ve světě matematiky a informatiky. Na zdraví!
Amazon