StorageReview, 100일 만에 54조 자릿수 Pi 계산, Google Cloud 제치고

Pi는 원주와 지름의 비율을 나타내며 반복되거나 끝나지 않는 무한한 수의 십진수를 가지고 있습니다. 무한 파이를 계산하는 것은 수학자에게 스릴 넘치는 탐구가 아닙니다. 또한 궁극의 내구성 테스트를 통해 컴퓨팅 성능과 저장 용량을 투입하는 방법이기도 합니다. 지금까지 Google의 클라우드는 100조 자릿수로 가장 큰 Pi 해결에 대한 세계 기록을 보유하고 있습니다. 오늘부터 StorageReview는 그들의 숫자를 일치시켰고 아주 짧은 시간 안에 그렇게 했습니다.

파이의 100조 자릿수

파이 인 더 스카이, 위 더 클라우드

작년에 Google Cloud Developer Advocate Emma Haruka Iwao는 그녀와 그녀의 팀이 Pi를 100조 자릿수까지 계산하여 31.4년의 이전 기록인 2019조 158억 자릿수를 경신했다고 발표했습니다. 그들은 Google Cloud의 Compute Engine에서 실행되는 y-cruncher라는 프로그램을 사용했습니다. 약 82페타바이트의 데이터를 완료하고 처리하는 데 약 XNUMX일이 걸렸습니다. 결국 그 실행에는 조직이 특정 워크로드를 다시 온프레미스로 가져올 수 있는 추진력과 결합된 막대한 클라우드 컴퓨팅 및 스토리지 청구서가 포함되었을 것입니다. 이는 우리에게 흥미로운 아이디어를 제공했습니다…

우리는 Emma와 Google Cloud의 성과에 깊은 인상을 받았지만 더 낮은 총 비용으로 더 빨리 할 수 있을지 궁금했습니다. StorageReview.com에서는 다음을 포함하여 업계 최고의 최신 하드웨어에 액세스할 수 있습니다. AMD EPYC 4세대 프로세서, 솔리드다임 P5316 SSD및 엄청난 양의 리튬 배터리. 천상의 성냥처럼 우리는 600TB 미만의 QLC 플래시와 고유한 고가용성 전원 솔루션을 갖춘 고성능 서버를 구축했습니다.

컴퓨팅 시스템의 사양은 다음과 같습니다.

2 x AMD EPYC 9654(96코어, 2.4GHz, 3.7GHz 부스트)
24GB DDR64-5 DIMM 4800개, 총 1.5TB
19 X Solidigm 30.72TB QLC P5316 SSD
윈도우 서버 2022 스탠다드 21H2
프로그램: y-크런처 알렉산더 이

총 하드웨어가 극단적으로 보일 수 있지만 하드웨어를 완전히 구입하는 비용은 여전히 XNUMX개월 동안 클라우드에서 동일한 워크로드를 실행하는 비용의 일부입니다.

데이터 센터: Madmen이 설계

이 테스트를 위해 장비를 설계할 때 떠오른 첫 번째 질문 중 하나는 "100조 자릿수 파이가 포함된 텍스트 파일을 저장할 수 있을 만큼 충분히 큰 연속 볼륨을 어떻게 표시할 것인가?"였습니다. 우리가 완전히 말한 인용). 수학은 매우 간단합니다. 1Pi 숫자 = 1바이트이고 100조 십진수라는 것은 이를 위해 100TB가 필요하고 83조 83진수를 계산하기 위해 추가로 XNUMXTB가 필요하다는 것을 의미했습니다. 고맙게도 이것은 StorageReview이며 우리가 방법을 알고 있는 한 가지가 있다면 과도한 스트레스로 많은 데이터를 저장하는 것입니다.

불행하게도 케빈조차도 청소부 크기의 플래시 드라이브 키링에 183TB 플래시 드라이브를 가지고 있지 않습니다(아직). 그래서 연구실에서 다양한 방법을 찾고 테스트하고 NAS 또는 파일 공유를 매핑하는 여러 방법을 탐색한 후 테스트를 통해 y-cruncher가 작업 중인 디스크의 직접 IO 제어를 선호한다는 것을 알게 되었습니다. 스왑 디스크뿐만 아니라 파일 출력 디렉터리도 마찬가지입니다. y-cruncher에 SCSI 명령을 보낼 수 있는 볼륨을 제공하는 것이 최적의 성능을 제공하는 유일한 옵션이었습니다.

따라서 다음에 해야 할 논리적인 유일한 일은 iSCSI 대상을 사용하여 슈퍼마이크로 스토리지 서버 너무 커서 로컬 계산 호스트의 단일 볼륨에 맞지 않는 출력 파일을 저장합니다. 이 플랫폼은 컴퓨팅 플랫폼에서 스트라이핑한 200개의 50TB LUN에서 "단지" XNUMXTB를 호스팅하는 고용량 스토리지라는 측면에서 더 전통적이었습니다.

RAID 0이 일부 눈살을 찌푸리게 할 수 있지만, 우리의 변호를 위해 파일 서버 저장소는 미러링된 Windows 저장소 공간 풀에서 분리되었으므로 원격 호스트에서 중복성을 사용할 수 있었습니다. 그런 다음 이중 포트 10G 인터페이스를 통해 다중 경로가 지정되고 직접 연결되며 두 서버 간에 고정 배선되었습니다. 이 방정식에서 스위치를 제거한 것은 의도적으로 이 Pi 플랫폼이 메인 랩이 오프라인 상태가 되는 경우 완전히 별도로 작동하도록 설계되었기 때문입니다.

전력 보호가 StorageReview 연구실에서 항상 큰 관심사는 아니지만 이 정도 규모의 프로젝트(몇 달에 걸쳐 진행됨)는 가동 시간을 보장하기 위해 극단적인 조치를 요구했습니다. 우리는 세 가지를 활용했습니다. EcoFlow Delta Pro 휴대용 발전소, 각각 3600W 출력 용량과 3600Wh 배터리.

AMD Genoa 서버는 XNUMX개를 활용했습니다. 이튼 5PX 하나의 Delta Pro 사이에 무정전 전원 공급 장치가 연결되어 정전 시 EcoFlow의 전환 지연을 완화합니다. 파일 서버에는 하나의 전용 Delta Pro가 있었고 하나는 이튼 5PX G2 전송 지연.

요컨대 우리는 고용량 휴대용 발전소의 이점과 최신 데이터 센터급 배터리 백업 장치의 신뢰성을 결합하여 강력한 UPS를 만들었습니다. 컴퓨팅 부하가 최고일 때 배터리 사용 시간은 4~8시간이었습니다. 우리는 100T Pi 실행 내내 수많은 폭풍우를 겪었지만 Pi 실행이 계속 작동할 것이라는 것을 알고 쉽게 잠을 잘 수 있었습니다.

고기, 감자, 파이. 수많은 파이…

9년 17월 40일 목요일 47:2023:10 EST에 계산을 시작했고 05년 27월 37일 월요일 2023:54:17 EST에 종료되었습니다. 경과된 Pi 계산 시간은 35일 48.96시간 59분 10초이며 쓰기 및 유효성 검사를 포함한 전체 시간은 46일 49.55시간 XNUMX분 XNUMX초입니다.

총 스토리지 크기는 쓰기를 위한 530.1TB iSCSI 대상을 포함하지 않고 사용 가능한 200TB였습니다. 다음은 y-cruncher 유효성 검사 파일의 카운터 하이라이트입니다. 다운로드 및 확인 가능.

숫자

시작일: 9년 17월 40일 목요일 47:2023:XNUMX

작업 모델:

상수: 파이
알고리즘: Chudnovsky(1988)
십진수: 100,000,000,000,000
83,048,202,372,185진수: XNUMX
작업 메모리: 1,512,978,804,672(1.38TiB)
총 메모리: 1,514,478,305,280(1.38TiB)

논리 디스크 카운터:

논리적 최대 체크포인트: 150,215,548,774,568(137TiB)
논리적 최대 디스크 사용량: 514,540,112,731,728(468TiB)
논리 디스크 총 바이트 읽기: 40,187,439,132,182,512(35.7 PiB)
쓴 논리 디스크 총 바이트 수: 35,439,733,386,707,040(31.5 PiB)

숫자는 거짓말을 하지 않는다:

총 계산 시간: 4728948.966초
시작부터 끝까지 벽 시간: 5136409.559초
마지막 십진수:
- 4658718895 1242883556 4671544483 9873493812 1206904813: 99,999,999,999,950
- 2656719174 5255431487 2142102057 7077336434 3095295560: 100,000,000,000,000

종료일: 10년 05월 27일 월요일 37:2023:XNUMX

100조에 이르는 파이의 3095295560자리 숫자는 XNUMX입니다.

우리는 부분적으로 Google의 방법과 비교하여 모든 로컬 스왑 저장 공간 덕분에 약 100/5316의 시간에 Pi를 4조 자릿수로 계산했습니다. 이것은 로컬로 연결된 Solidigm PXNUMX QLC SSD와 AMD EPYC XNUMX세대 프로세서의 놀라운 성능, 밀도 및 효율성을 보여줍니다.

로컬 스토리지는 이 속도 실행에 필수적이었습니다. Google의 운영은 거의 무제한에 가까운 스토리지를 활용할 수 있었지만 100Gb 네트워크 인터페이스로 제한되었습니다. 100Gb가 느리다고 말하는 것은 이상하지만 우리 테스트 규모에서는 엄청난 병목 현상이 발생합니다. 스왑 쓰기 버스트 동안 우리는 Solidigm P5316 QLC SSD에 대한 누적 전송 속도를 38GB/s 이상으로 측정했습니다.

읽기 속도는 훨씬 더 빨랐습니다. 네트워크 측면에서 해당 양의 데이터를 전송하려면 여러 개의 400Gb 링크(중복성)가 필요합니다. 불가능하지는 않지만 많은 클라우드 환경이 해당 수준의 대역폭을 위해 구축되지 않았습니다. Oracle의 베어 메탈 Dense I/O 인스턴스는 아마도 이 정도의 원시 속도에 가장 근접할 것이지만, 54.4개의 NVMe SSD와 XNUMXTB의 용량을 합친 것으로 제한됩니다.

성능, 내구성 및 밀도를 위한 Solidigm QLC 플래시

이러한 중요한 계산을 용이하게 하기 위해 우리는 공간을 최대한 빨리 찾을 수 있는 많은 공간이 필요했습니다. 스왑 모드는 디스크를 사용하여 계산을 수행할 수 있도록 하는 y-cruncher의 기능으로, 메인 메모리에 담을 수 없는 대규모 계산을 수행하는 데 필요합니다. 성능 향상을 위해서는 여러 드라이브를 병렬로 사용해야 하며, 성능을 더욱 향상시키기 위해 SSD(Solid State Drive)를 사용할 수 있습니다. 그러나 이들의 쓰기 마모에 대한 이론적 분석이 고무적이지 않아 과거에는 권장되지 않았다.

OS 페이지 파일에 의존하는 대신 y-cruncher의 스왑 모드를 사용하는 것은 y-cruncher의 메모리 액세스 패턴이 직접 디스크 친화적이지 않기 때문에 필수적입니다. 고맙게도 y-cruncher의 스왑 모드는 디스크 검색을 최소화하고 순차적 디스크 액세스를 사용하여 이러한 제한을 극복하도록 설계되었습니다. y-crunchers 스왑 모드는 0개의 드라이브가 있는 RAID 19 구성에서 사용되었으며, 최적의 성능을 위해 애플리케이션이 NVMe 디스크에 직접 IO 액세스할 수 있도록 했습니다.

테스트에 사용한 Solidigm P5316 SSD는 PCIe Gen4 인터페이스를 활용하고 144계층 QLC NAND 플래시 메모리를 갖추고 있습니다. 최대 7GB/s의 순차 읽기 속도와 최대 3.6GB/s의 순차 쓰기 속도로 뛰어난 성능을 제공합니다.

QLC 솔리드 스테이트 드라이브는 스토리지 용량과 효율적인 성능을 손상시키지 않으면서 비용을 절감할 수 있는 기능으로 인정받고 있습니다. 따라서 QLC SSD 기술은 많은 비즈니스 상황에 유용합니다. 예를 들어 VAST Data는 이러한 드라이브를 제품에 통합하여 하드 디스크 드라이브의 필요성을 제거합니다. 동시에 Pliops는 빠르고 비용 효율적인 해결을 위해 QLC 드라이브가 있는 가속기 카드를 사용합니다.

우리는 2021년 후반부터 이 드라이브를 연구실에 두고 많은 테스트를 거쳤지만 지금까지 가장 집중적이고 광범위한 테스트 중 하나였습니다. 우리가 사용한 19개의 드라이브 중 모두 계산 시작 시 99-100%의 상태였습니다.

이 계산이 실행된 54.5일 동안 드라이브에 총 33,127,095GB 또는 드라이브당 약 1,742,500GB를 기록했습니다. 이것을 실행에 대한 일일 초과량으로 변환하면 드라이브당 하루에 29TB가 조금 넘습니다.

시뮬레이션된 장기 워크로드에 대해 추정하면 드라이브당 데이터 쓰기 연간 약 10.69PB입니다. Solidigm은 랜덤 워크로드의 경우 5316PBW, 순차 워크로드의 경우 22.9PBW로 P104.6의 내구성을 나열합니다. Pi 워크로드는 플래시에 큰 스트레스를 주지 않고 지속 시간 동안 버스트 상태를 유지하면서 매우 순차적으로 작동하여 워크로드를 Solidigm의 내구성 스펙트럼의 더 높은 수준으로 배치했습니다.

이것은 생명이 다하기 전에 거의 XNUMX년 동안 유사한 워크로드에 이들을 적용할 수 있음을 의미합니다. 이것이 QLC NAND이고 드라이브 보증이 XNUMX년이라는 점을 고려하면 적어도 인상적입니다. 이러한 드라이브의 마모에 대해 우려하는 사람은 누구나 이 사용 사례를 QLC가 기업용으로 사용할 수 있다는 또 다른 검증 지점으로 사용할 수 있습니다.

59.5일 실행 후 서버의 모든 드라이브에서 상태가 97-98%로 보고되었습니다. 우리는 이러한 드라이브의 내구성에 거의 영향을 미치지 않았습니다.

에픽 AMD EPYC CPU

AMD EPYC 4세대 프로세서는 Zen 4 마이크로아키텍처와 5nm 프로세스를 기반으로 하여 업계 최초의 5nm x86 데이터 센터 프로세서입니다. 최대 12개 채널의 DDR5 메모리, AVX-512 VNNI 및 AI 및 ML 애플리케이션의 성능 향상을 위한 BFloat16 명령을 지원합니다. Intel의 Ice Lake 프로세서보다 코어당 최대 30% 더 높은 성능과 AMD의 이전 세대 EPYC Milan 프로세서보다 최대 XNUMX배 더 많은 성능을 제공합니다.

amd 제노아 베어 cpu

1억 및 10억과 같이 이전에 보유한 더 작은 Pi 계산 레코드를 통해 광범위하게 테스트하고 반복했기 때문에 조정은 이 실행의 큰 부분이었습니다. BIOS로 일부 조정하고 10억 실행 시간을 메트릭으로 사용하여 이 워크로드에 대해 상당한 성능 향상을 이끌어낼 수 있었습니다. 기성품 클라우드 인스턴스에서는 옵션이 아닌 애플리케이션에 맞게 플랫폼을 최적화하기 위해 플랫폼을 세밀하게 제어할 수 있었기 때문에 이는 클라우드 리소스 활용에 비해 상당한 이점을 제공했습니다.

우리는 BIOS에서 SMT를 비활성화하는 것으로 시작했고 더 작은 테스트 실행 시간에서 몇 % 개선을 선택했습니다. 우리가 탐색한 다음 옵션은 C-States였습니다. 우리는 y-cruncher를 실행할 때 CPU가 다른 프로세스를 거치기 때문에 저전력 c-상태로 자주 이동하는 경향이 있음을 확인했습니다.

SMT 비활성화 및 C-상태 제어를 포함한 BIOS 설정 조정은 운영 체제에 대한 일부 성능 조정과 결합되어 이 워크로드의 성능을 개선하는 데 중요한 요소였습니다. y-Cruncher의 Alexander Yee와 오버클러킹 분야의 친구인 Forks에게 Windows와 y-Cruncher의 몇 가지 조정 및 설정을 지적하여 이 실행이 함께 이루어지도록 도와준 것에 큰 감사를 드립니다.

파이; 100T 속도 실행, 100%. 이제 뭐?

음, 여러분, 우리가 이 Pi-lgrimage를 마무리하면서 잠시 시간을 내어 불과 100바이트 크기의 날에 무려 54조 자리의 Pi를 계산하는 영광을 누리도록 합시다! y-cruncher 프로그램, AMD EPYC 4세대 프로세서의 강력한 성능, 초고속 Solidigm P5316 QLC SSD 덕분에 우리는 계산기를 얼굴이 붉게 만들 놀라운 성과를 목격했습니다.

로컬로 연결된 QLC 플래시 스토리지 장치로 구성된 신뢰할 수 있는 팀은 원시 컴퓨터 성능과 바다 크기의 데이터 스토리지의 한계를 뛰어 넘었습니다. 탁월한 내구성과 성능을 갖춘 Solidigm P5316 SSD는 비즈니스 세계의 슈퍼 히어로 조수와 같습니다. 그리고 대자연이 완벽하게 구운 축하 행사에 비를 내리려고 할 때에도 Pi-rade가 계속 작동하도록 휴대용 발전소와 강력한 배터리 백업 장비를 잊지 마십시오.

따라서 이 기록적인 Pi 광상에 작별을 고하면서 앞으로 펼쳐질 수학과 컴퓨터 과학 세계의 무한한 가능성에 한 조각을 올려봅시다. 건배!

솔리드다임 방문

StorageReview에 참여