Solidigm D5-P5430 သည် Solidigm ၏ QLC data center လိုင်း၏ အဓိကအဆင့်ဖြစ်သည်။ ၎င်းသည် capacity-maximizing D5-P5336 အောက်တွင်ရှိပြီး 16KB-IU drive တစ်ခု ညံ့ဖျင်းစွာကိုင်တွယ်သည့် mixed နှင့် small-block write workloads များအတွက် indirection unit ငယ်တစ်ခုကို သယ်ဆောင်ထားသည်။ ၂၀၂၃ ခုနှစ်တွင် စတင်ရောင်းချစဉ်က 15.36TB P5430 ကို ကျွန်ုပ်တို့ ပြန်လည်သုံးသပ်ခဲ့ပြီး ၊ ထိုအချိန်က P5316 ၏ 64KB indirection unit မှ 4KB သို့ ခုန်တက်ခြင်းနှင့် ၎င်းသည် small-block writes အတွက် မည်သို့လုပ်ဆောင်ခဲ့သည်ကို ဇာတ်လမ်းတစ်ပုဒ်ဖြစ်ခဲ့သည်။ ဓာတ်ခွဲခန်းထဲက 30.72TB E3.S မော်ဒယ်ဟာ အခုဆိုရင် မိသားစုထဲမှာ 8KB indirection unit နဲ့ ထိပ်ဆုံးရောက်နေပြီး အလွန်ကွဲပြားတဲ့ နှိုင်းယှဉ်မှုအစုအဝေးထဲကို ရောက်ရှိနေပါပြီ- စွမ်းရည်မြင့် QLC အတန်းအစားဟာ 61TB၊ 122TB နဲ့ 245TB drives တွေဆီကို ပြောင်းရွှေ့သွားပြီး အဲဒီထဲက အတော်များများဟာ Gen5 မှာ ရှိပါတယ်၊ P5430 ကတော့ PCIe 4.0 x4 drive တစ်ခုဖြစ်ပြီး U.2 နဲ့ E1.S တို့နဲ့အတူ မိသားစုက ပေးစွမ်းနိုင်တဲ့ 7.5mm E3.S form factor မှာ ဒီမှာ စမ်းသပ်ထားပါတယ်။
Solidigm သည် မိသားစုထုတ်ကုန်ကို 7,000MB/s sequential read နှင့် 3,000MB/s sequential write၊ 971K random read IOPS နှင့် 120K random write IOPS အထိ အဆင့်သတ်မှတ်ထားပြီး 30.72TB မော်ဒယ်တွင် 934.5K random read IOPS နှင့် 31.92PBW ခံနိုင်ရည်ရှိပြီး 5 နှစ်အာမခံချက်ဖြင့် 100% random write workload တွင် 0.58 DWPD အထိ တွက်ချက်ထားသည်။ ပါဝါကို 25W active နှင့် 5W idle အထိ အဆင့်သတ်မှတ်ထားသည်။
P5430 အတွက် Solidigm ရဲ့ ရည်ရွယ်ချက်ကတော့ QLC ကုန်ကျစရိတ်မှာ TLC လိုမျိုး read profile ပါဝင်တဲ့ density ပါပဲ။ ဒီ drive မှာ enterprise checklist ပါဝင်ပါတယ်- Solidigm ရဲ့ controller နဲ့ firmware နောက်ကွယ်က 192-layer 3D QLC NAND၊ NVMe 1.4c ပါဝင်တဲ့ PCIe 4.0 x4၊ ECC နဲ့ CRC active အတူတကွပါဝင်တဲ့ end-to-end data protection၊ power loss protection၊ secure boot၊ TCG Opal 2.0 နဲ့ FIPS 140-2 Level 2 option တွေ၊ OCP 2.0 telemetry နဲ့ Intel, AMD, Ampere နဲ့ NVIDIA တွေမှာ platform validation တို့ ပါဝင်ပါတယ်။ ဒီ drive မိသားစုမှာ U.2 15mm နဲ့ E3.S 7.5mm မှာ 3.84TB ကနေ 30.72TB အထိ ပါဝင်ပြီး E1.S 9.5mm မှာတော့ 15.36TB အထိ ရှိပါတယ်။
Solidigm D5-P5430 30.72TB သတ်မှတ်ချက်များ
| specification | Solidigm D5-P5430 30.72TB |
|---|---|
| ပလက်ဖောင်းခြုံငုံသုံးသပ်ချက် | |
| စွမ်းရည် (စမ်းသပ်ပြီး) | 30.72TB |
| မိသားစုစွမ်းရည်များ | U.2 နှင့် E3.S- 3.84TB၊ 7.68TB၊ 15.36TB၊ 30.72TB E1.S: 3.84TB၊ 7.68TB၊ 15.36TB |
| form ကို Factor | U.2 15mm E3.S 7.5mm (စမ်းသပ်ပြီး) E1.S ၁၅ မီလီမီတာ |
| interface | PCIe 4.0 x4၊ NVMe 1.4c |
| Nande | ၁၉၂-အလွှာ 3D QLC |
| လမ်းကြောင်းပြောင်းယူနစ် | ၈KB (၃၀.၇၂TB) 4KB (3.84TB မှ 15.36TB) |
| စွမ်းဆောင်ရည် (ရောင်းချသူ အဆင့်သတ်မှတ်ချက်) | |
| sequential ဖတ် | 7,000MB/s အထိ |
| sequential Write | 3,000MB/s အထိ |
| ကျပန်း 4K ဖတ်ရှုခြင်း | 971K IOPS (မိသားစု) အထိ ၁,၅၀၀,၀၀၀ IOPS (၁ TB) |
| ကျပန်း 4K ရေးသားခြင်း | IOPS ၂,၁၀၀,၀၀၀ အထိ |
| စွမ်းအားနှင့် ခံနိုင်ရည် | |
| တည်မြဲခြင်း | ၃၁.၉၂PBW (၃၀.၇၂TB) 0.58 DWPD အထိ၊ 100% ကျပန်းရေးသားခြင်း |
| စွမ်းအား | 25W အထိ တက်ကြွစွာ လည်ပတ်နေသည် 5W အထိ အားလပ်ချိန်မရှိခြင်း |
| အာမခံချက် | 5 အနှစ် |
| အင်္ဂါရပ်များ | |
| ဒေတာများကိုကာကွယ်စောင့်ရှောက်ရေး | အဆုံးမှအဆုံးဒေတာကာကွယ်မှု (ECC နှင့် CRC) ဓာတ်အားဆုံးရှုံးမှုကာကွယ်မှု UBER ကို 1E-17 အထိ စမ်းသပ်ပြီးပါပြီ |
| လုံခွုံရေး | လုံခြုံသော Boot တက်ပါ TCG Opal ၂ FIPS 140-2 အဆင့် 2 (ရွေးချယ်ထားသော SKU များ) |
| စီမံခန့်ခွဲမှု | OCP 2.0 မှတ်တမ်းစာမျက်နှာများနှင့် တယ်လီမက်ထရီ |
| ပလက်ဖောင်း အတည်ပြုခြင်း | Intel၊ AMD၊ Ampere၊ NVIDIA |
Solidigm D5-P5430 30.72TB စွမ်းဆောင်ရည်
မောင်းနှင်မှုစမ်းသပ်ခြင်းပလက်ဖောင်း
ဤသုံးသပ်ချက်တွင် workload အားလုံးအတွက် ကျွန်ုပ်တို့၏ test platform အဖြစ် Ubuntu 22.04.2 LTS ကို အသုံးပြုထားသော Dell PowerEdge R760 ကို အသုံးပြုထားပါသည်။ Serial Cables Gen5 JBOF တပ်ဆင်ထားသောကြောင့် U.2၊ E1.S၊ E3.S နှင့် M.2 SSD များနှင့် ကျယ်ကျယ်ပြန့်ပြန့် တွဲဖက်အသုံးပြုနိုင်ပါသည်။ ကျွန်ုပ်တို့၏ system configuration ကို အောက်တွင်ဖော်ပြထားပါသည်။
- Intel Xeon Gold 6430 (32-Core, 2.1GHz) ၂ ခု
- 16 x 64GB DDR5-4400 မှတ်ဉာဏ်
- 480GB Dell BOSS SSD
- စီးရီးကြိုးများ Gen5 JBOF
နှိုင်းယှဉ်ထားသော ဒရိုက်များ
- Solidigm D5-P5430 30.72TB (Gen4 | E3.S 7.5mm)
- Solidigm D5-P5336 61.44TB (Gen4 | U.2)
- Solidigm D5-P5336 122.88TB (Gen4 | U.2)
- DapuStor J5060 61.44TB (Gen4 | U.2)
- DapuStor R6060 122.88TB (Gen5 | E3.L)
- Micron 6550 ION 61.44TB (Gen5 | E3.S, TLC)
- Micron 6600 ION 245.76TB (Gen5 | E3.L)
နှိုင်းယှဉ်အုပ်စုမှာ ယနေ့ခေတ်တွင် တည်ရှိနေသည့် စွမ်းရည်မြင့် QLC အမျိုးအစားဖြစ်ပြီး စကေးအတွက် TLC drive တစ်ခုတည်းပါဝင်သည်။ P5430 သည် အစုံတွင် အသေးဆုံး drive ဖြစ်ပြီး 61TB အောက် တစ်ခုတည်းသော drive ဖြစ်ပြီး P5336 61.44TB နှင့် P5336 122.88TB နှင့် DapuStor J5060 တို့နှင့်အတူ Gen4 link ကို မျှဝေထားပြီး U.2 ရှိ သုံးခုစလုံးဖြစ်သည်။ DapuStor R6060 ၊ Micron 6600 ION နှင့် Micron 6550 ION တို့သည် Gen5 link များကို ယူဆောင်လာသောကြောင့် P5430 သည် ၎င်းတို့နှင့် ရင်ပေါင်တန်းနိုင်သော်လည်း bus ၏ ထက်ဝက်ဖြင့် လုပ်ဆောင်နေသည်။ TLC 6550 ION သာလျှင် P5430 ၏ E3.S form factor ကို မျှဝေသည်။ အုပ်စု၏ အဓိကအချက်မှာ စင်ပေါ်ရှိ အခြားရွေးချယ်စရာများသည် ပိုကြီး၊ ပိုသစ် သို့မဟုတ် နှစ်မျိုးလုံးဖြစ်သည့်အခါ 30TB Gen4 QLC drive သည် မည်သည့်နေရာတွင် ရောက်ရှိသည်ကို ပြသရန်ဖြစ်သည်။
FIO စွမ်းဆောင်ရည် စံနှုန်း
အသုံးများသော စက်မှုလုပ်ငန်း မက်ထရစ်များတွင် SSD တစ်ခုစီ၏ သိုလှောင်မှုစွမ်းဆောင်ရည်ကို တိုင်းတာရန်အတွက်၊ ကျွန်ုပ်တို့သည် FIO ကို အသုံးပြုပါသည်။ drive တစ်ခုစီသည် တူညီသော စမ်းသပ်မှုလုပ်ငန်းစဉ်ကို ဖြတ်သန်းရပြီး ၎င်းတွင် drive အပြည့်ဖြည့်ခြင်း နှစ်ကြိမ်၏ ကြိုတင်ပြင်ဆင်မှုအဆင့်၊ ထို့နောက် steady-state စွမ်းဆောင်ရည်တိုင်းတာခြင်း ပါဝင်သည်။ တိုင်းတာနေသော workload အမျိုးအစားတစ်ခုစီ ပြောင်းလဲလာသည်နှင့်အမျှ၊ ကျွန်ုပ်တို့သည် ထို transfer size အသစ်၏ နောက်ထပ်ကြိုတင်ပြင်ဆင်မှုဖြည့်ခြင်းကို လုပ်ဆောင်ပါသည်။
ဤအပိုင်းတွင်၊ ကျွန်ုပ်တို့သည် အောက်ပါ FIO စံနှုန်းများကို အာရုံစိုက်ပါသည်။
- ၁၂၈K အစီအစဉ်အတိုင်း
- 64K ကျပန်း
- 4K ကျပန်း
128K အစဉ်လိုက်ရေးသားမှု (IODepth 16 / NumJobs 1)
P5430 သည် 128K sequential write test တွင် 3,150.2MB/s ပေးပို့ခဲ့ပြီး ၎င်း၏ 3,000MB/s အဆင့်သတ်မှတ်ချက်ကို ကျော်လွန်ပြီး Gen4 QLC lead အတွက် 3,152.5MB/s ဖြင့် Solidigm P5336 122.88TB နှင့် ကိုက်ညီပါသည်။ DapuStor R6060 122.88TB သည် ၎င်း၏ Gen5 link တွင် 3,920.6MB/s ရောက်ရှိခဲ့ပြီး TLC Micron 6550 ION 61.44TB သည် 10,456.4MB/s ဖြင့် ကျန်အရာများထက် များစွာသာလွန်ခဲ့သည်။ P5430 အောက်တွင် DapuStor J5060 61.44TB သည် 2,883.1MB/s၊ Micron 6600 ION 245.76TB သည် 2,838.0MB/s နှင့် Solidigm P5336 61.44TB တို့သည် 2,503.5MB/s ရှိပြီး 30.72TB P5430 သည် 245.76TB 6600 ION ထက် 312.2MB/s ပိုများသည်။
128K စဉ်ဆက်မပြတ်ရေးသားချိန် (IODepth 16 / NumJobs 1)
Latency သည် bandwidth နောက်တွင်ရှိပြီး P5430 သည် 634.5µs၊ P5336 122.88TB သည် 634.0µs နှင့် နှိုင်းယှဉ်ပါက အနည်းငယ်သာ ကွာခြားပြီး 6550 ION သည် 191.0µs နှင့် R6060 သည် 509.7µs သာ နောက်ကျကျန်ခဲ့သည်။ J5060 သည် 693.3µs၊ 6600 ION သည် 704.3µs နှင့် P5336 61.44TB သည် 798.4µs တွင် နောက်ကျကျန်နေခဲ့သည်။
128K အစဉ်လိုက်ဖတ်ရှုမှု (IODepth 64 / NumJobs 1)
P5430 သည် 128K sequential read တွင် 7,132.1MB/s ရရှိခဲ့ပြီး P5336 61.44TB သည် 7,132.3MB/s၊ J5060 သည် 7,126.8MB/s နှင့် P5336 122.88TB သည် 7,121.6MB/s နှင့် ထိရောက်စွာ တူညီပြီး drive ၏ 7,000MB/s အဆင့်သတ်မှတ်ချက်ထက် အနည်းငယ်သာ ကျော်လွန်ပါသည်။ Gen4 drive လေးခုလုံးကို အမြင့်ဆုံးနေရာတွင် တပ်ဆင်ထားပြီး Gen5 drive များသည် ၎င်းထက် သာလွန်ကောင်းမွန်သည်- 6550 ION သည် 13,979.7MB/s၊ 6600 ION သည် 12,729.8MB/s နှင့် R6060 သည် 11,554.0MB/s ရှိသည်။
128K ဆင့်ကဲဖတ်ရှုချိန် (IODepth 64 / NumJobs 1)
P5430 သည် 128K sequential read latency တွင် 1,121.3µs မှတ်တမ်းတင်ခဲ့ပြီး P5336 61.44TB နှင့် 1,121.3µs တွင် တူညီပြီး J5060 နှင့် P5336 122.88TB တို့၏ 2µs အတွင်းတွင် ရှိသည်။ Gen5 drives များသည် 571.9µs (6550 ION) မှ 692.1µs (R6060) အကြားတွင် ပြီးဆုံးခဲ့သည်။
64K ကျပန်းရေးပါ။
P5430 ဟာ 64K random write sweep ကို 1/1 မှာ 2,359.9MB/s နဲ့ 37.8K IOPS နဲ့ စတင်ခဲ့ပြီး 2/1 မှာ 3,149.9MB/s အထိ ရောက်ရှိခဲ့ကာ ကျန် 16 မှတ်မှာ 3,090.7MB/s နဲ့ 3,156.5MB/s ကြားမှာ ရှိနေပြီး 32/4 မှာ 3,156.5MB/s နဲ့ 50.5K IOPS နဲ့ အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး 32/8 မှာ 3,149.6MB/s နဲ့ အဆုံးသတ်ခဲ့ပါတယ်။ အဲဒါက 128K စမ်းသပ်မှုနဲ့ တူညီတဲ့ 3.15GB/s write ceiling ဖြစ်ပြီး 2/1 ကနေစပြီး P5430 ဟာ queue depth နဲ့ job count တိုင်းမှာ အဲဒီအဆင့်မှာ ရှိနေခဲ့ပါတယ်။
အုပ်စုထဲမှာ P5336 122.88TB ဟာ 2,429.9MB/s ကနေ 3,182.7MB/s အထိ မြန်နှုန်းတူညီပြီး R6060 ကတော့ 3,477.9MB/s ကနေစတင်ပြီးနောက် 3,913.8MB/s နဲ့ 3,916.9MB/s ကြားမှာ ရှိနေပါတယ်။ J5060 ကတော့ 2,700MB/s အတိုင်းအတာထဲကို နှစ်ကြိမ်ကျဆင်းသွားပေမယ့် 2,883MB/s နီးပါးမှာ ရှိနေခဲ့ပြီး P5336 61.44TB ကတော့ 2,412.9MB/s နဲ့ 2,721.4MB/s ကြားမှာ မြန်နှုန်းရှိခဲ့ပါတယ်။ 6600 ION ဟာ ပေါင်းစပ်မှုပေါ်မူတည်ပြီး 569.1MB/s နဲ့ 2,999.6MB/s အကြား ရွေ့လျားနိုင်ပြီး 32/8 မှာ 694.8MB/s နဲ့ 11.1K IOPS ဖြင့် အပြီးသတ်ခဲ့ပြီး TLC 6550 ION ကတော့ တခြားအတန်းအစားမှာ ရှိနေပြီး 10,413.1MB/s အထိ ရောက်ရှိခဲ့ပါတယ်။
64K ကျပန်းရေးသားချိန် နှောင့်နှေးမှု
throughput သည် ပြားချပ်နေသောကြောင့် P5430 ၏ latency သည် ထူးချွန်သော I/O ဖြင့် အတိုင်းအတာတူညီစွာ တိုးတက်လာခဲ့သည်- ၁/၁ တွင် ၂၆.၁µs၊ ၂/၁ တွင် ၃၉.၃µs၊ လေးခုတွင် ၇၉.၀µs မှ ၈၀.၅µs၊ ရှစ်ခုတွင် ၁၅၈.၃µs မှ ၁၆၁.၄µs၊ ၁၆ ခုတွင် ၃၁၇.၁µs မှ ၃၂၂.၉µs၊ ၃၂ ခုတွင် ၆၃၃.၇µs မှ ၆၄၅.၂µs၊ ၆၄ ခုတွင် ၁,၂၆၈.၆µs၊ ၁၂၈ ခုတွင် ၂,၅၃၃.၉µs မှ ၂,၅၃၉.၅µs နှင့် ၃၂/၈ တွင် ၅,၀၇၉.၃µs။ P5336 122.88TB သည် 5,121.2µs၊ J5060 သည် 5,548.9µs နှင့် P5336 61.44TB သည် 6,026.4µs ဖြင့် အဆုံးသတ်ခဲ့ပြီး R6060 သည် 4,086.6µs နှင့် 6550 ION သည် 1,588.0µs ဖြင့် အဆုံးသတ်ခဲ့သည်။ 6600 ION ၏ ရေးသားမှု အပြောင်းအလဲများသည်လည်း latency တွင် 23,020.7µs ဖြင့် 32/8 တွင် ပေါ်လာခဲ့သည်။
64K ကျပန်းဖတ်ပါ။
P5430 ဟာ 1/1 မှာ 273.3MB/s နဲ့ 4.4K IOPS ကနေ 1,038.8MB/s၊ 1/8 မှာ 1,951.8MB/s၊ 2/8 မှာ 3,447.6MB/s နဲ့ 4/8 မှာ 5,591.4MB/s အထိ မြင့်တက်လာခဲ့ပြီး Gen4 ရဲ့ 8/8 မှာတော့ 7,124.8MB/s နဲ့ 114.0K IOPS အထိ ရောက်ရှိခဲ့ကာ နောက်ဆုံး ငါးမှတ်အတွက် 1MB/s အတွင်းမှာပဲ ရှိနေခဲ့ပါတယ်။ အခြား Gen4 drive သုံးခုဖြစ်သည့် J5060 နှင့် P5336 နှစ်ခုစလုံးသည် တူညီသော 7,125MB/s ဖြင့် အမြင့်ဆုံးရရှိပြီး Gen5 drive များသည် ၎င်းကို သိသိသာသာ ကျော်လွန်သွားသည်- R6060 သည် 13,274.8MB/s၊ 6550 ION သည် 13,204.6MB/s နှင့် 6600 ION သည် 11,946.5MB/s တို့ဖြစ်သည်။
64K ကျပန်းဖတ်ရှုချိန် နှောင့်နှေးမှု
P5430 အတွက် ဖတ်ရှုချိန် နှောင့်နှေးမှုသည် ၁/၁ တွင် ၂၂၈.၂µs မှစတင်ခဲ့ပြီး ရှစ်မှတ်တွင် ၂၄၀µs မှ ၂၉၆µs အကြားတွင်ရှိနေခဲ့ပြီး ၁၆ မှတ်တွင် ၂၉၀µs မှ ၃၂၁µs၊ ၃၂ မှတ်တွင် ၃၅၇µs မှ ၃၇၄µs၊ ၆၄ မှတ်တွင် ၅၆၀.၉µs၊ ၁၂၈ မှတ်တွင် ၁,၁၂၂µs နှင့် ၃၂/၈ တွင် ၂,၂၄၄.၉µs အသီးသီးရှိခဲ့သည်။ drive သည် bandwidth-bound ဖြစ်ပြီးနောက် J5060 နှင့် P5336 drive နှစ်ခုစလုံးသည် တူညီသော ၂,၂၄၅µs ကိန်းဂဏန်း၏ ၁µs အတွင်း အဆုံးသတ်ခဲ့သည်၊ အဘယ်ကြောင့်ဆိုသော် လေးခုစလုံးသည် တူညီသော link ကို saturating လုပ်ထားသောကြောင့်ဖြစ်သည်။ Gen5 drive များသည် R6060 အတွက် ၁,၂၀၄.၅µs နှင့် 6600 ION အတွက် ၁,၄၆၇.၈µs အကြားတွင် အဆုံးသတ်ခဲ့သည်။ အလင်းအပိုင်းမှာတော့ P5430 ရဲ့ 228.2µs ဟာ အုပ်စုထဲမှာ အနှေးဆုံး first-access ကိန်းဂဏန်းတွေထဲမှာ ပါဝင်ပြီး P5336 122.88TB ကတော့ 227.5µs နဲ့ ရှိနေပြီး 6600 ION ကတော့ 110.3µs နဲ့ အမြန်ဆုံး ဖြစ်ပါတယ်။
4K ကျပန်းဖတ်ပါ။
P5430 သည် 1/1 တွင် 10.0K IOPS မှ 1/8 တွင် 77.1K၊ 2/8 တွင် 147.0K၊ 4/8 တွင် 273.3K၊ 8/8 တွင် 495.5K နှင့် 16/8 တွင် 822.6K အထိ အတိုင်းအတာရှိခဲ့ပြီး ထို့နောက် 975.2K IOPS နှင့် 32/8 တွင် 3,809.2MB/s တွင် အမြင့်ဆုံးရောက်ရှိခဲ့သည်။ ထိုအမြင့်ဆုံးသည် 30.72TB မော်ဒယ်အတွက် Solidigm ၏ 934.5K အဆင့်သတ်မှတ်ချက်ထက် ကျော်လွန်ပြီး 61.44TB အတွက် 948.9K နှင့် 122.88TB အတွက် 935.8K ဖြင့် P5336 drives နှစ်ခုလုံးကို ကျော်လွန်ခဲ့သည်။ single-job points များသည် 32/1 တွင် 130.2K သာရောက်ရှိသောကြောင့် drive သည် ၎င်း၏အဆင့်သတ်မှတ်ချက်သို့ရောက်ရှိရန် parallel jobs များလိုအပ်သည်။ Gen5 drives များနှင့် J5060 တို့သည် 32/8 တွင် အတော်လေး ကျော်လွန်သွားသည်- 6550 ION သည် 1.797M၊ 6600 ION သည် 1.727M၊ R6060 သည် 1.656M နှင့် J5060 သည် 1.322M တို့ ဖြစ်သည်။
4K ကျပန်းဖတ်ရှုချိန် နှောင့်နှေးမှု
P5430 ရဲ့ 4K read latency ဟာ 1/1 မှာ 99.8µs ရှိပြီး 8/8 အထိ multi-job point တွေမှာ 102µs နဲ့ 130µs ကြားမှာ ရှိနေခဲ့ပြီး 8/1၊ 16/1 နဲ့ 32/1 မှာရှိတဲ့ single-job deep-queue point တွေကတော့ 166µs ကနေ 245µs အထိ ရှိပါတယ်။ drive ဟာ IOPS ceiling ကို နီးကပ်လာတာနဲ့အမျှ 16/4 မှာ 142.4µs၊ 16/8 မှာ 155.0µs၊ 32/4 မှာ 172.6µs နဲ့ 32/8 မှာ 261.8µs အထိ မြင့်တက်လာခဲ့ပါတယ်။ P5336 drive နှစ်ခုဟာ မိုက်ခရိုစက္ကန့်အနည်းငယ်အတွင်းမှာပဲ curve တစ်ခုတည်းကို လိုက်လံခဲ့ပြီး 32/8 မှာ 268.8µs နဲ့ 272.0µs မှာ အဆုံးသတ်ခဲ့ပါတယ်။ 6600 ION သည် 52.4µs ဖြင့် အနိမ့်ဆုံး first-access figure ရှိပြီး 6550 ION သည် 141.5µs ဖြင့် အမြင့်ဆုံးတွင် အနိမ့်ဆုံးဖြစ်သည်။
4K ကျပန်းရေးပါ။
P5430 သည် 4K random write sweep ကို 1/1 တွင် 81.8K IOPS ဖြင့် latency 11.8µs ဖြင့် စတင်ခဲ့ပြီး 1/4 တွင် 134.1K အထိ မြင့်တက်လာကာ 1/8 တွင် 152.5K IOPS နှင့် 595.8MB/s တွင် အမြင့်ဆုံးရောက်ရှိခဲ့သည်။ ထိုအမြင့်ဆုံးအချိန်ပြီးနောက် ကျန်ရှိနေသော ပေါင်းစပ်မှုတိုင်းတွင် 111.7K မှ 149.7K အကြားတွင် I/O ၆၄ ခုအထိ ထိန်းသိမ်းထားနိုင်ခဲ့ပြီး single-job 32/1 point တွင် 84.6K သို့ ကျဆင်းသွားခဲ့ပြီး 16/8 တွင် 88.2K၊ 32/4 တွင် 90.3K နှင့် 32/8 တွင် 74.2K တွင် တည်ငြိမ်ခဲ့သည်။ Solidigm သည် drive ကို 120K တွင် အဆင့်သတ်မှတ်ခဲ့ပြီး P5430 သည် 18 မှတ်အနက် ကိုးမှတ်တွင် ၎င်းကို အောင်မြင်ခဲ့ပြီး အားလုံးသည် I/O လေးခုမှ ၃၂ ခုအကြား ရှိသည်။ ၎င်းသည် ထူးချွန်အဆင့် ၆၄ တွင် အဆင့်သတ်မှတ်ချက်၏ ၇ ရာခိုင်နှုန်းအတွင်း ရှိနေခဲ့ပြီး အနိမ့်ဆုံးတန်းစီအဆင့်နှစ်ခုတွင် ၎င်း၏အောက် ၂၅ ရာခိုင်နှုန်းမှ ၃၈ ရာခိုင်နှုန်းအထိ ကျဆင်းသွားခဲ့သည်။
အနီးဆုံး QLC drive ဖြစ်တဲ့ 6600 ION ဟာ 113.8K မှာ အမြင့်ဆုံးရောက်ရှိခဲ့ပေမယ့် 41K နဲ့ 114K ကြားမှာ ယိမ်းယိုင်ပြီး 41.4K မှာ ပြီးဆုံးခဲ့ပါတယ်။ R6060 ဟာ 51.2K မှာ အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး 30.8K မှာ ပြီးဆုံးခဲ့ပါတယ်။ P5336 122.88TB ဟာ 45.5K မှာ အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး 25.9K မှာ ပြီးဆုံးခဲ့ပါတယ်။ TLC 6550 ION ဟာ တူညီတဲ့အကွာအဝေးမှာရှိတဲ့ တစ်ခုတည်းသော drive ဖြစ်ပြီး 116.2K အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး 32/8 မှာ 95.5K ရှိခဲ့ပါတယ်။ J5060 နဲ့ P5336 61.44TB တို့ဟာ ဒီအုပ်စုကို မူလကလည်ပတ်ခဲ့တုန်းက 4K random write test ကို မပြီးမြောက်ခဲ့တာကြောင့် ဒီဇယားမှာ မပါဝင်ခဲ့ပါဘူး။
4K ကျပန်းရေးသားချိန် နှောင့်နှေးမှု
Latency သည် ၁/၁ တွင် ၁၁.၈µs၊ ၂/၁ တွင် ၁၉.၂µs၊ ၁/၄ တွင် ၂၉.၃µs၊ ၁/၈ တွင် ၅၁.၈µs နှင့် ၁၆ ခုမြောက်တွင် ၁၀၆µs မှ ၁၂၆µs အထိ ရှိနေခဲ့ပြီး၊ ထို့နောက် queue depth သည် ၃၂ တွင် ၂၅၅µs မှ ၃၇၈µs၊ ၆၄ တွင် ၅၅၈µs မှ ၅၇၂µs၊ ၁၂၈ တွင် ၁၄၁၆µs မှ ၁၄၅၀µs နှင့် ၃၂/၈ တွင် ၃၄၄၉.၄µs အထိ မြင့်တက်လာခဲ့သည်။ အဲဒီနောက်ဆုံးကိန်းဂဏန်းကို 6550 ION အတွက် 2,676.6µs၊ 6600 ION အတွက် 6,141.0µs၊ R6060 အတွက် 8,295.3µs နဲ့ P5336 122.88TB အတွက် 9,859.8µs တွေနဲ့ နှိုင်းယှဉ်ထားပါတယ်။
GPU တိုက်ရိုက်သိုလှောင်မှု
ဤ testbench တွင် ကျွန်ုပ်တို့ပြုလုပ်ခဲ့သော စမ်းသပ်မှုများထဲမှတစ်ခုမှာ Magnum IO GPU Direct Storage (GDS) စမ်းသပ်မှုဖြစ်သည်။ GDS သည် NVIDIA မှ တီထွင်ထားသော အင်္ဂါရပ်တစ်ခုဖြစ်ပြီး NVMe drives များ သို့မဟုတ် အခြားမြန်နှုန်းမြင့် storage devices များတွင် သိမ်းဆည်းထားသော အချက်အလက်များကို ဝင်ရောက်ကြည့်ရှုသည့်အခါ GPU များသည် CPU ကိုကျော်ဖြတ်နိုင်စေပါသည်။ GDS သည် system memory တွင် staging မလုပ်ဘဲ storage device နှင့် GPU memory အကြား အချက်အလက်များကို တိုက်ရိုက်ရွှေ့ပြောင်းပေးပြီး latency ကို လျှော့ချပေးပြီး throughput ကို တိုးမြှင့်ပေးသည်။
ရိုးရာအစဉ်အလာအရ GPU တစ်ခုက NVMe drive မှာသိမ်းဆည်းထားတဲ့ဒေတာကို စီမံဆောင်ရွက်တဲ့အခါ၊ ဒေတာဟာ GPU ဆီကိုမရောက်ခင် CPU နဲ့ system memory ကနေတစ်ဆင့် ဦးစွာဖြတ်သန်းသွားရပါမယ်။ ဒီလုပ်ငန်းစဉ်က CPU ဟာ ကြားခံအဖြစ်လုပ်ဆောင်ပြီး latency ကိုထည့်သွင်းပေးပြီး CPU cycle တွေနဲ့ memory bandwidth ကိုစားသုံးတာကြောင့် bottleneck တွေကိုဖြစ်ပေါ်စေပါတယ်။ GPU Direct Storage က GPU ကို PCIe bus မှတစ်ဆင့် storage device ကနေတိုက်ရိုက်ဒေတာကိုဝင်ရောက်ခွင့်ပြုခြင်းအားဖြင့် အဲဒီ hop ကိုဖယ်ရှားပေးပြီး training ဒါမှမဟုတ် inference pipeline မှတစ်ဆင့် terabytes တွေကို stream လုပ်တဲ့ AI workloads တွေအတွက်၊ အဲဒီ direct path က GPU တွေကို I/O မှာအလုပ်မလုပ်ဘဲမနေနိုင်အောင်တားဆီးပေးပါတယ်။ ကျွန်ုပ်တို့ရဲ့ GDSIO sweep ဟာ thread 1 မှ 128 အထိ 16K၊ 128K နဲ့ 1M transfer size တွေမှာ sequential reads နဲ့ writes တွေကိုလုပ်ဆောင်ပြီး point တစ်ခုစီအတွက် throughput၊ IOPS နဲ့ average latency တွေကိုအစီရင်ခံပါတယ်။
GDSIO အစဉ်လိုက် ဖတ်ရှုမှု ပမာဏ
P5430 ရဲ့ read curve ဟာ Solidigm ရဲ့ QLC controllers တွေကနေ ကျွန်တော်တို့ မျှော်လင့်ထားတဲ့ပုံစံပါပဲ- 16K မှာ မညီမညာဖြစ်နေပြီး transfer size ကြီးလာတာနဲ့အမျှ clean up ဖြစ်သွားပါတယ်။ 16K မှာ single thread မှာ 537MiB/s နဲ့ open လုပ်ခဲ့ပြီး thread လေးခုမှာ 166MiB/s နဲ့ ရှစ်ခုမှာ 179MiB/s အထိ ကျဆင်းသွားခဲ့ပါတယ်၊ ပြီးတော့ 16 မှာ 345MiB/s၊ 32 မှာ 501MiB/s နဲ့ 64 မှာ 808MiB/s အထိ ပြန်လည်ရောက်ရှိခဲ့ပြီး 128 thread မှာ 1.1GiB/s နဲ့ finish ဖြစ်သွားခဲ့ပါတယ်… ထို single-thread dip နှင့် recovery သည် P5336 drives များနှင့် DapuStors နှစ်ခုစလုံးသည် small-block အပိုင်းတွင်ပြသခဲ့သည့် ပုံစံတူဖြစ်ပြီး P5430 ကို 16K တွင် အုပ်စု၏အလယ်တွင်ထားခဲ့ပြီး၊ ထိပ်ပိုင်းတွင် Micron 6600 ION ၏ 1.9GiB/s ထက် များစွာနောက်ကျသော်လည်း DapuStors နှစ်ခုထက် သာလွန်ပြီး အလယ် thread အပိုင်းအခြားတွင် 6550 ION နှင့် အဆင့်တူဖြစ်သည်။
128K မှာ P5430 ဟာ thread တစ်ခုနဲ့ 290MiB/s ကနေ thread တစ်ခုနဲ့ 713MiB/s နဲ့ လေးခု၊ 1.1GiB/s နဲ့ ရှစ်ခု၊ 1.6GiB/s နဲ့ 16 ခု၊ 2.0GiB/s နဲ့ 32 ခု၊ 2.1GiB/s နဲ့ 64 ခု နဲ့ 2.3GiB/s နဲ့ 128 ခု အထိ မြင့်တက်လာခဲ့ပါတယ်။ အဲဒါက P5336 122.88TB ကို point-for-point နီးပါးနဲ့ တူညီစေပြီး 6550 ION နဲ့ တန်းတူ အဆုံးသတ်ခဲ့ပေမယ့် Gen5 drives တွေကတော့ ဒီမှာ နောက်ကျကျန်နေခဲ့ပါတယ်- 6600 ION က 5.3GiB/s၊ R6060 က 4.9GiB/s နဲ့ J5060 3.8GiB/s တွေက thread 128 ခုမှာ ရောက်ရှိခဲ့ပြီး P5336 61.44TB က 2.8GiB/s နဲ့ ရှိခဲ့ပါတယ်။
1M ရလဒ်များသည် P5430 ၏ Gen4 link သည် ၎င်း၏ အမြင့်ဆုံးအဆင့်ကို ပြသသည့်နေရာဖြစ်သည်။ ၎င်းသည် thread တစ်ခုတွင် 1.0GiB/s မှစတင်ခဲ့ပြီး လေးခုတွင် 2.9GiB/s နှင့် ရှစ်ခုတွင် 3.3GiB/s သို့ ခုန်တက်သွားပြီးနောက် thread ၁၆ ခုမှ 3.6GiB/s၊ 64 ခုတွင် 3.7GiB/s နှင့် 128 ခုတွင် 3.8GiB/s ဖြင့် ပြားချပ်သွားခဲ့သည်။ thread ၁၆ ခုမှစ၍ တည်ငြိမ်မှုမှာ bus ကုန်ဆုံးနေသော drive ဖြစ်ပြီး P5430 ကို အခြား Gen4 drive သုံးခုဖြစ်သည့် P5336 122.88TB 4.1GiB/s နှင့် P5336 61.44TB နှင့် J5060 4.3GiB/s တို့နှင့် တင်းကျပ်သော cluster တွင် ထားရှိပေးသည်။ အပေါ်ဆုံးမှာရှိတဲ့ Gen5 အတွဲဟာ သန့်ရှင်းစွာ ခွဲထွက်သွားပြီး R6060 နဲ့ 6600 ION နှစ်ခုစလုံးဟာ 5.9GiB/s နှုန်းနဲ့ ရှိနေပြီး TLC 6550 ION ကတော့ ဒီစမ်းသပ်မှုမှာ 2.6GiB/s နှုန်းနဲ့ အုပ်စုနောက်မှာ ရှိနေပါတယ်။ large-block GPU read stream မှာ P5430 ဟာ ပိုကြီးတဲ့ Gen4 QLC drives တွေရဲ့ 90 ရာခိုင်နှုန်းလောက်နဲ့ Gen5 ဦးဆောင် drives တွေရဲ့ သုံးပုံနှစ်ပုံလောက်ကို ပေးစွမ်းနိုင်ပါတယ်။
GDSIO စဉ်ဆက်မပြတ်ဖတ်ရှုခြင်း IOPS
P5430 သည် 16K workload တွင် 128 threads တွင် 74.8K IOPS ဖြင့် အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး 6600 ION သည် 130.4K၊ P5336 61.44TB သည် 93.3K နှင့် P5336 122.88TB တို့သည် 83.0K ဖြင့် အသီးသီးအုပ်စုတွင် စတုတ္ထနေရာတွင် ရပ်တည်နိုင်ခဲ့ပြီး 62.6K၊ 6550 ION သည် 62.1K နှင့် 54.7K ဖြင့် အသီးသီး ရပ်တည်နိုင်ခဲ့သည်။ 128K နှင့် 1M IOPS curves များသည် အထက်ဖော်ပြပါ throughput plateaus များကို လိုက်နာပြီး Gen4 link ပြည့်သွားသည်နှင့် P5430 သည် 128K တွင် 19K IOPS အောက်တွင် ရှိနေပြီး 1M တွင် 3.8K IOPS ခန့် ရှိနေသည်။
GDSIO စဉ်ဆက်မပြတ်ဖတ်ရှုချိန်
စမ်းသပ်မှုရဲ့ ပေါ့ပါးတဲ့အပိုင်းမှာ P5430 ရဲ့ single-thread 16K read latency 27.8µs ဟာ DapuStors နှစ်ခုထက်သာလွန်ပြီး J5060 အတွက် 20.2µs နဲ့ R6060 အတွက် 22.1µs သာရှိခဲ့ပြီး P5336 61.44TB ထက် 28.4µs သာရှိခဲ့ပါတယ်။ 6600 ION က 38.6µs မှာရှိနေပြီး QD1 မှာ ရုန်းကန်ခဲ့ရတဲ့ drive နှစ်ခုကတော့ P5336 122.88TB က 82.1µs နဲ့ 6550 ION က 90.9µs သာရှိခဲ့ပြီး နှစ်ခုစလုံးဟာ P5430 မှာမရှိခဲ့တဲ့ first-access penalty ကိုပေးဆောင်ရပါတယ်။ thread အရေအတွက်များလာသည်နှင့်အမျှ queue depth နှင့်အတူ latency မြင့်တက်လာပြီး group ရှိ drive တိုင်းအတွက်ကဲ့သို့ပင် 1M နှင့် 128 threads တွင် P5430 သည် 33ms ဝန်းကျင်တွင် အဆုံးသတ်ခဲ့ပြီး Gen5 drives များထက် 21ms ပိုများသော်လည်း 6550 ION ၏ 48ms အောက်တွင်ရှိပြီး P5336 drives နှစ်ခုနှင့် ကိုက်ညီပါသည်။
GDSIO အစဉ်လိုက်ရေးသားမှု ပမာဏ
1M မှာ P5430 ဟာ thread တစ်ခုတည်းမှာ 2.9GiB/s၊ thread လေးခုမှာ 3.0GiB/s၊ thread ရှစ်ခုကနေ ၃၂ ခုအထိ 2.9GiB/s နဲ့ thread 64 နဲ့ 128 ခုမှာ 2.7GiB/s ရေးသားခဲ့ပါတယ်။ အဲဒါက thread တစ်ခုကနေ ၃၂ အထိ drive ရဲ့ 3,000MB/s အဆင့်သတ်မှတ်ချက် (2.8GiB/s ခန့်) ဒါမှမဟုတ် thread 128 မှာ အမြင့်ဆုံးကနေ 10 ရာခိုင်နှုန်းလောက် ပျောက်ကွယ်သွားပြီး P5430 ဟာ thread 32 မှာ R6060 ရဲ့ 3.8GiB/s၊ thread 32 မှာ 6550 ION ရဲ့ 3.9GiB/s spike နဲ့ 32GiB/s မှာ P5336 61.44TB တို့နောက်မှာ 1M နေရာမှာ ရပ်တည်နိုင်ခဲ့ပြီး 6600 ION ရဲ့ 2.95GiB/s၊ J5060 ရဲ့ 2.8GiB/s နဲ့ P5336 122.88TB တို့ကို 2.86GiB/s နဲ့ အနိုင်ယူနိုင်ခဲ့ပါတယ်။
128K မှာ P5430 ဟာ thread တစ်ခုနဲ့ 1.7GiB/s မှ လေးခုနဲ့ 2.8GiB/s အထိ မြင့်တက်လာပြီး ရှစ်ခုနဲ့ ၁၆ ခုနဲ့ 2.9GiB/s အထိ မြင့်တက်လာကာ ၃၂ ခုနဲ့ 2.1GiB/s၊ ၆၄ ခုနဲ့ 1.7GiB/s အထိ ကျဆင်းသွားခဲ့ပါတယ်။ P5336 122.88TB ဟာ thread ရှစ်ခုမှာ 2.8GiB/s ကနေ ၁၂၈ ခုမှာ 2.1GiB/s အထိ နိမ့်ကျသွားခဲ့ပါတယ်။ P5336 61.44TB ဟာ 32GiB/s ကနေ 2.4GiB/s အထိ လျော့ကျသွားခဲ့ပါတယ်။ ဒါကြောင့် deep 128K write queues တွေအောက်မှာ ကျဆင်းမှုဟာ drive သုံးခုလုံးမှာ မျှဝေထားတဲ့ Solidigm QLC မိသားစုရဲ့ လက္ခဏာတစ်ခုလို့ ထင်ရပါတယ်။ DapuStor R6060 နှင့် Micron 6550 ION တို့သည် 128K တွင် thread ၆၄ ခုမှတစ်ဆင့် 3.7GiB/s မှ 3.8GiB/s အထိ ထိန်းသိမ်းထားနိုင်ပြီး J5060 သည် 2.8GiB/s တွင် တည်ငြိမ်နေသည်။ 16K တွင် P5430 သည် 582MiB/s မှ 1.3GiB/s အထိ ရှိပြီး P5336 122.88TB မှလွဲ၍ အခြားအရာအားလုံးနှင့် တူညီသော band တွင် ရှိပြီး 16K တွင် 0.8GiB/s ကို ဘယ်သောအခါမှ မဖယ်ရှားနိုင်ပါ။
GDSIO စဉ်ဆက်မပြတ်ရေးသားခြင်း IOPS
P5430 ရဲ့ 16K sequential write IOPS ဟာ thread ၁၆ ခုမှာ 88.2K အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး 94K နဲ့ 100K အကြား drive ငါးခုပါဝင်တဲ့ အုပ်စုမှာ ဆဋ္ဌမနေရာ ရရှိခဲ့ပါတယ်- 6550 ION က 100.0K၊ R6060 က 98.4K၊ 6600 ION က 98.0K၊ P5336 61.44TB က 94.4K နဲ့ J5060 က 89.0K တို့ပါ။ P5336 122.88TB က 53.3K အောက်မှာ အတော်လေးနိမ့်တဲ့ drive တစ်ခုပါ။ 6550 ION ကနေ P5430 အထိ ပျံ့နှံ့မှုက P5430 ရဲ့ စွမ်းရည်ထက် နှစ်ဆကနေ ရှစ်ဆအထိရှိတဲ့ drive တွေမှာ ၁၂ ရာခိုင်နှုန်း ကွာခြားပါတယ်။
GDSIO စဉ်ဆက်မပြတ်ရေးသားရန် နှောင့်နှေးမှု
P5430 အတွက် Single-thread 16K write latency သည် 26.0µs ရှိပြီး R6060 ပြီးနောက် 21.9µs ရှိပြီး P5336 61.44TB နှင့် တူညီကာ J5060 သည် 26.9µs၊ 6600 ION သည် 30.6µs၊ 6550 ION သည် 30.7µs နှင့် P5336 122.88TB တို့သည် 31.2µs ရှိသည်။ P5430 သည် ပေါ့ပါးပြီး အလယ်အလတ်တန်းစား 16K နှင့် 128K load များတစ်လျှောက်တွင် ထိုနေရာကို ထိန်းသိမ်းထားခဲ့သည်။ လေးလံတဲ့အပိုင်းမှာ တခြားဘက်ကို ခွဲထွက်သွားပါတယ်- 128K နဲ့ 128 threads မှာ သူ့ရဲ့ 9.4ms ဟာ အုပ်စုထဲမှာ အမြင့်ဆုံးဖြစ်ပြီး အထက်က throughput taper ရဲ့ အကျိုးဆက်ဖြစ်ပြီး 1M နဲ့ 128 threads မှာတော့ 47ms ဝန်းကျင်မှာ ပြီးဆုံးခဲ့ပြီး အမြင့်ဆုံးဘက်မှာ 54ms မှာ 6600 ION နဲ့ 50ms မှာ P5336 122.88TB နဲ့ အောက်မှာ 39ms မှ 45ms အကွာမှာ J5060, R6060, P5336 61.44TB နဲ့ 6550 ION အကြားနဲ့ အဆုံးသတ်ခဲ့ပါတယ်။
DLIO စစ်ဆေးရေးစံနှုန်း
AI လေ့ကျင့်ရေးပတ်ဝန်းကျင်များတွင် SSD လက်တွေ့ကမ္ဘာစွမ်းဆောင်ရည်ကို အကဲဖြတ်ရန်အတွက်၊ ကျွန်ုပ်တို့သည် Data and Learning Input/Output (DLIO) benchmark tool ကို အသုံးပြုခဲ့သည်။ Argonne National Laboratory မှ တီထွင်ထားသော DLIO ကို deep learning workloads များတွင် I/O ပုံစံများကို စမ်းသပ်ရန် အထူးဒီဇိုင်းထုတ်ထားသည်။ ၎င်းသည် သိုလှောင်မှုစနစ်များသည် checkpointing၊ data ingestion နှင့် model training ကဲ့သို့သော စိန်ခေါ်မှုများကို မည်သို့ကိုင်တွယ်ဖြေရှင်းသည်ကို ထိုးထွင်းသိမြင်စေပါသည်။ စမ်းသပ်မှုကို drive တစ်ခုစီတွင် checkpoints အပြည့်အစုံဖြင့် အပြည့်အဝထည့်သွင်းထားရန် ဒီဇိုင်းထုတ်ထားပြီး၊ ပိုကြီးသော SSD များသည် checkpoints များ ပိုမိုကိုက်ညီပါသည်။ machine learning model များကို လေ့ကျင့်ပေးသည့်အခါ၊ checkpoints များသည် မော်ဒယ်၏အခြေအနေကို ပုံမှန်သိမ်းဆည်းရန်နှင့် အနှောင့်အယှက်များ သို့မဟုတ် ပါဝါပြတ်တောက်မှုများအတွင်း တိုးတက်မှုဆုံးရှုံးမှုကို ကာကွယ်ရန်အတွက် မရှိမဖြစ်လိုအပ်ပါသည်။ ဤသိုလှောင်မှုလိုအပ်ချက်သည် အထူးသဖြင့် လေ့ကျင့်ရေးရှည်လျားသော လုပ်ဆောင်မှုများတွင် ရေရှည်ရေးသားစွမ်းဆောင်ရည် လိုအပ်ပါသည်။ ကျွန်ုပ်တို့သည် ၂၀၂၄ ခုနှစ်၊ ဩဂုတ်လ ၁၃ ရက်နေ့ထုတ် DLIO benchmark version 2.0 ကို အသုံးပြုခဲ့သည်။
ကျွန်ုပ်တို့၏ benchmarking သည် လက်တွေ့ကမ္ဘာအခြေအနေများကို ထင်ဟပ်စေရန်အတွက်၊ ကျွန်ုပ်တို့၏ စမ်းသပ်မှုကို LLAMA 3.1 405B model architecture ပေါ်တွင် အခြေခံခဲ့ပါသည်။ model parameters၊ optimizer states နှင့် layer states များကို ဖမ်းယူရန် torch.save() ကို အသုံးပြု၍ checkpointing ကို အကောင်အထည်ဖော်ခဲ့ပါသည်။ ကျွန်ုပ်တို့၏ setup သည် ရှစ် GPU များတစ်လျှောက် ဖြန့်ဝေထားသော 4-way tensor parallelism နှင့် 2-way pipeline parallelism ပါရှိသော hybrid parallelism strategy ကို အကောင်အထည်ဖော်ကာ ရှစ် GPU စနစ်ကို simulate လုပ်ခဲ့ပါသည်။ ဤ configuration သည် ခေတ်မီ large language model training လိုအပ်ချက်များကို ကိုယ်စားပြုသည့် 1,636GB checkpoint sizes ကို ရရှိစေခဲ့ပါသည်။
တစ်ခုလျှင် 1,636GB ရှိသော P5430 30.72TB တွင် pass တစ်ခုလျှင် checkpoint ၁၅ ခု ရှိပြီး 61.44TB drive နှစ်ခုအတွက် ၃၃ ခု၊ P5336 122.88TB အတွက် ၆၆ ခု၊ R6060 အတွက် ၆၈ ခု နှင့် 6600 ION အတွက် ၁၃၀ ခု ရှိသည်။ J5060 သည် ဤအုပ်စုတွင် မပါဝင်ပါ။ ရလဒ်များသည် pass သုံးခုတွင် checkpoint တစ်ခုစီရေးသားရန် ပျမ်းမျှအချိန်ဖြစ်သည်။
ပထမဆုံးဖြတ်သန်းမှုတွင် P5430 သည် စစ်ဆေးရေးဂိတ်တစ်ခုလျှင် ပျမ်းမျှ ၅၂၆.၀၃ စက္ကန့်၊ အုပ်စုတွင် အမြန်ဆုံးပထမဆုံးဖြတ်သန်းမှုရရှိခဲ့သော R6060 နှင့် စစ်ဆေးရေးဂိတ်တစ်ခုလျှင် ၄၈၄.၃၀ စက္ကန့်ဖြင့် 6550 ION တို့၏နောက်တွင် တတိယနေရာရရှိခဲ့သည်။ ၎င်းသည် P5336 122.88TB ထက် ၅၃၀.၇၅ စက္ကန့်ဖြင့် အနည်းငယ်သာ ကျော်လွန်ပြီး 6600 ION သည် ၅၈၀.၉၈ စက္ကန့်နှင့် P5336 61.44TB တို့သည် ၆၆၂.၆၈ စက္ကန့်ဖြင့် ပြီးဆုံးခဲ့သည်။ စစ်ဆေးရေးဂိတ်တစ်ခုလျှင် 1,636GB ဖြင့် P5430 ၏ ပထမဆုံးဖြတ်သန်းမှုသည် ခန့်မှန်းခြေအားဖြင့် 3.1GB/s အထိ ရှိပြီး တိုင်းတာထားသော 3,150MB/s write ceiling FIO နှင့် နီးစပ်သည်။
ဒုတိယ pass ဟာ ပထမ drive တစ်ခုစီ ပြည့်နေပြီးသားနဲ့ စတင်ခဲ့ပါတယ်။ P5430 ရဲ့ ပျမ်းမျှဟာ ၂၇ ရာခိုင်နှုန်း မြင့်တက်ပြီး ၆၆၆.၈၅ စက္ကန့်အထိ ရှိပါတယ်။ R6060 ဟာ အုပ်စုထဲမှာ အနှေးဆုံး ဒုတိယ pass အတွက် သူ့ရဲ့ ပထမ pass အချိန်ကို နှစ်ဆနီးပါး မြင့်တက်ခဲ့ပြီး 6600 ION ဟာ ၆၀ ရာခိုင်နှုန်း မြင့်တက်ပြီး ၉၂၆.၇၀ စက္ကန့်အထိ ရှိပြီး P5336 122.88TB ဟာ ၄၁ ရာခိုင်နှုန်း မြင့်တက်ပြီး ၇၄၆.၁၄ စက္ကန့်အထိ ရှိပြီး 6550 ION ဟာ ၁၈ ရာခိုင်နှုန်း မြင့်တက်ပြီး ၅၇၀.၂၃ စက္ကန့်အထိ ရှိပြီး P5336 61.44TB ဟာ ၆၄၀.၇၁ စက္ကန့်နဲ့ အနည်းငယ် ပိုမြန်ခဲ့ပါတယ်။
တတိယအကြိမ် ပျမ်းမျှများသည် drive တိုင်းတွင် pass two မှ ၅ ရာခိုင်နှုန်းအောက် ရွေ့လျားခဲ့သည်။ P5430 သည် ၆၇၇.၈၉ စက္ကန့်ဖြင့် ပြီးဆုံးခဲ့ပြီး ၁.၇ ရာခိုင်နှုန်း မြင့်တက်လာကာ 6550 ION သည် ၅၈၅.၀၃ စက္ကန့်နှင့် P5336 61.44TB သည် ၆၃၉.၆၃ စက္ကန့်ဖြင့် နောက်တွင် တတိယနေရာတွင် ရပ်တည်ခဲ့သည်။ ၎င်းသည် P5336 122.88TB သည် ၇၅၇.၃၁ စက္ကန့်ဖြင့် ပြီးဆုံးခဲ့ပြီး checkpoint တစ်ခုလျှင် အချိန် ၁၀ ရာခိုင်နှုန်းခန့် လျော့နည်းပြီး R6060 သည် ၉၆၅.၂၇ စက္ကန့်နှင့် 6600 ION သည် ၉၆၈ စက္ကန့်ဖြင့် ပြီးဆုံးခဲ့ခြင်းထက် ၃၀ ရာခိုင်နှုန်းခန့် လျော့နည်းပါသည်။
ပထမစစ်ဆေးရေးဂိတ် ၅၀၁.၂ စက္ကန့်ပြီးနောက်၊ P5430 သည် ပထမဖြတ်သန်းမှု၏ အခြားစစ်ဆေးရေးဂိတ် ၁၄ ခုအတွက် ၅၂၆.၂ မှ ၅၂၈.၄ စက္ကန့်အကြား၊ ၂.၂ စက္ကန့်ပျံ့နှံ့မှုရှိသည်။ နောက်အနီးကပ်ဆုံးဖြစ်သော P5336 122.88TB သည် ၎င်း၏ပထမဆုံးဖြတ်သန်းမှုတစ်လျှောက်တွင် ၅၂၀.၃ မှ ၅၄၈.၆ စက္ကန့်အထိရှိသည်။ စစ်ဆေးရေးဂိတ် ၁၆ မှ စစ်ဆေးရေးဂိတ် ၄၅ အထိ၊ P5430 သည် ပိုမိုကျယ်ပြန့်သော band ဖြင့် ၆၀၁.၄ မှ ၇၁၃.၆ စက္ကန့်အကြားတွင် လည်ပတ်ခဲ့ပြီး ဒုတိယနှင့် တတိယဖြတ်သန်းမှုများအကြားတွင် အဆင့်တက်ခြင်းမရှိဘဲ လည်ပတ်ခဲ့သည်။ P5336 122.88TB သည် ၎င်း၏ပထမဆုံးဖြတ်သန်းမှုပြီးနောက် ၆၆၁ မှ ၈၄၈ စက္ကန့်အချိန်များဖြင့် အဆင့်နှစ်ဆင့်ပုံစံကို လိုက်နာခဲ့ပြီး R6060 နှင့် 6600 ION တို့သည် ၎င်းတို့၏လည်ပတ်မှုများကို ၈၇၈ မှ ၁၀၃၄ စက္ကန့်အပိုင်းအခြားတွင် ပြီးဆုံးခဲ့သည်။
ကောက်ချက်
Solidigm D5-P5430 30.72TB သည် Gen4 interface ပေါ်တွင် သုံးနှစ်သက်တမ်းရှိ ဒီဇိုင်းတစ်ခုဖြစ်ပြီး GDSIO ရလဒ်များက ၎င်း၏အဆင့်အတွက် ကောင်းစွာအိုမင်းနေပြီဟု ညွှန်ပြနေသည်။ large-block GPU-direct reads တွင် 1M တွင် 3.8GiB/s ပေးပို့ခဲ့ပြီး 61TB နှင့် 122TB Gen4 QLC drives များ စီမံခန့်ခွဲနိုင်ခဲ့သည့် ပမာဏ၏ 90 ရာခိုင်နှုန်းခန့်နှင့် Gen5 R6060 နှင့် 6600 ION ၏ သုံးပုံနှစ်ပုံခန့်ကို ပေးပို့ခဲ့ပြီး၊ thread ၃၂ ခုမှတစ်ဆင့် single thread မှ ၎င်း၏ 3,000MB/s အဆင့်သတ်မှတ်ချက် သို့မဟုတ် ထို့ထက်ပို၍ 128 တွင် 10 ရာခိုင်နှုန်းခန့် fade ရှိပြီး ၎င်း၏ 3.0GiB/s အမြင့်ဆုံးသည် 6600 ION၊ J5060 နှင့် P5336 122.88TB တို့ကို ကျော်လွန်ခဲ့သည်။ ဖတ်ရှုမှုတွင် 27.8µs နှင့် ရေးသားမှုတွင် 26.0µs ရှိသော single-thread latency ကြောင့် နှစ်ခုလုံးတွင် ထိပ်ဆုံးသုံးဦးစာရင်းဝင်ခဲ့ပြီး ၎င်း၏ 16K write IOPS သည် ၎င်း၏စွမ်းရည်၏ နှစ်ဆမှ ရှစ်ဆအထိ drive များ၏ ၁၂ ရာခိုင်နှုန်းအတွင်း ရောက်ရှိခဲ့သည်။ ၎င်းပေးခဲ့သော နေရာနှစ်ခုမှာ Gen4 drive မှ ပေးစွမ်းနိုင်မည်ဟု မျှော်လင့်ရသည့် နေရာများဖြစ်သည်- Gen5 အစုံသည် ပျောက်ကွယ်သွားသည့် 128K နှင့် 1M read ceilings နှင့် ၎င်း၏ P5336 မောင်နှမများကဲ့သို့ပင် 1.7GiB/s အထိ လျှော့ချထားသည့် deep-queue 128K writes တို့ဖြစ်သည်။
FIO မှာ P5430 ဟာ workload read-bound ဖြစ်တဲ့နေရာတိုင်းမှာ Gen4 ceiling မှာ ရှိနေပြီး 128K sequential read မှာ 7,132.1MB/s၊ 64K random read မှာ 7,125MB/s နဲ့ 4K random read မှာ 975.2K IOPS တွေ ရရှိခဲ့ပါတယ်။ 128K sequential နဲ့ 64K random မှာ 3,150MB/s နှုန်းနဲ့ queue depth မှာ fade မရှိဘဲ ရေးသားနိုင်ခဲ့ပါတယ်။ 4K random write ရလဒ်ကတော့ class ကနေ ခွဲထွက်နေတဲ့နေရာပါ။ ပေါင်းစပ်မှုတိုင်းမှာ 152.5K IOPS peak နဲ့ 111.7K ဒါမှမဟုတ် ပိုကောင်းတဲ့ I/O ၆၄ ခုအထိ ရရှိခဲ့ပြီး 122TB QLC drive နှစ်ခုနဲ့ 41K နဲ့ 114K ကြားမှာ မြင့်တက်ခဲ့တဲ့ 6600 ION အတွက် peak 45.5K နဲ့ 51.2K ရှိခဲ့ပါတယ်။ P5336 နှင့် 6600 ION တွင် 16KB ရှိပြီး P5430 သည် ဤစွမ်းရည်တွင် 8KB indirection unit ကို လည်ပတ်သည်။
DLIO checkpointing မှာ P5430 ဟာ သူ့ရဲ့ပထမဆုံး pass မြန်နှုန်းဟာ 3.1GB/s လောက်ရှိပြီး FIO write ceiling နဲ့နီးစပ်ပါတယ်။ နောက်ဆုံး checkpoint ၁၄ ခုမှာ ၂.၂ စက္ကန့် spread ရှိခဲ့ပြီး တတိယအကြိမ် pass မှာ 1,636GB checkpoint တိုင်းအတွက် 677.89 စက္ကန့်နဲ့ ပြီးဆုံးခဲ့ပါတယ်။ ဒါကြောင့် TLC 6550 ION နဲ့ P5336 61.44TB တို့နောက်မှာ အုပ်စုထဲမှာ တတိယနေရာရခဲ့ပြီး P5336 122.88TB ထက် checkpoint တိုင်းအတွက် အချိန် ၁၀ ရာခိုင်နှုန်းလောက် လျော့နည်းပြီး R6060 နဲ့ 6600 ION ထက် ၃၀ ရာခိုင်နှုန်းလောက် လျော့နည်းပါတယ်။ 122TB နဲ့ 245TB drive တွေဟာ fill တစ်ကြိမ်မှာ checkpoint လေးဆကနေ ကိုးဆအထိ ပိုများပြားစွာ သိမ်းဆည်းထားနိုင်ပေမယ့် ပထမဆုံး pass ပြီးနောက်မှာ တစ်ခုချင်းစီကို write လုပ်ဖို့ ပိုကြာခဲ့ပါတယ်။
ဒီ drive ကို review လုပ်ဖို့ နည်းနည်းနောက်ကျနေပေမယ့် P5430 ဟာ 2026 ခုနှစ်မှာ Solidigm က ဒီဇိုင်းထုတ်ထားတဲ့ mainstream QLC slot ဖြစ်တာကြောင့် သင့်တော်ပါတယ်- read-heavy content နဲ့ object tiers၊ block size ကြီးကြီးတွေမှာ GPU တွေကို feed လုပ်တဲ့ warm data lakes နဲ့ virtualized ဒါမှမဟုတ် mixed workloads တွေအတွက်ပါ။ ယေဘုယျအားဖြင့် Gen4 QLC နဲ့ ကိုက်ညီပါတယ်- Gen5 မှာ အသစ်တည်ဆောက်တဲ့ ဝယ်သူတစ်ယောက်ဟာ 128K sequential read bandwidth ၆၂ ရာခိုင်နှုန်းကနေ ၉၆ ရာခိုင်နှုန်းအထိ ပိုရပြီး drive အသစ်တွေကနေ slot တစ်ခုစီရဲ့ capacity နှစ်ဆကနေ ရှစ်ဆအထိ ရနိုင်ပါတယ်၊ အဲဒါတွေက ဝယ်ယူမှုဆုံးဖြတ်ချက်ချဖို့ တွန်းအားပေးတဲ့ drive တွေဆိုရင်ပေါ့။ ကျန်တဲ့သူတွေအားလုံးအတွက် P5430 ဟာ ကျိုးကြောင်းဆီလျော်တဲ့ 30TB drive တစ်ခုဖြစ်ပြီး QLC drive ကြီးကြီးတွေမှာ မရတဲ့ ခံနိုင်ရည်၊ ပါဝါနဲ့ small-block စွမ်းဆောင်ရည်တွေ ပါဝင်ပါတယ်။
အမေဇုံ