အောက်တိုဘာလတုန်းက NVIDIA DGX Spark ကို ကျွန်တော်တို့ ပထမဆုံးရခဲ့တုန်းက NVIDIA ဟာ datacenter-class AI ကို စားပွဲပေါ်မှာ အသုံးပြုလို့ရတဲ့အထိ လျှော့ချဖို့ တကယ်စဉ်းစားနေခဲ့တာ ထင်ရှားပါတယ်။ ကျွန်တော်တို့ရဲ့ Founders Edition နမူနာက Grace Blackwell-based GB10 platform က ကျစ်လျစ်ပြီး ကိုယ်ပိုင်တပ်ဆင်ထားတဲ့ appliance တစ်ခုမှာ ဘာတွေလုပ်ဆောင်နိုင်လဲဆိုတာကို အစောပိုင်း လေ့လာကြည့်စေခဲ့ပါတယ်။
ထိုအချိန်မှစ၍ OEM ဒီဇိုင်းများဖြင့် ဂေဟစနစ်သည် ရင့်ကျက်လာခဲ့သည်။ မကြာသေးမီက GB10 ပါ Dell Pro Max နှစ်ခုကို ပြန်လည်သုံးသပ်ရန်အတွက် ဓာတ်ခွဲခန်းတွင် လက်ခံရရှိခဲ့ပါသည်။ ၎င်းတို့ကို ကျွန်ုပ်တို့၏ အခြား Spark စနစ်များနှင့်အတူ ထားရှိခဲ့ပြီး စွမ်းဆောင်ရည် တသမတ်တည်းရှိမှု၊ အပူချိန်နှင့် ရောင်းချသူ အကောင်အထည်ဖော်မှုများတစ်လျှောက် အလုံးစုံဒီဇိုင်းကွာခြားချက်များကို အကဲဖြတ်ခဲ့ပါသည်။
မူရင်း Spark သည် reference hardware ကို အာရုံစိုက်ခဲ့သော်လည်း Dell သည် ၎င်း၏ကိုယ်ပိုင်စတိုင်ကို ပလက်ဖောင်းသို့ ယူဆောင်လာခဲ့သည်။ GB10 ပါသည့် Pro Max တွင် Dell ၏ L6 chassis ဒီဇိုင်းပါဝင်ပြီး ပိုမိုသပ်ရပ်သော စက်မှုလုပ်ငန်းသုံးပုံစံနှင့် desktop နှင့်လိုက်ဖက်သော အလှအပများပါရှိကာ GB10 အခြေခံအုတ်မြစ်ကို ထိန်းသိမ်းထားစဉ် ထူးခြားသောလက္ခဏာကို ပေးစွမ်းသည်။ ၎င်းသည် developer kit တစ်ခုကဲ့သို့မဟုတ်ဘဲ professional workspace အတွက် ရည်ရွယ်ထားသော အပြီးသတ်ထုတ်ကုန်တစ်ခုကဲ့သို့ ပိုမိုခံစားရစေသည်။
ဒီစာရေးနေချိန်မှာပဲ 1TB configuration ကို Dell ရဲ့ store မှာ $4,061.34 နဲ့ စာရင်းသွင်းထားပြီး premium desktop AI appliance အဖြစ် သတ်မှတ်ထားပါတယ်။ ဒီသုံးသပ်ချက်မှာ Dell ရဲ့ GB10 platform ကို ကျွန်တော်တို့စမ်းသပ်ခဲ့တဲ့ တခြား Spark system တွေနဲ့ ဘယ်လိုနှိုင်းယှဉ်ထားလဲဆိုတာကို လေ့လာကြည့်ပါမယ်။ real-world performance နဲ့ ရေရှည် workloads တွေအောက်မှာ thermal behavior ကို အဓိကထားပါတယ်။
GB10 ပါဝင်သော Dell Pro Max ၏ သတ်မှတ်ချက်များ
အောက်ပါဇယားတွင် GB10 ပါ Dell Pro Max အတွက် ရရှိနိုင်သော သိုလှောင်မှု ပုံစံများနှင့် တည်ဆောက်မှု ရွေးချယ်စရာများကို ဖော်ပြထားသည်။
| specification | GB10 ပါဝင်တဲ့ Dell Pro Max |
|---|---|
| အရွယ်အစားနှင့်အလေးချိန် | |
| အမြင့် | အတွက် 2 |
| width | အတွက် 5.9 |
| အနက် | အတွက် 5.9 |
| အလေးချိန် | 2.69 ပေါင် |
| processor ကို | |
| ပရိုဆက်ဆာအမျိုးအစား | NVIDIA GB10 (Grace Blackwell Superchip) (20 Cores) |
| ပေါင်းစပ်ဂရပ်ဖစ် | NVIDIA Blackwell GPU (ပေါင်းစပ်ထားသည်) |
| မှတ်ဉာဏ် | |
| memory အမျိုးအစား | LPDDR5x (ပေါင်းစည်းထားသော စနစ် မှတ်ဉာဏ်) |
| မှတ်ဉာဏ် Configuration | 128 GB LPDDR5x၊ ပေါင်းစည်းထားသော စနစ်မှတ်ဉာဏ် |
| မှတ်ဉာဏ် Bandwidth | ၂၇၃ GB/s (၈၅၃၃ MT/s) |
| ကွန်ပျူတာစက်လည်ပတ်ရေးစနစ်ပရိုဂရမ် | |
| ထောကျပံ့ OS ကို | NVIDIA DGX OS |
| ပြင်ပပေါက်များနှင့် အပေါက်များ | |
| Network Ports များ | RJ45 တစ်ခု (10GbE) NVIDIA ConnectX-7 NIC (200G × 2 QSFP) |
| USB port | USB 3.2 Gen 2×2 Type-C (20Gbps) သုံးခု PD in ပါရှိသော USB 3.2 Gen 2×2 Type-C တစ်ခု |
| ဗီဒီယို ပို့တ်(များ) | HDMI 2.1a တစ်ခု |
| ပါဝါအဒက်တာပေါက် | USB Type-C (PD IN) |
| လုံခြုံရေး slot | အဘယ်သူမျှမ |
| ကြိုးမဲ့ | |
| ဝိုင်ဖိုင် | WiFi 7 (AW-EM637၊ 2×2) |
| ဘလူးတုသ် | ဘလူးတုသ် ၅.၀ |
| သိုလှောင်ခြင်း | |
| သိုလှောင်မှုရွေးချယ်စရာများ | M.2 Gen4 NVMe: 1TB / 2TB / 4TB (Opal 2.0 ကွဲပြားနိုင်သည်) |
| ပါဝါစ Adapter ကို | |
| ပုံစံ | ၂၄၀ ဝပ် ပြင်ပ အဒက်တာ (USB Type-C) |
GB10 တည်ဆောက်ပုံနှင့် ဒီဇိုင်းပါဝင်သော Dell Pro Max
အလုံးစုံပြောရရင် Dell ဟာ သူ့ရဲ့ Pro series desktop တွေနဲ့ ကွဲပြားတဲ့ ဒီဇိုင်းချဉ်းကပ်မှုကို ယူဆောင်လာခဲ့ပြီး mini 1L chassis ပေမယ့် enterprise server ရဲ့ အလှတရားကို ပေးစွမ်းတဲ့ ရှေ့ဘက် honeycomb bezel ကို ထည့်သွင်းထားပါတယ်။ အလုံးစုံတည်ဆောက်ပုံက အထင်ကြီးစရာပါပဲ။ သေနတ်သံမီးခိုးရောင်သတ္တုအဖုံးက လက်ထဲမှာ ခိုင်ခံ့ပြီး ကောင်းမွန်စွာတည်ဆောက်ထားတဲ့ အထိအတွေ့ကို ပေးစွမ်းတာကြောင့် အလုပ်များတဲ့စားပွဲပေါ်မှာဖြစ်စေ၊ ဓာတ်ခွဲခန်းထဲမှာဖြစ်စေ သွားရင်းလာရင်း သယ်ဆောင်ရလွယ်ကူပြီး တာရှည်ခံပါတယ်။ Dell ရဲ့ GB10 ဒီဇိုင်းမှာ LED power indicator လည်း ပါဝင်ပြီး ဈေးကွက်ထဲက တခြားဗားရှင်းတစ်ခုမှာပဲ မြင်ဖူးပါသေးတယ်။
GB10 သည် ရှေ့နှင့်နောက်တွင် အမြင့် ၁.၈၀ လက်မရှိပြီး အမြင့်ဆုံးအမြင့် ၂.၀ လက်မရှိသည်။ ၅.၉၀ လက်မ စတုရန်းအရွယ်အစားရှိသော ကျစ်လစ်သော အရွယ်အစားသည် နေရာအနည်းငယ်သာယူပြီး ဖွဲ့စည်းမှုပုံစံပေါ် မူတည်၍ ၂.၆၉ မှ ၂.၉၆ ပေါင်ကြား အလေးချိန်ရှိသည်။
စက်ရဲ့နောက်ဘက်မှာ RJ45 10GbE Ethernet port တစ်ခု၊ QSFP 200 Gbps port နှစ်ခု (Realtek RTL8127-CG; NVIDIA ConnectX-7)၊ DisplayPort 1.4a alt-mode နဲ့ power delivery ပါတဲ့ USB 3.2 Gen 2×2 (20 Gbps) Type-C port သုံးခု၊ HDMI 2.1a port တစ်ခုတို့ကို တွေ့ရမှာဖြစ်ပြီး Dell ဟာ Founders Edition နဲ့ တခြား OEM ဒီဇိုင်းတွေနဲ့ ကွဲပြားပြီး portable workstation portfolio မှာ အသုံးများတဲ့ ပိုကြီးတဲ့ 280W USB Type-C power adapter ကို ထည့်သွင်းထားတာကြောင့် ရေရှည်အလုပ်တွေအတွက် power headroom လုံလောက်စွာ ပေးစွမ်းနိုင်ပါတယ်။
အတွင်းပိုင်းတွင် GB10 တွင် AzureWave AW-EM637 ကြိုးမဲ့မော်ဂျူးပါဝင်ပြီး ပြောင်းလွယ်ပြင်လွယ်ရှိသော ဖြန့်ကျက်မှုအခြေအနေများအတွက် WiFi ချိတ်ဆက်မှုကို ပေးစွမ်းသည်။ မြန်ဆန်သော boot အချိန်များနှင့် မြန်ဆန်သောဒေတာဝင်ရောက်မှုအတွက် PCIe Gen 4 SSD များကို ပံ့ပိုးပေးသည့် single M.2 2230/2242 slot ဖြင့် သိုလှောင်မှုကို ကိုင်တွယ်သည်။ 8533 MT/s ဖြင့် လည်ပတ်သော 128GB LPDDR5X RAM ဖြင့် မန်မိုရီသည် အဓိကအချက်ဖြစ်သည်။ လိုအပ်ချက်များသော AI workloads များအတွက် လိုအပ်သော မြင့်မားသော bandwidth ကို ပေးစွမ်းသည်။
အဓိကအားဖြင့် AI inference နှင့် edge computing အတွက် ရည်ရွယ်ချက်ရှိရှိ တည်ဆောက်ထားသော NVIDIA GB10 chip ပါဝင်သည်။ စနစ်တွင် NVIDIA DGX OS ကို ကြိုတင်ထည့်သွင်းထားပြီး၊ ၎င်းသည် NVIDIA ၏ optimized Linux distribution ဖြစ်ပြီး ၎င်းတွင် ကြိုတင် configure လုပ်ထားသော drivers များ၊ CUDA libraries များနှင့် TensorFlow နှင့် PyTorch ကဲ့သို့သော လူကြိုက်များသော AI frameworks များ ပါဝင်သည်။ ၎င်းသည် အသုံးပြုသူများအား system setup ကြီးကြီးမားမားမလိုဘဲ AI application များကို ချက်ချင်း deploy လုပ်နိုင်သည်။
GB10 Thermals စမ်းသပ်ခြင်းပါရှိသော Dell Pro Max
GB10 ဖြင့် Dell Pro Max အတွင်းရှိ အစိတ်အပိုင်းများ၏ အပူပေးမှုကို စမ်းသပ်ရန်အတွက်၊ ကျွန်ုပ်တို့သည် ၎င်းတို့ကို Founders Edition နှင့် ASUS၊ Acer နှင့် Gigabyte ကဲ့သို့သော OEM များနှင့် နှိုင်းယှဉ်ခဲ့ပါသည်။ ကျွန်ုပ်တို့၏ Spark Thermal Testing စာတမ်းတွင် ဤအကြောင်းကို ပိုမိုနက်ရှိုင်းစွာ လေ့လာခဲ့ပါသည် ။
stack တစ်လျှောက်မှာ၊ ကျွန်ုပ်တို့သည် workload အတွက် အဆင့်သုံးဆင့်ဖြင့် သတ်မှတ်ထားသော အချိန်ကာလတစ်ခုအတွင်း component များကို စောင့်ကြည့်ခဲ့ပြီး တစ်နာရီခန့်ကြာ utilization ကို မြှင့်တင်ပေးခဲ့ပါသည်။ ၎င်းက device ကို ကြာရှည်စွာအသုံးပြုမှုနှင့် workload အဆင့်အမျိုးမျိုးတွင် မြင်တွေ့နိုင်စေခဲ့ပါသည်။ ကျွန်ုပ်တို့သည် CPU၊ GPU၊ network၊ NVMe အပူချိန်နှင့် စုစုပေါင်းပါဝါသုံးစွဲမှုကို စောင့်ကြည့်ခဲ့ပါသည်။
CPU အပူချိန်
CPU အပူချိန်စမ်းသပ်မှုအတွင်း GB10 ပါ Dell Pro Max သည် burst-heavy အဆင့်များအတွင်း အုပ်စု၏ အပေါ်ဆုံးအလွှာသို့ ဦးတည်သွားခဲ့သည်။ Prefill Heavy တွင် Dell သည် ၁၅၀၀ စက္ကန့်အမှတ်အသားခန့်တွင် အမြင့်ဆုံးအပူချိန် ၈၇.၇°C ကို မှတ်တမ်းတင်ခဲ့ပြီး ဤ workload transition အတွင်း အပူဆုံးစနစ်များထဲတွင် ပါဝင်သည်။
Equal ISL/OSL အဆင့်တွင် Dell သည် အပေါ်ပိုင်း-အလယ်အလတ်စနစ်များနှင့် အနီးကပ်ပူးပေါင်းခဲ့ပြီး ASUS နှင့် Founders Edition များနှင့်အတူ 62–75°C အတိုင်းအတာအထိ တဖြည်းဖြည်းမြင့်တက်လာခဲ့သည်။ ဤအဆင့်တွင် Gigabyte သည် သိသိသာသာအေးပြီး Acer သည် အနိမ့်ဆုံး CPU အပူချိန်ကို ထိန်းသိမ်းထားနိုင်ခဲ့သည်။
Prefill Heavy အောက်တွင် Dell ၏ အပူချိန်မျဉ်းကွေးသည် နယ်ပယ်အများစုထက် ပိုမိုပြင်းထန်စွာ မြင့်တက်ခဲ့ပြီး Decode Heavy သို့ မပြောင်းလဲမီ 88°C အနီးတွင် အမြင့်ဆုံးသို့ ရောက်ရှိခဲ့သည်။ Decode workloads များကို စဉ်ဆက်မပြတ် လုပ်ဆောင်ပြီးသည်နှင့် စနစ်သည် 80–83°C တွင် တည်ငြိမ်သွားခဲ့သည်။ ၎င်းသည် Dell ကို အုပ်စု၏ နွေးထွေးသောဘက်သို့ ထားရှိခဲ့သော်လည်း၊ ဆက်တိုက် တိုးမြှင့်ခြင်းထက် တိုးချဲ့ထားသော ဝန်အောက်တွင် အပူချိန်ထိန်းချုပ်မှုကို တသမတ်တည်း ပြသခဲ့သည်။
Acer သည် စမ်းသပ်မှုတစ်လျှောက်လုံး အအေးဆုံး အကောင်အထည်ဖော်မှုအဖြစ် ဆက်လက်တည်ရှိနေပြီး ကြာရှည်ခံသော အဆင့်များတွင် ၆၀ ဒီဂရီစင်တီဂရိတ် အလယ်အလတ်တွင် ထိန်းထားနိုင်သည်။ Gigabyte သည် Dell နှင့် နှိုင်းယှဉ်ပါက ပိုမိုသင့်တင့်သော အပူချိန်ကိုလည်း ထိန်းသိမ်းထားနိုင်သည်။
အလုံးစုံသော် GB10 ပါ Dell Pro Max သည် burst workloads များအတွင်း အုပ်စုတွင် အမြင့်ဆုံး CPU အပူချိန်များထဲမှ တစ်ခုကို ရရှိခဲ့သော်လည်း workload ပုံမှန်ဖြစ်သွားသည်နှင့် ယှဉ်ပြိုင်နိုင်သော sustained-load thermals များအဖြစ်သို့ တည်ငြိမ်သွားခဲ့သည်။
GPU အပူချိန်
GPU အပူချိန်များသည် အလားတူပုံစံအတိုင်း လိုက်လာခဲ့သည်။ Prefill Heavy ကာလအတွင်း Dell သည် အမြင့်ဆုံးအပူချိန် ၈၀°C ခန့်သို့ ရောက်ရှိခဲ့ပြီး burst အခြေအနေများအတွင်း stack ၏ အပေါ်ပိုင်းအပိုင်းအခြားတွင် ထားရှိခဲ့သည်။
Equal ISL/OSL မှာ Dell ဟာ ASUS နဲ့ Founders Edition တွေကို အနီးကပ်လိုက်မီပြီး ၆၀ ဒီဂရီစင်တီဂရိတ် အလယ်အလတ်အဆင့်ကို အလျင်အမြန် မြှင့်တင်နိုင်ခဲ့ပါတယ်။ Gigabyte နဲ့ Acer နှစ်ခုစလုံးဟာ ဒီအဆင့်မှာ အပူချိန်နိမ့်တဲ့နေရာမှာပဲ လည်ပတ်ခဲ့ကြပါတယ်။
Decode Heavy သို့ ကူးပြောင်းပြီးသည်နှင့် Dell သည် 68–71°C အကြားတွင် တည်ငြိမ်သွားခဲ့သည်။ Acer နှင့် Gigabyte ထက် ပိုပူနေသေးသော်လည်း၊ burst phase နှင့် နှိုင်းယှဉ်ပါက ကွာဟချက် ကျဉ်းမြောင်းသွားခဲ့သည်။ Founders Edition နှင့် ASUS တို့သည် Dell ကဲ့သို့ စဉ်ဆက်မပြတ် decoding လုပ်နေစဉ်အတွင်း အလားတူ thermal band တွင် ခြေရာခံခဲ့သည်။
အားလုံးကို ခြုံငုံကြည့်လျှင် Dell စနစ်သည် ပိုမိုမြင့်မားသော burst GPU အပူချိန်များကို ပြသခဲ့သော်လည်း ရေရှည် workloads များအောက်တွင် တည်ငြိမ်ပြီး ခန့်မှန်းနိုင်သော အပြုအမူကို ပြသခဲ့သည်။
NVMe အပူချိန်
Dell ပုံစံနှင့် အထင်ရှားဆုံး ကွဲပြားသည့်နေရာများမှာ သိုလှောင်မှု အပူချိန်များဖြစ်သည်။ Prefill Heavy ကာလအတွင်း NVMe drive သည် ခန့်မှန်းခြေအားဖြင့် 63–64°C တွင် အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး နှိုင်းယှဉ်အုပ်စု၏ အမြင့်ဆုံးနေရာတွင် ရပ်တည်ခဲ့သည်။
Equal ISL/OSL မှာ Dell ဟာ အနိမ့်ဆုံးကနေ အလယ်အလတ် ၄၀°C အတွင်းမှာ စတင်ခဲ့ပြီး တဖြည်းဖြည်း မြင့်တက်လာကာ အဆင့်တစ်လျှောက်လုံးမှာ ပြိုင်ဘက်အများစုထက် အနည်းငယ်ပိုနွေးလာပါတယ်။ Decode workloads တွေကို စဉ်ဆက်မပြတ်လုပ်ဆောင်နေစဉ်အတွင်း drive ဟာ ၅၉–၆၁°C ကြားမှာ တည်ငြိမ်နေခဲ့ပါတယ်။
ဤအပူချိန်များသည် စံ NVMe လည်ပတ်မှုသတ်မှတ်ချက်များအတွင်း ရှိနေသော်လည်း၊ ၎င်းတို့သည် Acer နှင့် Gigabyte တို့နှင့် နှိုင်းယှဉ်လျှင် ပိုမိုတင်းကျပ်သော လေစီးဆင်းမှု သို့မဟုတ် သိုလှောင်မှုနေရာချထားမှုကို ညွှန်ပြနေပြီး နှစ်ခုစလုံးသည် တူညီသောအဆင့်များအတွင်း နိမ့်ကျသော ရေရှည်တည်တံ့သော NVMe အပူချိန်များကို ထိန်းသိမ်းထားနိုင်ခဲ့သည်။
NIC အပူချိန်
NIC thermals များသည် အလားတူပုံစံရှိသော်လည်း သိပ်မသိသာပါ။ Dell သည် Prefill Heavy တွင် အနိမ့်ဆုံး 70°C အတိုင်းအတာတွင် အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး Decode Heavy တွင် အပေါ်ဆုံး 60°C အတိုင်းအတာသို့ တည်ငြိမ်သွားခဲ့သည်။
စမ်းသပ်မှုတစ်လျှောက်လုံးတွင် Dell သည် အုပ်စု၏ နွေးထွေးသောတစ်ဝက်တွင် ခြေရာခံခဲ့သော်လည်း ASUS သို့မဟုတ် Founders Edition မှ အလွန်အမင်း သွေဖည်မှုကို မပြသခဲ့ပါ။ Acer သည် အလုံးစုံ အနိမ့်ဆုံးအပူချိန်ကို ထပ်မံထိန်းသိမ်းထားခဲ့သည်။
GPU ပါဝါသုံးစွဲမှု
GPU ပါဝါအပြုအမူသည် အုပ်စု၏အလယ်နှင့် ပိုမိုနီးကပ်စွာ ကိုက်ညီပါသည်။ Dell သည် Prefill Heavy အဆင့်တွင် ၁၄၀၀-၁၆၀၀ စက္ကန့်အမှတ်အသားခန့်တွင် 70W ခန့်ဖြင့် အမြင့်ဆုံးရောက်ရှိခဲ့သည်။ ၎င်းသည် Founders Edition ၏ 74W အမြင့်ဆုံးသို့ ခဏတာနီးကပ်လာသော်လည်း အလုံးစုံအားဖြင့် အနည်းငယ်နိမ့်နေခဲ့သည်။
Equal ISL/OSL ကာလအတွင်း Dell သည် 27W ခန့်မှ 40W အလယ်အလတ်အဆင့်သို့ မြင့်တက်လာခဲ့ပြီး အဓိကအားဖြင့် အခြားစနစ်များနှင့် တစ်ပြေးညီဖြစ်သည်။ Prefill Heavy တွင် 70W သို့ ရောက်ရှိပြီးနောက် ပြန်လည်တည်ငြိမ်သွားခဲ့သည်။ Decode Heavy တွင် Dell သည် 40–45W အကြား တည်ငြိမ်ခဲ့ပြီး Acer နှင့် ASUS တို့ထက် အနည်းငယ်သာ မြင့်မားသော်လည်း Founders Edition ထက် နိမ့်ကျနေပြီး ကျန်ရှိသော benchmark တစ်လျှောက်လုံး GPU ပါဝါဆွဲအား အမြင့်ဆုံးကို ထိန်းသိမ်းထားနိုင်ခဲ့သည်။
ပါဝါရှုထောင့်မှကြည့်လျှင် Dell သည် GPU ကို အလွန်အကျွံ မောင်းနှင်နေပုံမပေါ်ပါ။ ယင်းအစား၊ ပြိုင်ဘက်အချို့နှင့် နှိုင်းယှဉ်ပါက ၎င်း၏ အပူချိန်မြင့်မားမှုသည် ပါဝါခွဲဝေမှု အလွန်အကျွံထက် ကိုယ်ထည်လေစီးဆင်းမှုနှင့် အတွင်းပိုင်း အပြင်အဆင် ဆုံးဖြတ်ချက်များကြောင့် ပိုမိုဖြစ်ပွားဖွယ်ရှိသည်။
အပူချိန်အကျဉ်းချုပ်
CPU၊ GPU၊ NVMe နှင့် NIC စောင့်ကြည့်မှုတစ်လျှောက်တွင် GB10 ပါသည့် Dell Pro Max သည် ယေဘုယျအားဖြင့် burst-heavy Prefill workloads များအတွင်း အုပ်စု၏ နွေးထွေးသောဘက်သို့ လည်ပတ်ခဲ့သည်။ သို့သော်၊ Decode အခြေအနေများအောက်တွင်၊ အပူချိန်များသည် အလွန်အမင်းမြင့်တက်ခြင်းမရှိဘဲ ယှဉ်ပြိုင်နိုင်သောအဆင့်များအထိ တည်ငြိမ်ခဲ့သည်။
Acer က အအေးဆုံး အပူချိန်ပရိုဖိုင်ကို အဆက်မပြတ် ထိန်းသိမ်းထားနိုင်ပြီး Gigabyte ကလည်း Dell နဲ့ နှိုင်းယှဉ်ရင် အအေးဆုံးဘက်မှာ လည်ပတ်ပါတယ်။ Founders Edition နဲ့ ASUS ကတော့ Dell ရဲ့ အပူချိန်အပြုအမူကို ပိုပြီး အနီးကပ် ခြေရာခံလေ့ရှိပါတယ်။
အဆုံးစွန်အားဖြင့်၊ အချက်အလက်များအရ Dell ၏ အကောင်အထည်ဖော်မှုသည် ကျစ်လစ်သိပ်သည်းသော ဒီဇိုင်းနှင့် workstation-style packaging ကို ဦးစားပေးကြောင်း ညွှန်ပြနေပြီး၊ ဝန်အားအောက်တွင် အပူချိန်အပြုအမူသည် တည်ငြိမ်နေသော်လည်း stack တွင် အအေးဆုံးစွမ်းဆောင်ရည်ရှိသော chassis နှင့် နှိုင်းယှဉ်ပါက ပြင်းထန်သော workload transition များအတွင်း headroom ပိုမိုကျဉ်းမြောင်းကြောင်း ပြသနေပါသည်။
Dell Pro Max GB10 စွမ်းဆောင်ရည်စမ်းသပ်ခြင်း
GB10 ပါဝင်တဲ့ Dell Pro Max ကို အကဲဖြတ်ဖို့အတွက်၊ ကြီးမားတဲ့ ဘာသာစကားမော်ဒယ်တွေအတွက် အကျယ်ပြန့်ဆုံး အသုံးပြုထားတဲ့ high-throughput inference နဲ့ serving engine ဖြစ်တဲ့ vLLM Online Serving benchmark ကို အသုံးပြုပြီး Spark unit တွေကို စမ်းသပ်ခဲ့ပါတယ်။ vLLM online serving benchmark ဟာ လည်ပတ်နေတဲ့ vLLM server ကို concurrent request တွေ ပေးပို့ပြီး load condition အမျိုးမျိုးမှာ total token throughput (tokens per second)၊ first token ဆီကို ရောက်တဲ့အချိန်နဲ့ output token တစ်ခုအတွက် ရောက်တဲ့အချိန် အပါအဝင် key metrics တွေကို တိုင်းတာခြင်းအားဖြင့် real-world production workloads တွေကို simulate လုပ်ပါတယ်။
ကျွန်ုပ်တို့၏ စမ်းသပ်မှုသည် dense architectures နှင့် micro-scaling data types များအပါအဝင် မော်ဒယ်အမျိုးမျိုးကို လွှမ်းခြုံထားပြီး workload scenarios သုံးခုဖြစ်သည့် Equal ISL/OSL၊ Prefill Heavy နှင့် Decode Heavy တို့တွင် စွမ်းဆောင်ရည်ကို အကဲဖြတ်ခဲ့သည်။ ဤ scenarios များသည် balanced input နှင့် output loads များမှ compute-intensive prompt processing နှင့် memory-bandwidth-bound token generation အထိ ကွဲပြားသော real-world serving patterns များကို ကိုယ်စားပြုသည်။
GB10 ပါဝင်တဲ့ Dell Pro Max အပြင်၊ ASUS၊ Acer နဲ့ Gigabyte တို့ရဲ့ OEM စနစ်တွေနဲ့အတူ NVIDIA Founders Edition Spark ကို ရည်ညွှန်းချက်အနေနဲ့ benchmark လုပ်ခဲ့ပါတယ်။ ဒါကြောင့် Dell ရဲ့ရလဒ်တွေကို ပိုမိုကျယ်ပြန့်တဲ့ ယှဉ်ပြိုင်မှုနယ်ပယ်ထဲမှာ ထည့်သွင်းနိုင်ပြီး ဘယ်ကိုဦးတည်နေလဲ၊ ဘယ်အုပ်စုနဲ့ လိုက်မီနေလဲ၊ ဒါမှမဟုတ် မတူညီတဲ့ မော်ဒယ်တွေနဲ့ workload အမျိုးအစားတွေမှာ ဘယ်ကိုဦးတည်နေလဲဆိုတာကို နားလည်နိုင်ခဲ့ပါတယ်။
GPT-OSS-120B
Equal ISL/OSL မှာ Dell ဟာ tok/s 68.57 ကနေ 670.83 အထိ တိုးမြှင့်ပြီး batch range တစ်လျှောက်လုံး field ရဲ့အလယ်မှာ ခြေရာခံပါတယ်။ Prefill Heavy ဟာ 298.60 tok/s ကနေစတင်ပြီး batch size 64 အလိုက် 2,707.15 tok/s အထိ တိုးမြှင့်ပြီး Dell ဟာ batch size ပိုများတဲ့နေရာမှာ ထိပ်ဆုံးမှာ ရပ်တည်ပါတယ်။ Decode Heavy ဟာ 37.74 ကနေ 273.54 tok/s အထိ တိုးမြှင့်ထားပြီး တခြား workload အမျိုးအစားတွေနဲ့ နှိုင်းယှဉ်ရင် scale က အကန့်အသတ်ရှိပါတယ်။
GPT-OSS-20B
Equal ISL/OSL သည် ၉၀.၇၆ မှ ၁၅၈၅.၂၈ tok/s အထိ တိုးချဲ့ပြီး အသုတ်အရွယ်အစားတစ်လျှောက်တွင် တည်ငြိမ်စွာ ကြီးထွားလာသည်။ Prefill Heavy သည် အသုတ်အရွယ်အစား ၆၄ တွင် ၄,၄၅၃.၅၅ tok/s အထိ ရောက်ရှိပြီး စမ်းသပ်ထားသော မော်ဒယ်များတွင် Dell ၏ အမြင့်ဆုံး absolute throughput ကို ကိုယ်စားပြုသည်။ Decode Heavy သည် ၄၉.၈၈ မှ ၆၈၇.၁၇ tok/s အထိ တိုးချဲ့ပြီး အသုတ်ရောင်စဉ်တစ်လျှောက်တွင် တည်ငြိမ်စွာ တိုးချဲ့သည်။
Qwen3 ကုဒ်ဒါ 30B A3B FB8
Equal ISL/OSL သည် ၁၀၃.၇၆ မှ ၁၂၅၈.၀၈ tok/s အထိ တိုးချဲ့ထားပြီး ရောင်းချသူများကို အသုတ်အရွယ်အစားအလိုက် အနီးကပ်အုပ်စုဖွဲ့ထားသည်။ Prefill Heavy သည် အသုတ်အရွယ်အစား ၆၄ တွင် ၂,၀၁၈.၅၈ tok/s အထိ တိုးလာပြီး အသုတ်အရွယ်အစား မြင့်မားသော စနစ်များအကြား အနည်းဆုံး ခွဲခြားမှုဖြင့် ဖြစ်သည်။ Decode Heavy သည် ၅၄.၆၉ မှ ၄၉၃.၈၂ tok/s အထိ ရှိပြီး ရောင်းချသူများတွင် အလားတူ clustering ကို ထိန်းသိမ်းထားသည်။
Qwen3 ကုဒ်ဒါ 30B A3B Base
Equal ISL/OSL သည် batch အရွယ်အစားအားလုံးတွင် 62.74 မှ 748.04 tok/s အထိ လည်ပတ်သည်။ Prefill Heavy scales များသည် 266.80 မှ 1,693.68 tok/s အထိရှိပြီး၊ အလယ်အလတ်နှင့် မြင့်မားသော batch အရွယ်အစားများတွင် upper band အနီးတွင် ရှိနေပါသည်။ Decode Heavy သည် workload spectrum အားလုံးတွင် 34.11 မှ 365.68 tok/s အထိ ရှိသည်။
လာမာ ၃.၁ ၈ဘီ ညွှန်ကြားချက် FP၄
Equal ISL/OSL သည် batch အရွယ်အစားအလိုက် 76.03 မှ 2,776.30 tok/s အထိ ချိန်ညှိပေးသည်။ Prefill Heavy သည် Dell ကို batch အရွယ်အစားကြီးများတွင် အလယ်အလတ်အဆင့်တွင် ထားပြီး throughput သည် stack ၏ ကျန်အပိုင်းများနှင့်အတူ တိုးလာသည်။ Decode Heavy သည် 40.87 မှ 575.50 tok/s အထိ ရှိပြီး batch အရွယ်အစားနှင့်အတူ တဖြည်းဖြည်း ချိန်ညှိသည်။
လာမာ ၃.၁ ၈ဘီ ညွှန်ကြားချက် FP၄
Equal ISL/OSL သည် ၂၄.၅၀ tok/s မှ ၁၀၇၉.၄၄ tok/s အထိ အတိုင်းအတာရှိပြီး ရောင်းချသူများသည် အသုတ်အပိုင်းအခြားတစ်လျှောက်တွင် အနီးကပ်ညှိနှိုင်းထားသည်။ Prefill Heavy သည် အသုတ်အရွယ်အစား ၆၄ တွင် ၂၄၅.၃၅ tok/s အထိရောက်ရှိပြီး အသုတ်အရွယ်အစားပိုများသော ရောင်းချသူများအကြား ခွဲခြားမှုတိုးလာသည်။ Decode Heavy သည် ၂၃.၆၀ tok/s မှ ၄၆၄.၁၂ tok/s အထိ အတိုင်းအတာရှိပြီး အုပ်စုတစ်လျှောက်တွင် အတိုင်းအတာတသမတ်တည်းရှိသည်။
GPU တိုက်ရိုက်သိုလှောင်မှု
Spark မှာ ကျွန်တော်တို့ ပြုလုပ်ခဲ့တဲ့ စမ်းသပ်မှုတွေထဲက တစ်ခုကတော့ MagnumIO GPU Direct Storage (GDS) စမ်းသပ်မှုပါ။ GDS ဆိုတာ NVIDIA မှ တီထွင်ထားတဲ့ လုပ်ဆောင်ချက်တစ်ခုဖြစ်ပြီး NVMe drives တွေ ဒါမှမဟုတ် တခြားမြန်နှုန်းမြင့် storage devices တွေမှာ သိမ်းဆည်းထားတဲ့ data တွေကို access လုပ်တဲ့အခါ GPU တွေကို CPU ကိုကျော်ပြီး လုပ်ဆောင်နိုင်စေပါတယ်။ CPU နဲ့ system memory ကနေတစ်ဆင့် data တွေကို routing လုပ်မယ့်အစား GDS က GPU နဲ့ storage device အကြား တိုက်ရိုက်ဆက်သွယ်မှုကို ဖြစ်စေပြီး latency ကို သိသိသာသာ လျှော့ချပေးပြီး data throughput ကို တိုးတက်စေပါတယ်။
Dell က Pro Max GB10 မှာ Phison ESL04TBTLCZ 4TB Gen4 SSD ကို အသုံးပြုထားပါတယ်။ ဒါက တခြား 4TB မော်ဒယ်တွေရဲ့ စွမ်းရည်နဲ့ တူညီပေမယ့် Gen4 မော်ဒယ်တစ်ခုဖြစ်ပြီး read နဲ့ write speed နိမ့်ပါတယ်။
GPU Direct Storage ဘယ်လိုအလုပ်လုပ်လဲ
ရိုးရာအစဉ်အလာအရ GPU တစ်ခုက NVMe drive မှာသိမ်းဆည်းထားတဲ့ဒေတာတွေကို စီမံဆောင်ရွက်တဲ့အခါ၊ ဒေတာဟာ GPU ဆီကိုမရောက်ခင် CPU နဲ့ system memory ကနေတစ်ဆင့် ဦးစွာဖြတ်သန်းသွားရပါမယ်။ ဒီလုပ်ငန်းစဉ်က CPU ဟာ ကြားခံအဖြစ်လုပ်ဆောင်ပြီး latency ကိုတိုးစေပြီး အဖိုးတန် system resource တွေကို သုံးစွဲစေတာကြောင့် ပိတ်ဆို့မှုတွေကို ဖြစ်ပေါ်စေပါတယ်။ GPU Direct Storage က GPU ကို PCIe bus မှတစ်ဆင့် storage device ကနေ ဒေတာကို တိုက်ရိုက်ဝင်ရောက်ခွင့်ပြုခြင်းဖြင့် ဒီထိရောက်မှုမရှိခြင်းကို ဖယ်ရှားပေးပါတယ်။ ဒီ direct path က ဒေတာရွေ့လျားမှု overhead ကို လျော့ကျစေပြီး ပိုမိုမြန်ဆန်ထိရောက်တဲ့ ဒေတာလွှဲပြောင်းမှုတွေကို ဖြစ်စေပါတယ်။
AI workloads များ၊ အထူးသဖြင့် deep learning ပါဝင်သည့် workloads များသည် data များစွာအသုံးပြုရပါသည်။ ကြီးမားသော neural network များကို လေ့ကျင့်ပေးရန်အတွက် data terabytes များကို processing လုပ်ရန် လိုအပ်ပြီး data transfer နှောင့်နှေးမှုတစ်စုံတစ်ရာသည် GPU များကို အသုံးမချနိုင်ခြင်းနှင့် လေ့ကျင့်ချိန်ပိုကြာခြင်းတို့ ဖြစ်စေနိုင်ပါသည်။ GPU Direct Storage သည် data ကို GPU သို့ အမြန်ဆုံးပေးပို့ခြင်း၊ အားလပ်ချိန်ကို အနည်းဆုံးဖြစ်အောင်ပြုလုပ်ခြင်းနှင့် တွက်ချက်မှုစွမ်းဆောင်ရည်ကို အမြင့်ဆုံးဖြစ်အောင်ပြုလုပ်ခြင်းဖြင့် ဤစိန်ခေါ်မှုကို ဖြေရှင်းပေးပါသည်။
ထို့အပြင်၊ GDS သည် ဗီဒီယိုလုပ်ဆောင်ခြင်း၊ သဘာဝဘာသာစကားလုပ်ဆောင်ခြင်း သို့မဟုတ် အချိန်နှင့်တပြေးညီ ကောက်ချက်ချခြင်းကဲ့သို့သော ဒေတာအစုအဝေးကြီးများကို streaming လုပ်ခြင်းပါဝင်သည့် workloads များအတွက် အထူးအကျိုးရှိပါသည်။ CPU အပေါ် မှီခိုမှုကို လျှော့ချခြင်းဖြင့် GDS သည် ဒေတာရွှေ့ပြောင်းမှုကို အရှိန်မြှင့်ပေးပြီး အခြားအလုပ်များအတွက် CPU အရင်းအမြစ်များကို လွတ်လပ်စေပြီး စနစ်စွမ်းဆောင်ရည်ကို ပိုမိုမြှင့်တင်ပေးပါသည်။
GDSIO ဖတ်ရှုမှုပမာဏ ၁၆k
GDSIO Read Throughput 16K ကိုကြည့်မယ်ဆိုရင် Dell ဟာ thread 1 မှာ 0.50 GiB/s လောက်ကနေစပြီး thread 8 မှာ 1.34 GiB/s အထိ တိုးလာပါတယ်။ ASUS ထက် 0.95 GiB/s လောက် သာလွန်ပါတယ်။ အဲဒီအားသာချက်က thread 16 မှာ ဆက်လက်တည်ရှိနေပြီး Dell ဟာ ASUS နဲ့ ယှဉ်ရင် 2.26 GiB/s လောက်နဲ့ 1.58 GiB/s လောက် ရှိပြီး thread 32 မှာ Dell ဟာ ASUS နဲ့ ယှဉ်ရင် 3.32 GiB/s လောက် ရှိပြီး 2.55 GiB/s လောက် ရှိပါတယ်။
thread 64 ခုမှာတောင် Dell က 4.35 GiB/s မှာ အားသာချက်ကို ထိန်းသိမ်းထားနိုင်ပြီး ASUS ထက် 3.68 GiB/s ခန့်သာ သာလွန်ပါတယ်။ တခြား platform တွေက scale ပိုမြင့်နေချိန်မှာ thread 128 ခုမှာ Dell က 4.30 GiB/s ဝန်းကျင်မှာပဲ ရှိနေပါတယ်။ core scaling range တစ်လျှောက်မှာ Dell က ASUS system ကို သိသိသာသာ သာလွန်ပြီး အဆက်မပြတ် ဦးဆောင်နေပါတယ်။
GDSIO ဖတ်ရှုမှု ပျမ်းမျှ နှောင့်နှေးမှု 16K
GDSIO Read Average Latency (16K) ကိုကြည့်မယ်ဆိုရင် Dell ဟာ scaling curve အများစုမှာ အနိမ့်ဆုံး latency ကို ပေးစွမ်းနိုင်ပါတယ်။ thread ၁ ခုမှာ 0.03ms လောက်ကနေ စတင်ပြီး ASUS နဲ့ အနီးစပ်ဆုံး တူညီပေမယ့် thread ၂ ခု (0.09ms vs. 0.13ms) နဲ့ thread ၄ ခု (0.112ms vs. 0.118ms) မှာ မြန်မြန်ဆန်ဆန် ခွဲခြားနိုင်ပါတယ်။ Dell ဟာ thread ၈ ခု (0.092ms vs. 0.13ms)၊ thread ၁၆ ခု (0.108ms vs. 0.155ms) နဲ့ thread ၃၂ ခု (0.148ms vs. 0.193ms) မှာ သူ့ရဲ့အားသာချက်ကို ထိန်းသိမ်းထားဆဲပါ။
thread ၆၄ ခုမှာ Dell ဟာ ၀.၂၂၂ms ခန့်မှာ ယှဉ်ပြိုင်နိုင်စွမ်းရှိနေဆဲဖြစ်ပြီး ASUS ထက် ၀.၂၆၇ms အနည်းငယ်နိမ့်ပါတယ်။ thread ၁၂၈ ခုမှာသာ latency ဟာ ၀.၄၅ms ခန့်အထိ သိသိသာသာမြင့်တက်လာပြီး ASUS နဲ့ အဆင့်တူနီးပါးတူညီပါတယ်။ အလုံးစုံပြောရရင် Dell ဟာ thread အရေအတွက်အမြင့်ဆုံးကို မရောက်ခင် አዲስနဲ့ အလယ်အလတ်အဆင့်တွေမှာ latency နိမ့်ကျမှုကို တသမတ်တည်းပြသခဲ့ပါတယ်။
GSDIO ရေးသားမှုပမာဏ ၁၆K
GDSIO Write Throughput (16K) ကိုကြည့်လျှင် Dell သည် thread 1 တွင် 0.35 GiB/s ခန့်ဖြင့် စတင်ပြီး concurrency နိမ့်သောအခါတွင် လျင်မြန်စွာ ခွဲခြားနိုင်ကာ thread 2 တွင် 0.75 GiB/s ခန့်နှင့် thread 4 တွင် 1.55 GiB/s အထိ ရောက်ရှိခဲ့ပြီး ထိုအမှတ်များတွင် ASUS ထက် သိသိသာသာ သာလွန်နေပါသည် (0.58 နှင့် 0.65 GiB/s)။ Dell သည် thread 8 တွင် 2.33 GiB/s အထိ ဆက်လက်တိုးချဲ့နေပြီး thread 16 နှင့် 32 တွင် 2.88–2.90 GiB/s ခန့်အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး အုပ်စုကို ဦးဆောင်နေပါသည်။
သို့သော်၊ thread ၃၂ ခုထက်ကျော်လွန်၍ Dell သည် ရပ်တန့်သွားပြီး အနည်းငယ်ကျဆင်းသွားပြီး thread ၆၄ ခုတွင် 2.90 GiB/s ခန့်ကို ထိန်းထားပြီး thread ၁၂၈ ခုတွင် 2.75 GiB/s ခန့်သို့ ကျဆင်းသွားကာ Acer၊ Gigabyte နှင့် Founders Edition တို့သည် thread ၆၄ ခုတွင် 5 GiB/s ကျော်ဖြတ်ကာ thread ၁၂၈ ခုတွင် 6.5 GiB/s ခန့်အထိ ရောက်ရှိသည်။ အလုံးစုံပြောရလျှင် Dell သည် အနိမ့်မှ အလယ်အလတ် thread အပိုင်းအခြားကို လွှမ်းမိုးထားသော်လည်း ထိပ်တန်းစွမ်းဆောင်ရည်ရှိသော စနစ်များကဲ့သို့ မြင့်မားသော concurrency အဆင့်များထဲသို့ မရောက်ရှိပါ။
GDSIO ရေးသားမှုပျမ်းမျှနှောင့်နှေးမှု 16K
GDSIO Write Average Latency (16K) ကိုကြည့်မယ်ဆိုရင် Dell ဟာ scaling curve တစ်ခုလုံးနီးပါးမှာ အနိမ့်ဆုံး latency ကို ပေးစွမ်းပါတယ်။ thread 1 ခုမှာ 0.045ms လောက်ကနေ စတင်ပြီး thread 2 ခုမှာ 0.05ms နဲ့ thread 4 ခုမှာ 0.04ms မှာ အလွန်နိမ့်နေဆဲဖြစ်ပြီး ASUS ထက် 0.06ms နဲ့ 0.10ms အသီးသီး နိမ့်ကျနေပါတယ်။ thread 8 ခုမှာ Dell ဟာ 0.055ms လောက်ရှိပြီး ASUS နဲ့ ယှဉ်ရင် 0.20ms လောက်ရှိပါတယ်။ thread 16 ခုမှာ ကွာဟချက်က ပိုကျယ်လာပြီး Dell ဟာ ASUS နဲ့ ယှဉ်ရင် 0.085ms လောက်ရှိပြီး thread 32 ခုမှာ Dell ဟာ 0.17ms လောက်မှာ ထိန်းချုပ်ထားဆဲဖြစ်ပြီး ASUS ကတော့ 0.68ms နီးပါးအထိ မြင့်တက်လာပါတယ်။
thread ၆၄ ခုမှာတောင် Dell က 0.34ms ဝန်းကျင်မှာ ရှိနေပြီး ASUS ကတော့ 1.51ms လောက်အထိ မြင့်တက်သွားပါတယ်။ thread ၁၂၈ ခုမှာသာ Dell က 0.71ms ဝန်းကျင်အထိ သိသိသာသာ မြင့်တက်လာပေမယ့် ASUS ထက်တော့ သိသိသာသာ နိမ့်နေဆဲပါ။ အလုံးစုံပြောရရင် ASUS ထက် တစ်ပြိုင်နက်တည်း လုပ်ဆောင်နိုင်မှု မြင့်တက်လာတာနဲ့အမျှ Dell က write latency control ကို သိသိသာသာ ပိုကောင်းအောင် ပြသနေပါတယ်။
GDSIO ဖတ်ရှုမှုပမာဏ 1M
GDSIO Read Throughput (1M) ကိုကြည့်မယ်ဆိုရင် Dell ဟာ thread 1 ခုမှာ 2.6 GiB/s ခန့်ကနေစတင်ပြီး thread 2 ခုမှာ 4.3 GiB/s အထိ မြင့်တက်လာကာ thread 4 ခုမှာ 5.6 GiB/s ခန့်အထိ ရောက်ရှိသွားပါတယ်။ အဲဒီကနေစပြီး စွမ်းဆောင်ရည်က အများအားဖြင့် ရပ်တန့်သွားပြီး thread 8 ခုမှာ 5.6 GiB/s ခန့်၊ thread 16 ခုမှာ 5.4 GiB/s ခန့်၊ thread 32 ခုမှာ 5.4 GiB/s ခန့်နဲ့ thread 64 ခုမှာ 5.5 GiB/s ခန့်နဲ့ အဆုံးသတ်သွားကာ thread 128 ခုမှာ 5.5 GiB/s နီးပါးနဲ့ အဆုံးသတ်သွားပါတယ်။
Dell သည် အစောပိုင်း scaling အားကောင်းပြီး တည်ငြိမ်သောစွမ်းဆောင်ရည်ကို ပေးစွမ်းနိုင်သော်လည်း Acer နှင့် Gigabyte တို့သည် thread အရေအတွက်မြင့်မားသောအခါတွင် 11 GiB/s ထက်ကျော်လွန်၍ ဆက်လက်တက်လှမ်းနေပြီး Founders Edition သည် 10 GiB/s အနီးသို့ နီးကပ်လာသောကြောင့် Dell ကို large-block read throughput အတွက် အလယ်အလတ်အဆင့်တွင် ခိုင်မာစွာရပ်တည်စေသည်။
GDSIO ဖတ်ရှုမှု ပျမ်းမျှ နှောင့်နှေးမှု 1M
GDSIO Read Average Latency (1M) ကိုကြည့်မယ်ဆိုရင် Dell ဟာ thread ၁ ခုနဲ့ ၀.၃၅ ms လောက်ကနေစပြီး thread ၂ ခုနဲ့ ၀.၄၅ ms လောက်အထိ တိုးလာပြီး thread ၄ ခုနဲ့ ၀.၇၀ ms လောက်အထိ ရောက်ရှိသွားပါတယ်။ Latency ဟာ thread ၈ ခု (၁.၅၀ ms) နဲ့ thread ၁၆ ခု (၃.၀၀ ms) မှာ ထိန်းချုပ်ထားတဲ့ပုံစံနဲ့ ဆက်လက်မြင့်တက်လာပြီးနောက် thread ၃၂ ခုနဲ့ thread ၆၄ ခုမှာ ၅.၉၀ ms လောက်အထိ မြင့်တက်လာပြီး thread ၁၂၈ ခုမှာ ၂၅.၄၀ ms နီးပါးနဲ့ အဆုံးသတ်သွားပါတယ်။
Dell ဟာ ASUS ထက် ပိုမိုထိရောက်စွာ ချိန်ညှိနိုင်ပေမယ့် thread 128 ခုမှာ 29.60ms နီးပါး ရောက်ရှိပေမယ့် အမြင့်ဆုံး တစ်ပြိုင်နက်တည်း အသုံးပြုတဲ့အခါ Acer နဲ့ Gigabyte တို့ထက်တော့ မြင့်မားနေဆဲပါ။ နှစ်ခုစလုံးဟာ 128 thread မှာ 11ms အကွာအဝေးနဲ့ နီးစပ်နေပါတယ်။ အလုံးစုံပြောရရင် Dell ဟာ block read ကြီးတွေအတွက် mid-pack latency အပြုအမူကို ထိန်းသိမ်းထားနိုင်ပြီး ASUS ထက် သာလွန်ကောင်းမွန်ပေမယ့် thread အရေအတွက် အမြင့်ဆုံးမှာတော့ latency အနိမ့်ဆုံး platform တွေထက် နောက်ကျနေပါတယ်။
GDSIO ရေးသားမှုပမာဏ 1M
GDSIO Write Throughput (1M) ကိုကြည့်မယ်ဆိုရင် Dell ဟာ thread 1 ခုမှာ 2.6 GiB/s ခန့်ကနေစတင်ပြီး thread 2 ခုမှာ 3.2 GiB/s ခန့်အထိ မြင့်တက်လာကာ thread 4 ခုမှာ 3.3 GiB/s ခန့်အထိ ရောက်ရှိသွားပါတယ်။ အဲဒီကနေစပြီး စွမ်းဆောင်ရည်က တည်ငြိမ်လာပြီး thread 8 ခုကနေ 64 ခုအထိ 3.2–3.3 GiB/s ခန့်ကို ထိန်းထားနိုင်ပြီးနောက် thread 128 ခုမှာ 3.1 GiB/s ခန့်အထိ အနည်းငယ်ကျဆင်းသွားပါတယ်။
Dell သည် တည်ငြိမ်ပြီး တသမတ်တည်းရှိသော large-block write performance ကို ပေးစွမ်းနိုင်သော်လည်း thread ၈ ခုမှ ၆၄ ခုကြားတွင် 12 GiB/s အထက်သို့ မြင့်တက်သည့် Acer နှင့် Gigabyte ကဲ့သို့ သို့မဟုတ် အလယ်အလတ်တန်းစားတွင် 8.7 GiB/s ခန့်ကို ထောက်ပံ့ပေးသည့် Founders Edition ကဲ့သို့ မြင့်မားသော concurrency ဖြင့် scale မလုပ်ပါ။ အလုံးစုံပြောရလျှင် Dell သည် တည်ငြိမ်နေဆဲဖြစ်သော်လည်း မြင့်မားသော concurrency 1M write throughput တွင် ထိပ်တန်းစွမ်းဆောင်ရည်ရှိသော စနစ်များနောက်တွင် ထင်ရှားစွာ နောက်ကျကျန်နေပါသည်။
GDSIO ရေးသားမှုပျမ်းမျှ နှောင့်နှေးမှု 1M
GDSIO Write Average Latency (1M) ကိုကြည့်မယ်ဆိုရင် Dell ဟာ thread ၁ ခုနဲ့ ၀.၆ ms လောက်ကနေစပြီး တဖြည်းဖြည်းတိုးလာတာက thread ၂ ခုနဲ့ ၀.၈ ms လောက်နဲ့ thread ၄ ခုနဲ့ ၁.၂ ms လောက်အထိရှိပါတယ်။ Latency ဟာ thread ၈ ခုမှာ ၂.၅ ms လောက်၊ thread ၁၆ ခုမှာ ၅.၀ ms လောက်နဲ့ thread ၃၂ ခုမှာ ၉.၅ ms လောက်အထိ ဆက်လက်မြင့်တက်နေပြီးနောက် thread ၆၄ ခုမှာ ၁၉.၀ ms လောက်နဲ့ thread ၁၂၈ ခုမှာ ၄၀.၀ ms လောက်အထိ ရောက်ရှိသွားပါတယ်။
Dell ဟာ ASUS ထက် ပိုမိုချောမွေ့စွာ ချိန်ညှိနိုင်ပေမယ့် thread ၆၄ ခုမှာ 100ms ကျော်အထိ သိသိသာသာ မြင့်တက်နိုင်ပေမယ့် Acer နဲ့ Gigabyte တို့ထက် မြင့်မားတဲ့ concurrency မှာ နောက်ကျနေဆဲဖြစ်ပြီး နှစ်ခုစလုံးဟာ 128 threads မှာ 14ms အကွာအဝေးနဲ့ နီးစပ်နေဆဲပါ။ အလုံးစုံပြောရရင် Dell ဟာ thread အရေအတွက် တိုးလာတာနဲ့အမျှ ထိန်းချုပ်ထားပေမယ့် အလယ်အလတ်အဆင့် large-block write latency ကို ထိန်းသိမ်းထားဆဲပါ။
ကောက်ချက်
GB10 ပါရှိသော Dell Pro Max သည် NVIDIA ၏ စံသတ်မှတ်ထားသော GB10 Spark platform ကို Dell ၏ Pro Max ကိုယ်ထည်ထဲသို့ ထည့်သွင်းထားပြီး ဂေဟစနစ်တစ်လျှောက်တွင် မြင်တွေ့ရသည့်အတိုင်း အခြေခံတွက်ချက်မှုအခြေခံကို ထိန်းသိမ်းထားသည်။ vLLM စမ်းသပ်မှုတွင်၊ စဉ်ဆက်မပြတ် AI inference စွမ်းဆောင်ရည်သည် ကျန် Spark စနစ်များနှင့် တင်းကျပ်စွာ အုပ်စုဖွဲ့ထားပြီး Equal နှင့် Decode workloads များတွင် ခိုင်မာသော Prefill scaling နှင့် ခန့်မှန်းနိုင်သော အပြုအမူတို့ဖြင့် ရှိနေသည်။
အပူချိန်အရ၊ Dell သည် အချို့သောရွယ်တူများနှင့်နှိုင်းယှဉ်ပါက မြင့်မားသော NVMe အပူချိန်များအပါအဝင် burst-heavy Prefill အကူးအပြောင်းများအတွင်း အုပ်စု၏ နွေးထွေးသောဘက်သို့ လည်ပတ်ခဲ့သည်။ သို့သော် Decode workloads များကို စဉ်ဆက်မပြတ်လုပ်ဆောင်နေစဉ်တွင်၊ အပူချိန်များသည် ယှဉ်ပြိုင်နိုင်သောအပိုင်းအခြားများအတွင်း တည်ငြိမ်ခဲ့ပြီး မတည်ငြိမ်မှု သို့မဟုတ် throttling ၏လက္ခဏာများ မရှိပါ။ GPU ပါဝါအပြုအမူသည် ပလပ်ဖောင်းအတွက် မျှော်မှန်းထားသည့်အတိုင်း ရှိနေခဲ့သည်။
GPU Direct Storage စမ်းသပ်မှုတွင် Dell သည် 16K read throughput scaling တွင် ကောင်းမွန်စွာ စွမ်းဆောင်ရည်ပြသခဲ့ပြီး အနိမ့်မှ အလယ်အလတ်အဆင့်များတွင် write latency control တွင် ခိုင်မာသော စွမ်းဆောင်ရည်ကို ပြသခဲ့သည်။ 1M transfer များသောအခါ၊ thread count များသောအခါ Acer နှင့် Gigabyte ထက် thread count များသောအချိန်တွင် thread count များ၌ thread count များထက် စော၍ ရပ်တန့်သွားခဲ့ပြီး GB10 architecture ၏ ကန့်သတ်ချက်များထက် သီးခြား Gen4 SSD configuration နှင့် ဆက်စပ်နေပုံရသည်။ ကံမကောင်းစွာပဲ၊ Dell သည် Gen5 SSD ရွေးချယ်စရာများမရှိဘဲ ၎င်းတို့၏ GB10 အကောင်အထည်ဖော်မှုဖြင့် စိတ်ပျက်စရာ storage ဆုံးဖြတ်ချက်များစွာကို ချမှတ်ခဲ့သည်။ ထို့အပြင်၊ ၎င်းတို့၏ 2TB ကမ်းလှမ်းချက်သည် Gen4 QLC SSD ကို အသုံးပြုထားပြီး ဤသုံးသပ်ချက်တွင်ပါရှိသော ရလဒ်များထက် စွမ်းဆောင်ရည် ညံ့ဖျင်းဖွယ်ရှိသည်။
Spark စီးရီးတစ်လျှောက်တွင် core AI throughput ကို တင်းကျပ်စွာ အုပ်စုဖွဲ့ထားသည်။ ကွာခြားချက်များကို raw processing power တွင်မဟုတ်ဘဲ အကောင်အထည်ဖော်မှုရွေးချယ်မှုများတွင် တွေ့ရှိရသည်။
ထုတ်ကုန်စာမျက်နှာ – Dell Pro Maxwith GB10
ဦးဆောင်သူစာရင်း- GB10 ပါ Dell Pro Max သည် ကျွန်ုပ်တို့၏ ဒေသတွင်း AI အတွက် အကောင်းဆုံး Desktops ဦးဆောင်သူစာရင်းတွင် စမ်းသပ်ထားသော အစိတ်အပိုင်းတစ်ခုဖြစ်သည်။
အမေဇုံ