ကြာမြင့်စွာစောင့်ဆိုင်းပြီးနောက်၊ NVIDIA DGX Spark ကို ပြီးခဲ့သည့်နှစ်က ဖြန့်ချိခဲ့ပြီး AI အင်ဂျင်နီယာများနှင့် သုတေသီများ၏ လှိုင်းလုံးအသစ်တစ်ခုကို မွေးမြူရန် မျှော်လင့်ချက်ဖြင့် ဖြန့်ချိခဲ့သည်။ StorageReview တွင်၊ ကျွန်ုပ်တို့သည် အကဲဖြတ်ရန်အတွက် မိတ်ဖက်အမျိုးမျိုးထံမှ DGX Spark စနစ်များစွာကို လက်ခံရရှိခဲ့ပြီး စိတ်လှုပ်ရှားဖွယ်ကောင်းသော cluster ပရောဂျက်အချို့ကို တီထွင်နေပါသည်။ သို့သော်၊ ကျွန်ုပ်တို့၏ အပြည့်အစုံသုံးသပ်ချက်များကို အပြီးသတ်နေစဉ်တွင် ဤအကောင်အထည်ဖော်မှုအမျိုးမျိုးရှိ အပူနှင့် ပါဝါဝိသေသလက္ခဏာများသည် အလွန်စိတ်ဝင်စားစရာကောင်းကြောင်း သက်သေပြခဲ့သည်။
ဒီနှိုင်းယှဉ်မှုကို အထူးဆွဲဆောင်မှုရှိစေတာက OEM မိတ်ဖက်အမျိုးမျိုးက NVIDIA ရဲ့ ရည်ညွှန်းဒီဇိုင်းကို ဘယ်လိုအဓိပ္ပာယ်ဖွင့်ဆိုခဲ့ကြလဲဆိုတာကို လေ့လာခွင့်ရခြင်းပါပဲ။ အဓိက အီလက်ထရွန်းနစ်ပစ္စည်းတွေနဲ့ motherboard တွေဟာ အကောင်အထည်ဖော်မှုအားလုံးမှာ မပြောင်းလဲဘဲရှိနေပေမယ့် အပူချိန်စီမံခန့်ခွဲမှုဖြေရှင်းချက်တွေ၊ ကိုယ်ထည်ဒီဇိုင်းတွေနဲ့ လေစီးဆင်းမှုဗျူဟာတွေကတော့ သိသိသာသာကွဲပြားပါတယ်။ ဒီအင်ဂျင်နီယာဆုံးဖြတ်ချက်တွေဟာ လည်ပတ်မှုအပူချိန်တွေမှာ တိုင်းတာလို့ရတဲ့ ကွာခြားချက်တွေအဖြစ် ထင်ရှားပြီး ဒီကွဲပြားမှုတွေကို နားလည်ခြင်းက DGX Sparks အချို့အတွက် ဈေးကွက်ထဲက အသုံးပြုသူတွေအတွက် အဖိုးတန်ထိုးထွင်းသိမြင်မှုကို ပေးစွမ်းပါတယ်။
ဤခွဲခြမ်းစိတ်ဖြာမှုတွင်၊ NVIDIA Founders Edition ၊ Gigabyte၊ Dell၊ Acer နှင့် ASUS တို့ဖြစ်သည့် DGX Spark စနစ်ငါးခုအတွက် အပူချိန်နှင့် ပါဝါစွမ်းဆောင်ရည်ကို ဘေးချင်းယှဉ်နှိုင်းယှဉ်ထားပါသည်။
NVIDIA DGX Spark အပူစမ်းသပ်ခြင်းနည်းလမ်း
ဤနေရာတွင် တင်ပြထားသော အချက်အလက်များကို OpenAI ၏ GPT-OSS-120B မော်ဒယ်ကို အသုံးပြု၍ vLLM အွန်လိုင်းဝန်ဆောင်မှု benchmark များကို လုပ်ဆောင်နေစဉ်တွင် စုဆောင်းခဲ့သည်။ benchmark တွင် inference pipeline ၏ မတူညီသောရှုထောင့်များကို ကျင့်သုံးရန် ဒီဇိုင်းထုတ်ထားသော မတူညီသော စမ်းသပ်မှု scenario သုံးခု ပါဝင်သည်။
ညီမျှသောအခြေအနေသည် input ၂၅၆ ခုနှင့် output token ၂၅၆ ခုဖြင့် မျှတသော workload ကို တင်ပြပြီး prefill နှင့် decode အဆင့်နှစ်ခုလုံးတွင် တိုတောင်းပြီး ညီမျှသော demand များကို ဖြစ်ပေါ်စေသည်။ prefill များသောအခြေအနေသည် computational intensity ကို input processing ဆီသို့ ပြောင်းလဲစေပြီး input token ၄၀၉၆ ခုသည် output token ၅၁၂ ခုကို ထုတ်လုပ်ပေးသည်။ ဤ configuration သည် code-completion scenarios များတွင်ကဲ့သို့ decode demand အသင့်အတင့်ကို ထိန်းသိမ်းထားစဉ် prompt prefill/encoding အဆင့်အတွင်း tensor cores များကို ပြည့်စေသည်။
ဆန့်ကျင်ဘက်အနေနဲ့ decode-heavy scenario က ဒီဆက်နွယ်မှုကို ပြောင်းပြန်လှန်ပြီး input token ၅၁၂ ခုကို အသုံးပြုပြီး output token ၄၀၉၆ ခု ထုတ်လုပ်ပေးပါတယ်။ autoregressive token generation phase အတွင်း memory bandwidth pressure ကို စဉ်ဆက်မပြတ် ဖန်တီးပေးပါတယ်။
အခြေအနေတစ်ခုစီကို ၁၊ ၂၊ ၄၊ ၈၊ ၁၆၊ ၃၂၊ ၆၄ နှင့် ၁၂၈ အရွယ်အစားများဖြင့် စမ်းသပ်ခဲ့ပြီး စုစုပေါင်းစမ်းသပ်မှုအဆင့် ၂၄ ဆင့် ရရှိခဲ့သည်။ နောက်ဆက်တွဲအဆင့်တစ်ခုစီကြားတွင် စက္ကန့် ၃၀ အအေးခံကာလကိုလည်း အသက်ဝင်စေခဲ့သည်။ ဤအအေးခံကာလများကို ဇယားများတွင် စမ်းသပ်အဆင့်များကြားတွင် အတိုချုံးကျဆင်းမှုများအဖြစ် မြင်နိုင်ပြီး အရိပ်ကျနေသော အခြေအနေဒေသများကို ခွဲခြားထားသော ဒေါင်လိုက်အစက်ချမျဉ်းများဖြင့် မှတ်သားထားသည်။
ဇယားချိန်ညှိမှုနှင့် ပတ်ဝန်းကျင်ထိန်းချုပ်မှုများ
တင်ပြထားသောဇယားများသည် အဆင့်လိုက်ချိန်ညှိထားသော အချိန်ဝင်ရိုးကို အသုံးပြုထားပြီး၊ ဆိုလိုသည်မှာ စနစ်အားလုံးမှဒေတာကို နံရံနာရီအချိန်အစား စမ်းသပ်အဆင့်ဖြင့် ထပ်တူပြုလုပ်သည်။ ဤနည်းလမ်းသည် တစ်ဦးချင်းစနစ်များသည် ၎င်းတို့၏ အပူချိန်ထိန်းချုပ်မှုအပြုအမူနှင့် ရေရှည်စွမ်းဆောင်ရည်လက္ခဏာများကြောင့် အဆင့်များကို အနည်းငယ်ကွဲပြားသောနှုန်းထားများဖြင့် ပြီးမြောက်ခဲ့သော်လည်း၊ တူညီသော workload အဆင့်များတွင် စနစ်အပြုအမူကို တိုက်ရိုက်နှိုင်းယှဉ်နိုင်စေပါသည်။
စနစ်ငါးခုကို စမ်းသပ်မှုတစ်လျှောက်လုံးတွင် တည်ငြိမ်သောပတ်ဝန်းကျင်အပူချိန်ရှိသော ထိန်းချုပ်ထားသောအခန်းတွင် တစ်ခုနှင့်တစ်ခု ကပ်လျက်တည်ရှိသော တူညီသောပတ်ဝန်းကျင်အခြေအနေများအောက်တွင် တစ်ပြိုင်နက်စမ်းသပ်ခဲ့သည်။ ဤပြိုင်တူစမ်းသပ်မှုချဉ်းကပ်မှုသည် တွေ့ရှိရသည့် မည်သည့်ကွာခြားချက်များမဆို ပတ်ဝန်းကျင်အပူချိန်ရွေ့လျားမှု၊ လေစီးဆင်းမှုပုံစံများ သို့မဟုတ် နေ့ခင်းဘက်အချိန်ပြောင်းလဲမှုများကဲ့သို့သော ပတ်ဝန်းကျင်ဆိုင်ရာကိန်းရှင်များထက် စနစ်၏အပူဒီဇိုင်းများကြောင့် တိုက်ရိုက်ဖြစ်ပေါ်လာကြောင်း သေချာစေသည်။
ထို့အပြင်၊ မော်ဒယ်အားလုံးတွင် နောက်ဆုံးပေါ် NVIDIA Ubuntu image ကို ထည့်သွင်းထားသည်။
ဒေတာများစုစည်းမှု
Linux kernel interfaces နှင့် nvidia-smi မှ တိုက်ရိုက်ဖတ်ရှုသည့် custom monitoring script ကို အသုံးပြု၍ စနစ်မက်ထရစ်များကို ၁ စက္ကန့်ခြားတစ်ကြိမ် စုဆောင်းခဲ့သည်။ ကျွန်ုပ်တို့သည် thermal probes သို့မဟုတ် မည်သည့် external power monitoring ဖြင့်မျှ တိုက်ရိုက်တိုင်းတာမှုများ မပြုလုပ်ခဲ့ပါ။
NVMe drive အပူချိန်များကို တိုက်ရိုက်နှိုင်းယှဉ်၍မရကြောင်း သတိပြုပါ၊ အဘယ်ကြောင့်ဆိုသော် စနစ်အားလုံးတွင် တူညီသော storage drive များမရှိသောကြောင့်ဖြစ်သည်။ မှတ်သားစရာမှာ Asus စနစ်သည် 1TB Phison drive ဖြင့် configure လုပ်ထားသော တစ်ခုတည်းသော unit ဖြစ်ပြီး Dell တွင် 4TB Phison drive ပါရှိပြီး ကျွန်ုပ်တို့စမ်းသပ်ခဲ့သော အခြားစနစ်အားလုံးတွင် 4TB Samsung drive ပါရှိသည်။ သုံးသပ်ချက်တစ်ခုစီကို ကျွန်ုပ်တို့ဖတ်ရှုသောအခါ၊ drive နှင့် case အောက်ခြေကြားရှိ thermal bridging ကဲ့သို့သောအချက်များပင် Spark မော်ဒယ်များတွင် အတူတူပင်မဟုတ်သောကြောင့် NVMe drive thermal များကို ပိုမိုအသေးစိတ်လေ့လာပါမည်။
NVIDIA DGX Spark အပူချိန် ခွဲခြမ်းစိတ်ဖြာခြင်း
တစ်ဦးချင်း မက်ထရစ်တွေကို မလေ့လာခင်မှာ DGX Spark ဟာ အစိတ်အပိုင်းတွေမှာ အပူချိန်လမ်းကြောင်းတွေ မျှဝေထားတဲ့ ပေါင်းစပ်အအေးပေးစနစ်ကို အသုံးပြုထားတယ်ဆိုတာ နားလည်ထားဖို့ အရေးကြီးပါတယ်။ Founders Edition ဒီဇိုင်းမှာ တွေ့ရတဲ့အတိုင်း GPU အပူဟာ CPU၊ NVMe သိုလှောင်မှုနဲ့ ကွန်ရက်မျက်နှာပြင်တွေ အပါအဝင် အနီးနားက အစိတ်အပိုင်းတွေရဲ့ အပူချိန်ကို တိုက်ရိုက်လွှမ်းမိုးပါတယ်။ ဒီအပူချိန် အပြန်အလှန် မှီခိုမှုကြောင့် GPU-intensive workloads တွေဟာ စနစ်တစ်လျှောက်မှာ အဆင့်ဆင့် အပူသက်ရောက်မှုတွေကို ဖန်တီးပေးပြီး အစိတ်အပိုင်းအမျိုးမျိုးမှာ အပူချိန်ပုံစံတွေကို ဘာကြောင့် ဆက်စပ်မြင်တွေ့ရတယ်ဆိုတာကို ရှင်းပြပါတယ်။
CPU အပူချိန်
CPU အပူချိန်ဒေတာက အကောင်အထည်ဖော်မှုနှစ်ခုကြား အထင်ရှားဆုံးကွာခြားချက်များကို ဖော်ပြသည်။ Acer စနစ်သည် ချက်ချင်းထင်ရှားပြီး လိုအပ်ချက်များသော Prefill Heavy အခြေအနေတွင် 74.6°C သာရှိသော်လည်း အခြားစနစ်အားလုံးသည် 80 ဒီဂရီအလယ်အလတ်မှအထက်သို့ မြင့်တက်ခဲ့သည်။ ၎င်းသည် ပြိုင်ဘက်များထက် 10-14°C အားသာချက်ဖြစ်ပြီး Acer သည် အအေးပေးစွမ်းရည်တွင် သိသိသာသာ ရင်းနှီးမြှုပ်နှံထားကြောင်း ညွှန်ပြသည့် အပူချိန်မြင့်မားမှု သိသိသာသာရှိသည်။
Founders Edition၊ Dell နှင့် Gigabyte တို့သည် အပူချိန်တူညီသော အပူချိန်ပရိုဖိုင်များဖြင့် စုစည်းထားပြီး အမြင့်ဆုံးအပူချိန်တွင် ၈၇-၈၈°C အထိ ရောက်ရှိသည်။ ဤဆင်တူယိုးမှားမှုအရ မိတ်ဖက်အများစုသည် NVIDIA ၏ စံသတ်မှတ်ထားသော အပူချိန်ဒီဇိုင်းကို ကျော်လွန်ရန် တွန်းအားပေးမည့်အစား ကိုက်ညီမှုရှိသည်ကို ညွှန်ပြသည်။ ASUS သည် အလယ်အလတ်တွင် ရှိနေပြီး ဤအုပ်စုထက် အနည်းငယ်ပိုအေးသော်လည်း Acer ၏ စွမ်းဆောင်ရည်ထက် များစွာသာလွန်သည်။
Equal နှင့် Prefill Heavy တစ်လျှောက်ရှိ sawtooth ပုံစံသည် benchmark ၏ စက်ဝန်းသဘောသဘာဝကို ထင်ဟပ်စေပြီး cooldown ကာလများအတွင်း ပြန်လည်ကောင်းမွန်လာမှု ရှင်းလင်းပါသည်။ Decode Heavy အတွင်းတွင် အပူချိန်များသည် ပိုမိုတည်ငြိမ်သောအဆင့်တွင် တည်ငြိမ်ပါသည်။ ၎င်းသည် token generation ၏ memory-intensive သဘောသဘာဝကို ညွှန်ပြနေပြီး memory configuration သည် ဤ workload တွင် အတားအဆီးတစ်ခုဖြစ်သည်ကို ရှင်းရှင်းလင်းလင်း ညွှန်ပြနေပါသည်။
GPU အပူချိန်
GPU အပူချိန်များသည်လည်း အလားတူဇာတ်လမ်းကို လိုက်နာပြီး၊ အအေးပေးစနစ်မျှဝေအသုံးပြုထားသည်။ Acer သည် Prefill Heavy တွင် 68°C သာ အမြင့်ဆုံးရောက်ရှိပြီး ကျန်စနစ်လေးခုစလုံးမှာ 80-82°C အထိ ရောက်ရှိခဲ့ပြီး CPU တွေ့ရှိချက်များနှင့် ကိုက်ညီသော 12-14°C အားသာချက်ရှိသည်။
Founders Edition၊ Dell၊ Gigabyte နှင့် ASUS အကြား တင်းကျပ်စွာ စုစည်းထားခြင်းက ဤအကောင်အထည်ဖော်မှုများသည် အလားတူ အပူချိန်ကန့်သတ်ချက်များနှင့် နီးကပ်လာနေကြောင်း ညွှန်ပြနေပြီး GPU ၏ firmware ထိန်းချုပ်ထားသော အပူချိန်စီမံခန့်ခွဲမှုက ဝင်ရောက်စွက်ဖက်လာဖွယ်ရှိသည်။
NVMe အပူချိန်
သိုလှောင်မှုအပူချိန်များသည် ကိုယ်ထည်တစ်ခုစီသည် drive bay ကို compute အပူမှ မည်မျှကောင်းမွန်စွာ ခွဲထုတ်ထားသည်ကို ပြသသည်။ Acer သည် အမြင့်ဆုံး 51.8°C တွင် ထပ်မံဦးဆောင်နေပြီး ကျန်အပူချိန်များတွင် 58-63°C ရှိသည်။
စမ်းသပ်မှုတစ်လျှောက်လုံးတွင် တဖြည်းဖြည်း အပူချိန်မြင့်တက်လာခြင်းသည် အလုပ်ပမာဏ မြင့်တက်လာခြင်းနှင့် မသက်ဆိုင်ဘဲ၊ အနီးနားရှိ အစိတ်အပိုင်းများမှ အပူစုပ်ယူမှုကို အချိန်နှင့်အမျှ စုဆောင်းလာကြောင်း ညွှန်ပြသည်။ အသေးစိတ်ချိန်ညှိမှုများကို ကြာရှည်စွာ လုပ်ဆောင်ခြင်း သို့မဟုတ် မော်ဒယ် အများအပြား လဲလှယ်ခြင်းအတွက်၊ ၎င်းသည် drive ၏ သက်တမ်းကြာရှည်မှုနှင့် ရေရှည်ရေးသားမှု စွမ်းဆောင်ရည်အတွက် သက်ဆိုင်သည်။
အစောပိုင်းက ဖော်ပြခဲ့သည့်အတိုင်း drive configuration များသည် စနစ်အလိုက် ကွဲပြားသောကြောင့် ဤနှိုင်းယှဉ်မှုများတွင် သတိပေးချက်အချို့ ပါရှိသည်။ သို့သော် Acer ၏ အပူချိန်တိုင်းတွင် တသမတ်တည်း အားသာချက်သည် drive စွမ်းဆောင်ရည် ကွာခြားချက်များထက် စစ်မှန်သော အအေးပေးစနစ် တိုးတက်မှုများကို ညွှန်ပြနေသည်။
NIC အပူချိန်
ConnectX-7 NIC အပူချိန်ကိုကြည့်မယ်ဆိုရင် Acer က 62°C မှာအမြင့်ဆုံးဖြစ်ပြီး Founders Edition က 75°C အထိရောက်ရှိကာ အခြားအစိတ်အပိုင်းတွေမှာတွေ့မြင်ခဲ့ရတဲ့ပုံစံနဲ့ ကိုက်ညီတဲ့ 13°C ပျံ့နှံ့မှုရှိပါတယ်။ Gigabyte က CPU မှာပိုပူနေပေမယ့် Dell နဲ့ ASUS ထက်ဒီမှာပိုအေးပြီး အပူဖြန့်ဖြူးမှုက ကိုယ်ထည်ဒီဇိုင်းတွေအလိုက်ကွဲပြားတယ်ဆိုတာကို ညွှန်ပြနေပါတယ်။
GPU ပါဝါသုံးစွဲမှု
နောက်ဆုံးအနေနဲ့ GPU ရဲ့ ပါဝါသုံးစွဲမှုကို ကျွန်တော်တို့ စစ်ဆေးချင်ခဲ့ပါတယ်။ အံ့သြစရာတော့ မဟုတ်ပါဘူး၊ စနစ်ငါးခုစလုံးဟာ Prefill Heavy အတွင်းမှာ 69.3W (Acer) ကနေ 76.0W (Gigabyte) အထိ အမြင့်ဆုံးပါဝါသုံးစွဲမှုကို ပြသခဲ့ပါတယ်။
အဆိုပါ Takeaway
အချက်အလက်တွေက ရှင်းရှင်းလင်းလင်း ပြောပြနေပါတယ်။ ကျွန်တော်တို့ အသုံးပြုခဲ့တဲ့ Acer ယူနစ်ဟာ ပြိုင်ဘက်တွေထက် ၁၀-၁၅ ဒီဂရီစင်တီဂရိတ် ပိုအေးပြီး အခြေခံအားဖြင့် သာလွန်ကောင်းမွန်တဲ့ အအေးပေးစနစ်တစ်ခုကို ညွှန်ပြနေပါတယ်။ Founders Edition၊ Dell နဲ့ Gigabyte တို့ဟာ အပူချိန်ကို အတူတကွ စုစည်းထားပြီး NVIDIA ရဲ့ ရည်ညွှန်းဒီဇိုင်းနဲ့ ကိုက်ညီပါတယ်။ ASUS က အလယ်အလတ်အဆင့်ကို ရယူထားပါတယ်။ ပါဝါသုံးစွဲမှုက တစ်ပြေးညီဖြစ်ပြီး အပူချိန်ကွာခြားချက်တွေဟာ အအေးပေးစနစ် အကောင်အထည်ဖော်မှုကြောင့်သာ ဖြစ်ရတယ်ဆိုတာကို အတည်ပြုပါတယ်။ ဒါပေမယ့် Gigabyte ကတော့ အုပ်စုထဲမှာ ထင်ရှားပါတယ်။ အမြင့်ဆုံး GPU ပါဝါအဆင့်တွေထဲက တစ်ခုနဲ့ အကောင်းဆုံး အအေးပေးပရိုဖိုင်တွေထဲက တစ်ခုကို ပေးစွမ်းခဲ့ပြီး အအေးပေးစနစ်နဲ့ ပါဝါအကြား အကောင်းဆုံးဟန်ချက်ညီမှုကို ရရှိခဲ့ပါတယ်။
အလုံးစုံသော်၊ မိတ်ဖက်မော်ဒယ်များသည် အလွန်ဆင်တူသော စွမ်းဆောင်ရည်ရှိပြီး အသုံးပြုသူများသည် ၎င်းတို့ထဲမှ မည်သည့်မော်ဒယ်နှင့်မျှ မှားယွင်းနိုင်မည်မဟုတ်ပါ။ သို့သော် စိတ်ဝင်စားသော စာဖတ်သူများသည် workload စွမ်းဆောင်ရည်နှင့် လူတိုင်းအကြိုက်ဆုံး- ဖြုတ်တပ်ခြင်းများကို လွှမ်းခြုံထားသည့် စနစ်တစ်ခုစီ၏ ပြည့်စုံသော ပြန်လည်သုံးသပ်ချက်ကို စောင့်မျှော်ကြည့်ရှုသင့်ပါသည်။
အမေဇုံ