StorageReview.com

Dell EMC PowerEdge R740xd Server သုံးသပ်ချက်

စီးပွားရေးလုပ်ငန်း  ◇  ဆာဗာ

၂၀၁၇ ခုနှစ် နွေဦးရာသီတွင် Dell EMC သည် PowerEdge စီးရီး၏ အလွန်မျှော်လင့်ထားသော ပြန်လည်ဆန်းသစ်မှုကို စတင်ခဲ့ပြီး PowerEdge စီးရီးကို Broadwell မှ Xeon SP သို့ အဆင့်မြှင့်တင်ခဲ့သည်။ ပြန်လည်ဆန်းသစ်မှုတွင် mainstream R740 အပါအဝင် R740 server မိသားစုအသစ်နှင့် R740xd ဟု အမည်ပေးထားသော “extreme disk” ဗားရှင်းတို့ ပါဝင်ပြီး ဤသုံးသပ်ချက်တွင် ကျွန်ုပ်တို့ ကြည့်ရှုပါမည်။ ဤ powerful server သည် 3.5″ ၁၈ ခု သို့မဟုတ် 2.5″ disk ၃၂ ခုအထိ မယုံနိုင်လောက်အောင် စွမ်းရည်ရှိသော storage options အမျိုးမျိုးကို ပံ့ပိုးပေးသည်၊ သို့မဟုတ် breakneck storage I/O ကို ပိုနှစ်သက်ပါက 2.5″ NVMe SSD ၂၄ ခုအထိ ပံ့ပိုးပေးသည် ။ Compute နှင့် DRAM ကိုလည်း နောက်တန်းတွင် မထားခဲ့ပါ၊ R740xd သည် 28 cores တစ်ခုစီနှင့် 3TB အများဆုံး memory footprint ရှိသော dual Intel Xeon Scalable processors အထိ ပံ့ပိုးပေးသည်။ ဤ server အသစ်သည် ထူးချွန်မည်မဟုတ်သော application အနည်းငယ်သာရှိပြီး ၎င်းသည် Dell EMC သည် ဤ ever-modular platform ကို ဒီဇိုင်းဆွဲစဉ်က လိုက်လုပ်ခဲ့သော လမ်းကြောင်းအတိုင်း ဖြစ်သည်။

PowerEdge R740 server များသည် 2U box တွင် စွမ်းဆောင်ရည်နှင့် သိုလှောင်မှု၏ အလယ်အလတ်အဆင့်ကို ကိုယ်စားပြုသည်။ server ကို Intel Scalable CPU ၂ ခုနှင့် DDR4 DIMM ၂၄ ခု (သို့မဟုတ် NVDIMM ၁၂ ခု) အထိ configure လုပ်နိုင်သည်၊ သို့သော် ၎င်းတို့ အမှန်တကယ် ထွန်းတောက်သည်မှာ storage ကို ချဉ်းကပ်ပုံတွင် ဖြစ်သည်။ R740 မှာ storage bay ၁၆ ခုအထိ ပေးစွမ်းနိုင်ပေမယ့် xd မှာတော့ 2.5” bay ၃၂ ခုအထိ ပေးစွမ်းနိုင်ပြီး အဲဒီထဲက ၂၄ ခုကတော့ NVMe ဖြစ်နိုင်ပါတယ်။ R740xd မှာ ပုံမှန် front-loading bay တွေနဲ့ ယှဉ်ရင် ထူးခြားတဲ့ storage layout တွေလည်း ပါရှိပါတယ်။ mid-loading နဲ့ rear-loading bay တွေက 2U footprint တစ်ခုတည်းမှာ extra storage အားလုံးကို တပ်ဆင်ပေးနိုင်ပါတယ်။ ဒီ layout က user တွေကို NVMe, SSD နဲ့ HDD တွေကို chassis တစ်ခုတည်းမှာ ရောနှောပြီး chassis အတွင်းမှာ storage tiering တွေ ဖန်တီးပေးခြင်းအားဖြင့် သူတို့ရဲ့ application နဲ့ ကိုက်ညီအောင် storage လိုအပ်ချက်တွေကို စိတ်ကြိုက်ပြင်ဆင်နိုင်စေပါတယ်။ R740xd မှာ NVDIMM 192GB အထိလည်း support လုပ်ပါတယ်။ ထို့အပြင် R740xd မှာ add-on card တစ်ခုကနေတစ်ဆင့် RAIDed internal M.2 SSD တွေကနေ boot လုပ်နိုင်တဲ့ စွမ်းရည်ရှိပြီး workload storage အတွက် front-accessible space ကို လွတ်စေပါတယ်။ ဗားရှင်းနှစ်ခုစလုံးဟာ SDS၊ service provider တွေနဲ့ VDI အတွက် ကောင်းမွန်ပြီး total storage နဲ့ NVMe က အဓိကကွာခြားချက်ဖြစ်ပါတယ်။ R740/R740xd မှာ အသစ်အဆန်းတစ်ခုကတော့ GPU တွေ ဒါမှမဟုတ် FPGA များ။ နှစ်ခုစလုံးသည် 300W ကတ်သုံးခု သို့မဟုတ် 150W ကတ်ခြောက်ကတ်အထိ ပံ့ပိုးပေးနိုင်သည်။ ဤမျိုးဆက်တွင် Dell EMC သည် BIOS ကို ကတ်တစ်ခုစီအတွက် လိုအပ်သော လေစီးဆင်းမှုကို အလိုအလျောက် မှတ်ပုံတင်ပြီး multi-vector cooling ဟုခေါ်သော အင်္ဂါရပ်မှတစ်ဆင့် တစ်ဦးချင်းစီအတွက် စိတ်ကြိုက်ပြုလုပ်ထားသော လေစီးဆင်းမှုကို ပံ့ပိုးပေးရန် တီထွင်ထုတ်လုပ်ခဲ့သည်။

ဆာဗာလိုင်းတိုင်းကို အသစ်မွမ်းမံတိုင်း CPU အသစ်များ၊ RAM ပိုများလာခြင်းနှင့် သိုလှောင်မှုနှင့် ကွန်ရက်ချိတ်ဆက်မှု ရွေးချယ်စရာများ ပိုမိုကောင်းမွန်လာပါသည်။ သို့သော် ကုမ္ပဏီများစွာကို ခွဲခြားသတ်မှတ်ပေးသည်မှာ ထုတ်ကုန်၏ တစ်သက်တာစီမံခန့်ခွဲမှု အပြည့်အစုံဖြစ်သည်။ ကျိုးကြောင်းဆီလျော်စွာပင်၊ ဟာ့ဒ်ဝဲသတ်မှတ်ချက်များ တူညီသော မည်သည့်ဆာဗာမဆို ရမှတ်များ တူညီစွာ ရရှိမည်ဖြစ်သည်။ သို့သော် ကွာခြားချက်မှာ ဟာ့ဒ်ဝဲ၏ အရည်အသွေး၊ ပံ့ပိုးမှုဆော့ဖ်ဝဲ၏ ကျယ်ပြန့်မှုနှင့် စနစ်သည် သတ်မှတ်ထားသောပတ်ဝန်းကျင်တွင် မည်မျှလွယ်ကူစွာ ဖြန့်ကျက်နိုင်သည်တို့ကြောင့် လျင်မြန်စွာ ထင်ရှားလာပါသည်။ ၎င်းသည် Dell EMC သည် ဈေးကွက်ရှိ အခြားသူများနှင့် ကွဲပြားစေသည့် အဓိကနေရာတစ်ခုဖြစ်သည်။ Dell EMC သည် LifeCycle Controller၊ iDRAC၊ OpenManage Mobile နှင့် အခြားအရာများကဲ့သို့သော အဓိကကိရိယာများကို အသုံးပြုသူများအား ပေးဆောင်ပါသည်။ ကျွန်ုပ်တို့သည် ဤကိရိယာများစွာကို ၎င်းတို့၏ကိုယ်ပိုင်ပတ်ဝန်းကျင်တွင် အသုံးချခဲ့ပြီး၊ ပလက်ဖောင်းသည် အချိန်နှင့်အမျှ မည်မျှရိုးရှင်းပြီး ရင့်ကျက်လာသည်ကို အကြိမ်ကြိမ် အထင်ကြီးလေးစားမိပါသည်။

PowerEdge server အသစ်များတွင် software-defined storage (SDS) ကို အစကတည်းက support ပေးထားသောကြောင့် hyperconverged infrastructure ကဲ့သို့သော case များကို အသုံးပြုနိုင်ပါသည်။ ၎င်းတို့၏ကိုယ်ပိုင် enterprise product lineup တွင် Dell EMC သည် R740 ကို Ready Nodes for ScaleIO သို့မဟုတ် VSAN ကဲ့သို့သော pre-built နှင့် validated solution များအပြင် PowerEdge XC line ဖြင့် အသုံးချပါသည်။ R740xd သည် SDS product အတွက် external drive bay အားလုံးကို အသုံးချနိုင်သည့် configuration များကို လုပ်ဆောင်နိုင်စေပြီး boot segment ကို internal m.2 SSD တွင် ထားရှိပေးပါသည်။

Dell EMC PowerEdge R740xd အသစ်ကို ယခုရရှိနိုင်ပြီး အလွန်စိတ်ကြိုက်ပြင်ဆင်နိုင်ပါသည်။ ဤသုံးသပ်ချက်အတွက်၊ ကျွန်ုပ်တို့သည် ထိပ်တန်းဖွဲ့စည်းပုံနီးပါးရှိသော သီးခြား R740xd တစ်ခုအပြင် ပိုမိုရိုးရှင်းသောဖွဲ့စည်းပုံရှိသော R740xds ၁၂ ခုပါဝင်သော cluster တစ်ခုကိုလည်း အသုံးပြုခဲ့ပါသည်။

ကျွန်ုပ်တို့အသုံးပြုနေသော R740xd တစ်ခုတည်းကို အောက်ပါတို့ဖြင့် တည်ဆောက်ထားသည်။

  • Intel Xeon Platinum 8180 CPU နှစ်လုံး
  • DDR4 2667MHz RAM 384GB (32GB x 12)
  • ၄ x 400GB SAS SSD များ
  • ၂ x 1.6TB NVMe SSD များ
  • Mellanox ConnectX-4 Lx Dual Port 25GbE DA/SFP rNDC
  • Quick Sync 2 နှင့် OpenManage လုပ်ဆောင်ချက်များပါရှိသော LCD bezel
  • iDRAC 9 Enterprise

Dell EMC PowerEdge R740xd Server သတ်မှတ်ချက်များ-

  • ပုံစံအချက်: 2U Rackmount
  • ပရိုဆက်ဆာများ- Intel Scalable CPU ၂ ခုအထိ သို့မဟုတ် cores ၂၈ ခုအထိ
  • မှတ်ဉာဏ်: 24x DDR4 RDIMM၊ LR-DIMM (အများဆုံး 3TB)
  • NVDIMM အထောက်အပံ့- 12 သို့မဟုတ် 192GB အထိ
  • ဒရိုက်ဘေးများ
    • ရှေ့ဘက် bays များ-
      • ၂၄ x ၂.၅” SAS/SSD/NVMe အထိ၊ အများဆုံး ၁၈၄TB
      • ၂ x ၃.၅” SAS အထိ၊ အများဆုံး 120TB
    • အလယ်ပင်လယ်အော်:
      • ၃.၅ လက်မ ဒရိုက် ၄ ခုအထိ၊ အများဆုံး ၄၀ တီဘီ
      • ၂၄ x ၂.၅” SAS/SSD/NVMe အထိ၊ အများဆုံး ၁၈၄TB
    • နောက်ဘက် bays:
      • ၃.၅ လက်မ ၂ ခုအထိ အများဆုံး ၂၀ တီဘီ
      • ၃.၅ လက်မ ၂ ခုအထိ အများဆုံး ၂၀ တီဘီ
  • သိုလှောင်မှု ထိန်းချုပ်ကိရိယာများ
    • အတွင်းပိုင်း ထိန်းချုပ်ကိရိယာများ- PERC H730p၊ H740p၊ HBA330၊ ဆော့ဖ်ဝဲ RAID (SWRAID) S140
    • Boot Optimized Storage Subsystem: HWRAID 2 x M.2 SSDs 120GB, 240 GB
    • ပြင်ပ PERC (RAID): H840
    • ပြင်ပ HBA များ (RAID မဟုတ်): 12 Gbps SAS HBA
  • ဆိပ်ကမ်းများ
    • ကွန်ရက်သမီးကတ်ရွေးချယ်စရာများ- 4 x 1GE သို့မဟုတ် 2 x 10GE + 2 x 1GE သို့မဟုတ် 4 x 10GE သို့မဟုတ် 2 x 25GE
    • ရှေ့ပေါက်များ- VGA၊ USB 2.0 နှစ်ခု၊ သီးသန့် IDRAC Direct Micro-USB
    • နောက်ဘက်ပေါက်များ- VGA၊ Serial၊ USB 3.0 2 ခု၊ သီးသန့် iDRAC ကွန်ရက်ပေါက်
  • ဗီဒီယိုကတ်:
    • VGA
    • Gen3 slot ၈ ခုအထိ၊ ၁၆ ခုအထိ
  • GPU ရွေးချယ်စရာများ-
    • Nvidia Tesla P100၊ K80၊ K40၊ Grid M60၊ M10၊ P4၊ Quadro P4000။
    • AMD S7150၊ S7150X2
  • ထောကျပံ့ OS ကို
    • Canonical Ubuntu LTS
    • Citrix XenServer
    • Hyper-V ပါဝင်သော Microsoft Windows Server
    • Red Hat လုပ်ငန်း Linux
    • SUSE Linux လုပ်ငန်းဆာဗာ
    • VMWare Esxi
  • စွမ်းအား
    • တိုက်တေနီယမ် ၇၅၀ ဝပ်၊ ပလက်တီနမ် ၄၉၅ ဝပ်၊ ၇၅၀ ဝပ်၊ ၁၁၀၀ ဝပ်၊
    • 1600W နှင့် 2000W
    • ၄၈VDC ၁၁၀၀W၊ ၃၈၀HVDC ၁၁၀၀W၊ ၂၄၀HVDC ၇၅၀W
    • အပြည့်အဝ ထပ်တူကျသော hot plug power supplies များ
    • full-redundancy၊ မြင့်မားသောစွမ်းဆောင်ရည်ရှိသော hot plug ပန်ကာ ၆ လုံးအထိ ရရှိနိုင်ပါသည်။

ဒီဇိုင်းနှင့်တည်ဆောက်ပါ

PowerEdge Server အသစ်များကို ချောမွေ့စွာ ဒီဇိုင်းထုတ်ထားရုံသာမက (တကယ်တော့ ချောမွေ့စွာ ဒီဇိုင်းထုတ်ထားသလို) အသုံးပြုသူများနှင့် အပလီကေးရှင်းများ ၎င်းတို့နှင့် မည်သို့ အပြန်အလှန် ဆက်သွယ်ပုံကို ထင်ဟပ်စေရန် ဒီဇိုင်းထုတ်ထားပါသည်။ ရှေ့ဘက်တွင် Wireless OpenManage စွမ်းရည်ပါရှိသော Quick Sync ပံ့ပိုးမှုပါရှိသော bezel အသစ်ပါရှိသည်။ ဆာဗာအသစ်များရှိ ဒီဇိုင်းသည် Unity 450F all-flash array ကဲ့သို့သော စနစ်များအပါအဝင် Dell EMC သိုလှောင်မှုကမ်းလှမ်းချက်အသစ်များနှင့်လည်း ကိုက်ညီပါသည်။ bezel အောက်တွင် SATA၊ SAS၊ Nearline SAS နှင့် NVMe (ထိုသို့ပြုလုပ်ရန် configure လုပ်ထားပါက) ကို ပံ့ပိုးပေးသော 2.5” bays ၂၄ ခု ရှိပါသည်။

အမြင့်ဆုံးစွမ်းရည်သည် စွမ်းဆောင်ရည်ထက် ပိုမိုမြင့်မားသော စိုးရိမ်မှုရှိပါက ရှေ့ဘက်ကို ၃.၅ လက်မ drive ၁၂ ခုကိုလည်း ထောက်ပံ့ပေးရန် ပြင်ဆင်သတ်မှတ်နိုင်သည်။ ဘယ်ဘက်ခြမ်းတွင် ကျန်းမာရေးနှင့် ID အတွက် မီးများနှင့် iDRAC Quick Sync 2 wireless activation ခလုတ်တို့ ရှိသည်။ ညာဘက်ခြမ်းတွင် ပါဝါခလုတ်၊ VGA port၊ iDRAC Direct micro USB port နှင့် USB 2.0 port နှစ်ခု ရှိသည်။

ဈေးကွက်ထဲက တခြားသူတွေက ကုန်ကျစရိတ်လျှော့ချဖို့နဲ့ အစိတ်အပိုင်းတွေကို ဖယ်ရှားဖို့ နည်းလမ်းရှာနေချိန်မှာ Dell EMC က R740xd နဲ့ R740 အတွက် ရွေးချယ်စရာတစ်ခုအဖြစ် ထားရှိထားတဲ့ အရာတစ်ခုကတော့ ရှေ့ bezel ပါ။ တချို့က “ဘယ်သူဂရုစိုက်မှာလဲ?!” လို့ ပြောကောင်းပြောနိုင်ပေမယ့် LCD သေးသေးလေးနဲ့ ခလုတ်သုံးခုက datacenter ပတ်ဝန်းကျင်မှာ အလွန်အသုံးဝင်ပါတယ်။ ဥပမာအားဖြင့် iDRAC ကို အဝေးကနေ ဝင်ရောက်လို့မရတဲ့ အခြေအနေမှာ management network setting တွေ ပြောင်းလဲသွားပြီး crash cart နဲ့ keyboard နဲ့ manually ဝင်ဖို့ server ကို power cycle လုပ်ချင်တာမဟုတ်တဲ့ အခြေအနေမှာ front bezel က အရမ်းအသုံးဝင်ပါတယ်။ Dell EMC server မှာ iDRAC setting တွေအတွက် interface သေးသေးလေးကနေတစ်ဆင့် management IP ကို ​​front panel ကနေတစ်ဆင့် static ကနေ DHCP ကို ​​ပြန်ပြောင်းနိုင်ပါတယ်။ အဲဒီ function မရှိသေးရင် system အများစုမှာ manually ပြောင်းဖို့ reboot လုပ်ရပါမယ်။ R740xd မှာတော့ control အမျိုးမျိုးကြောင့် ဒါက band ပြင်ပကို ရောက်သွားပါလိမ့်မယ်။

အပေါ်အဖုံးကို ဖြုတ်လိုက်တဲ့အခါ Dell EMC က PowerEdge server အသစ်တွေမှာ ထည့်သွင်းထားတဲ့ အတွင်းပိုင်းလုပ်ဆောင်ချက်တွေနဲ့ အသေးစိတ်အချက်အလက်တွေကို အလေးထားမှုကို ပြသနေပါတယ်။ လိုအပ်ရင် server အစိတ်အပိုင်းအများစုကို အလွယ်တကူ လဲလှယ်နိုင်ပြီး လေဝင်လေထွက်ကောင်းအောင် ရှုပ်ပွနေမှုကို အနည်းဆုံးဖြစ်အောင် ထိန်းသိမ်းထားနိုင်ပါတယ်။ ကျွန်တော်တို့ သုံးသပ်ခဲ့တဲ့ system မှာ dual-slot m.2 boot SSD card၊ RAID card နှစ်ခုအပြင် ရှေ့မှာ NVMe slot တွေအတွက် PCIe pass-through adapter နှစ်ခုကို မြင်တွေ့နိုင်ပါတယ်။

ကျွန်ုပ်တို့ရဲ့တည်ဆောက်မှုမှာ hypervisor storage အတွက် internal dual-slot microSD boot device လည်းပါဝင်ပါတယ်။ cooling fan duct လုပ်ဆောင်ချက်အားလုံးဟာ hardware အားလုံးတစ်လျှောက် လေစီးဆင်းမှုကို ထိန်းသိမ်းပေးပြီး hotspot တွေကို အနည်းဆုံးဖြစ်အောင် ထိန်းသိမ်းပေးပြီး server က fan noise ပိုများတာကို အနည်းဆုံးဖြစ်အောင် ထိန်းညှိပေးတဲ့ လုပ်ဆောင်ချက်တွေလောက် မထင်ရှားပေမယ့် (အရမ်းအရေးကြီးပါတယ်)။ ကျွန်ုပ်တို့ရဲ့စမ်းသပ်မှုတစ်လျှောက်လုံးမှာ fan noise ပိုများတာကို သတိပြုမိခဲ့ပါတယ် (ဒါမှမဟုတ် သတိပြုမိခြင်းမရှိခဲ့ပါဘူး)။ CPU တွေ ပြည့်နှက်နေတဲ့ အလွန်အမင်းဝန်ထုပ်ဝန်ပိုးအောက်မှာ fan noise ဟာ ကျွန်ုပ်တို့ရဲ့ဓာတ်ခွဲခန်းထဲက တခြား whitebox system တွေထက် အများကြီးနိမ့်ကျနေခဲ့ပါတယ်။ ကျွန်ုပ်တို့တွေ့ရှိခဲ့တဲ့ နောက်ထပ်စိတ်ဝင်စားစရာကောင်းတဲ့အချက်တစ်ခုကတော့ system တွေဟာ ambient air temperature မြင့်မားတဲ့အချိန်မှာ airflow ကို ဘယ်လိုကိုင်တွယ်ဖြေရှင်းခဲ့လဲဆိုတာပါပဲ။ ကျွန်ုပ်တို့ရဲ့ဓာတ်ခွဲခန်းမှာ server တွေကို အအေးပေးဖို့အတွက် လတ်ဆတ်တဲ့လေကို အသုံးပြုရတာကို ကျွန်ုပ်တို့နှစ်သက်တဲ့အတွက် ကျွန်ုပ်တို့ရဲ့ဓာတ်ခွဲခန်းထဲက system တွေဟာ လေအပူချိန်အမျိုးမျိုးကို မြင်တွေ့နိုင်ပါတယ်။ R740xd ဟာ ambient air temperature မြင့်မားတဲ့ပတ်ဝန်းကျင်မှာ စွမ်းဆောင်ရည်ပြသတဲ့အခြေအနေတွေမှာ fan speed တွေကို ယဉ်ကျေးစွာတိုးမြှင့်ပေးခဲ့ပေမယ့် noise ကိုတော့ အနည်းဆုံးဖြစ်အောင် ထိန်းထားပေးပါတယ်။ ဒါဟာ ကျွန်ုပ်တို့ရဲ့ဓာတ်ခွဲခန်းထဲက တခြား server တွေနဲ့ hardware တွေနဲ့ လုံးဝဆန့်ကျင်ဘက်ဖြစ်ပြီး တံခါးပိတ်ထားတာ ဒါမှမဟုတ် သူတို့ပတ်ဝန်းကျင်မှာ စကားပြောဆိုမှုတွေကို ဖုံးကွယ်ထားတဲ့ အသံတွေကို ကြားနိုင်ပါတယ်။

ကျွန်ုပ်တို့ရဲ့ configuration နှစ်ခုစလုံးမှာ mid-bay storage option တွေကို build ထဲမှာ configure မလုပ်ထားပါဘူး။ PowerEdge R740xd technical manual ကနေ နမူနာပုံတစ်ပုံကို ထုတ်ပြထားပါတယ်။ internal 3.5″ bays နဲ့ 2.5″ drive mounts တွေကို ပြသထားပါတယ်။ တခြား mainstream server အနည်းငယ်လောက်သာ system configuration မှာ ဒီလို density မြင့်မားတာကို ပေးစွမ်းနိုင်ပါတယ်။ ဈေးကွက်ထဲမှာ ထူးခြားတဲ့ server build တွေ ရှိနေပေမယ့် application အတွက် custom-built လုပ်ထားတဲ့ server အများအပြား ရှိပါတယ်။ ဒါက ထူးခြားတဲ့ system တွေကို ဘယ်လို manage လုပ်မလဲ၊ deploy လုပ်မလဲ၊ datacenter မှာ ဘယ်သူက administration လုပ်မလဲဆိုတဲ့ အပိုင်းမှာ ကွာခြားချက်ကြီးတစ်ခု ဖြစ်စေပါတယ်။

R740xd ရဲ့ နောက်ဘက်ကို လှန်ကြည့်လိုက်ရင် အများဆုံး တိုးချဲ့နိုင်စွမ်းကို ရှာဖွေနေတဲ့ သုံးစွဲသူတွေအနေနဲ့ သတိပြုသင့်ပါတယ်။ အပေါ်ဘယ်ဘက်ထောင့်ကနေစပြီး full-height PCIe expansion slot သုံးခုရှိပြီး အောက်မှာ system identification button တစ်ခု၊ iDRAC dedicated networking port တစ်ခု၊ serial port တစ်ခု၊ VGA port တစ်ခုနဲ့ USB 3.0 port နှစ်ခု ရှိပါတယ်။ အလယ်မှာ full-height PCIe slot နှစ်ခုအပြင် ဒီ build မှာ RAID card အတွက် အသုံးပြုတဲ့ half-height slot တစ်ခုလည်း ရှိပါတယ်။ အဲဒီအောက်မှာ dual-port 25Gb Mellanox NIC ပါဝင်တဲ့ rNDC slot တစ်ခု ရှိပါတယ်။ အပေါ်ညာဘက်ခြမ်းမှာ dual-power supply တွေရဲ့ အပေါ်ဘက်မှာ full-height PCIe slot နှစ်ခု ရှိပါတယ်။ full-height PCIe slot နှစ်ခု အပိုရှိတာကြောင့် Dell EMC က 2.5″ NVMe SSD လေးခု၊ dual-RAID card တွေ၊ dual m2.boot SSD တွေအပြင် dual-port 25Gb Ethernet NIC တစ်ခုအတွက် ထောက်ပံ့ပေးထားပါတယ်။

rNDC slot ကို onboard primary network interface အတွက် အသုံးချထားပါတယ်။ ဒါကို quad-port 1GbE NIC ကနေ Mellanox နဲ့ Broadcom နှစ်ခုလုံးက dual-port 25Gb အထိ ရွေးချယ်စရာ အများအပြားနဲ့ ကြိုတင်ထည့်သွင်းထားနိုင်ပါတယ်။ ဘယ် option မှ server ရဲ့ ရရှိနိုင်တဲ့ PCIe slot တစ်ခုကို ဖယ်ရှားမပေးဘဲ တခြားအသုံးပြုမှုတွေအတွက် လုံးဝဖွင့်ထားပေးပါတယ်။ rNDC upgrade guide မှာ ပြသထားတဲ့အတိုင်း ဒီ bay ဟာ upgrade လုပ်ရလွယ်ကူပြီး networking device တွေကို main PCIe slot တွေကနေ ဖယ်ထားရာမှာ အတော်လေး အထောက်အကူဖြစ်စေပါတယ်။

စီမံခန့်ခွဲမှု

PowerEdge R740xd သည် ရိုးရာစီမံခန့်ခွဲမှုရွေးချယ်စရာများစွာအပြင် လက်ဖဝါးထဲတွင် အံဝင်ခွင်ကျဖြစ်သော စီမံခန့်ခွဲမှုရွေးချယ်စရာများစွာကို ပေးဆောင်ပါသည်။ R740xd ကို Dell EMC ၏ OpenManage Mobile အက်ပ် သို့မဟုတ် ယခင်မျိုးဆက်ဆာဗာများကို ဒေသတွင်းတွင် အသုံးပြုခြင်းဖြင့် ဖြန့်ကျက်နိုင်ပါသည်။ OpenManage Mobile ၏စွမ်းရည်များသည် အထူးသဖြင့် ဒေတာစင်တာတစ်ခုတည်းတွင် ဆာဗာများစွာကို တည်ဆောက်နေသည့်အခါ သို့မဟုတ် သင့်စားပွဲသို့ လှည့်ပတ်သွားလာခြင်း သို့မဟုတ် crash cart ယူဆောင်လာခြင်းမရှိဘဲ ကြမ်းပြင်ပေါ်တွင် ပြီးမြောက်အောင် လုပ်ဆောင်လိုသည့်အခါတွင် အမှန်တကယ် ကွာခြားမှုတစ်ခု ဖြစ်စေနိုင်ပါသည်။ ဆဲလ်ဖုန်းတစ်လုံးတည်းဖြင့်သာ ဆာဗာကို လျင်မြန်စွာ ဖြန့်ကျက်ရန် ကြိုတင်တည်ဆောက်ထားသော ပရိုဖိုင်များကို အသုံးပြုခြင်းသည် ဒေတာစင်တာတွင် crash cart လိုအပ်သည့် လုပ်ငန်းစဉ်ကို သိသိသာသာ မြန်ဆန်စေပါသည်။

onboard WiFi ရေဒီယိုသည် အသုံးပြုသူများကို R740xd server နှင့် ချိတ်ဆက်ပေးပြီး ၎င်းသည် အလွန်လုံခြုံပါသည်။ ဆာဗာ၏ ရှေ့ panel မှ wireless radio ကိုဖွင့်ရန်အပြင် server ရှေ့ရှိ information tag ကို scan ဖတ်ရန် server သို့ local နှင့် physical access လိုအပ်သည်။ ကွန်ရက်ဖွင့်ပြီးသည်နှင့် သင့်ဖုန်း သို့မဟုတ် မိုဘိုင်း workstation မှ မိုဘိုင်း app သို့မဟုတ် web browser မှတစ်ဆင့် iDRAC နှင့် ချိတ်ဆက်ရန် private LAN ကို အသုံးပြုခွင့် ရရှိမည်ဖြစ်သည်။

၎င်းသည် လျင်မြန်စွာ အခြေအနေစစ်ဆေးခြင်း သို့မဟုတ် စနစ်စစ်တမ်းကောက်ယူခြင်းအတွက် လက်ကိုင်ဝင်ရောက်ခွင့် သို့မဟုတ် ပိုမိုအဆင့်မြင့်သော လုပ်ဆောင်ချက်များနှင့် iKVM သည် ဝါယာကြိုးများချိတ်ဆက်ခြင်း သို့မဟုတ် လှည်းများပျက်စီးခြင်းအတွက် စိတ်ပူစရာမလိုဘဲ အလုပ်လုပ်ပါသည်။ အလွန်တိုတောင်းသောအကွာအဝေး (ဒေတာစင်တာပတ်ဝန်းကျင်တွင် ဆာဗာမှ ၅ ပေမှ ၁၀ ပေအထိ) သည် မည်သူမျှသတိမထားမိဘဲ စနစ်ထဲသို့ ခုန်ဆင်းသွားနိုင်ခြေကို လျှော့ချရန်လည်း ကူညီပေးပါသည်။ သင့်အလုပ်ပြီးစီးသွားသောအခါ၊ ကြိုးမဲ့ရေဒီယိုကို ပိတ်လိုက်ခြင်းသည် နောက်ထပ်ဝင်ရောက်ခွင့်များကို ပိတ်လိုက်ပါသည်။

iDRAC မှာ ပါဝင်တဲ့ ကြိုဆိုစရာ ထပ်လောင်းတစ်ခုကတော့ Group Manager ပါ။ ဒီ feature က IT admin တွေကို iDRAC အတွင်းကနေ R740 server အုပ်စုတစ်ခုကို စီမံခန့်ခွဲနိုင်စေပါတယ်။ ကျွန်တော်တို့ရဲ့ environment မှာဆိုရင် group leader အဖြစ် လုပ်ဆောင်ပေးတဲ့ ပထမဆုံး R740xd ရှိပြီး server အများအပြားကို remote manage လုပ်ဖို့အတွက် login တစ်ခုတည်းပဲ လိုအပ်ပါတယ်။ central point ကနေ server status ကို ရနိုင်သလို server တစ်ခုချင်းစီကို power toggle လုပ်နိုင်ပြီး login information ထပ်ထည့်စရာမလိုဘဲ local iDRAC interface ထဲကို မြန်မြန်ဆန်ဆန် ခုန်ဝင်နိုင်ပါတယ်။

iDRAC ဟာ Dell စီမံခန့်ခွဲမှုရဲ့ အဓိက အစိတ်အပိုင်းတစ်ခု ဖြစ်ခဲ့ပါတယ်။ မကြာသေးခင်ကပဲ ကုမ္ပဏီဟာ အသုံးပြုသူအတွေ့အကြုံကို ပိုမိုတိုးတက်ကောင်းမွန်စေဖို့နဲ့ iDRAC ရဲ့ လုပ်ဆောင်ချက်တွေကို ပိုမိုတိုးတက်ကောင်းမွန်စေဖို့အတွက် မြှင့်တင်မှုအများအပြားကို ကြေညာခဲ့ပါတယ်။ iDRAC9 ဟာ သူ့ရဲ့စွမ်းဆောင်ရည်ကို လေးဆတိုးစေဖို့ ပိုမိုအားကောင်းတဲ့ processor တစ်ခုကို ထည့်သွင်းခဲ့ပါတယ်။ အခုဆိုရင် အလိုအလျောက်လုပ်ဆောင်နိုင်စွမ်း ပိုမိုများပြားလာပြီး IT admin တွေအတွက် အချိန်ကုန်သက်သာစေပြီး အမှားအယွင်းတွေကို လျှော့ချပေးပါတယ်။ BIOS setting အားလုံးကို BIOS ကို boot လုပ်မယ့်အစား iDRAC ကနေတစ်ဆင့် ချိန်ညှိနိုင်ပါပြီ။ iDRAC အသစ်မှာ online capacity expansion၊ RAID level migration၊ cryptographic physical drive erase၊ physical drives တွေကို rebuild/cancel rebuild၊ revertible hot-spare ကို enable လုပ်ခြင်းနဲ့ virtual disk renaming စတဲ့ storage configuration တွေ ပိုမိုကောင်းမွန်လာပါတယ်။

iDRAC အတွင်းရှိ စွမ်းဆောင်ရည် သိသိသာသာ တိုးတက်လာကြောင်း ကျွန်ုပ်တို့ ဖော်ပြသောအခါ အနည်းငယ်မျှပင် လွန်ကဲစွာ မဆိုလိုပါ။ HTML5 interface အသစ်သည် ကနဦး login ဝင်ခြင်းနှင့် iDRAC WebGUI မှတစ်ဆင့် အပြည့်အဝ အပြန်အလှန် ဆက်သွယ်ခြင်း အပါအဝင် နယ်ပယ်အားလုံးတွင် ပိုမိုမြန်ဆန်ပါသည်။ R730 (ထွက်ရှိချိန်တွင် နှေးကွေးခြင်းမရှိပါ) နှင့် နှိုင်းယှဉ်ပါက နေ့ရောညပါ အသုံးပြုနိုင်ပါသည်။ iDRAC သို့ တိုက်ရိုက် login ဝင်သည့်အခါ အသုံးပြုသည့် feature အသစ်အချို့နှင့် ပတ်သက်၍ စီမံခန့်ခွဲမှုတွင် Connection View ဟုခေါ်သော အဝေးထိန်း view တစ်ခု ရှိလာပါသည်။ ၎င်းသည် IT admin များအား server ၏ ရှုထောင့်အမျိုးမျိုးကို ချက်ချင်း ကြည့်ရှုနိုင်စေပါသည်။ ၎င်းနှင့်အတူ iDRAC Group manager ဖြင့် အဝေးထိန်း စီမံခန့်ခွဲရန်အတွက် dashboard အသစ်တစ်ခုလည်း ပါရှိပါသည်။ တိုက်ရိုက်ချိတ်ဆက်ထားသော accessibility အတွက် server ၏ ရှေ့ဘက်တွင် iDRAC အတွက် port တစ်ခု ရှိပါသည်။

iDRAC မှာ ထပ်ဆောင်း feature တွေ ထည့်သွင်းထားပြီး အသုံးပြုသူတွေအတွက် server တစ်ခုချင်းစီကို သူတို့ရဲ့ application အတွက် ပိုမိုကောင်းမွန်စွာ customize လုပ်နိုင်ပါတယ်။ BIOS level customization တွေကို console login မလိုအပ်ဘဲ iDRAC ကနေတစ်ဆင့် သတ်မှတ်နိုင်ပါပြီ။ ဒါကြောင့် ပထမဆုံး deployment မလုပ်ခင် key setting အနည်းငယ်ကို ရိုးရှင်းတဲ့ web browser ဒါမှမဟုတ် mobile phone app ကနေတစ်ဆင့် ပြောင်းလဲနိုင်ပါတယ်။ server အများအပြားကို တစ်ပြိုင်နက် deploy လုပ်ဖို့အတွက် server profile file တစ်ခုကိုလည်း တည်ဆောက်နိုင်ပါတယ်။

ဒီနောက်ဆုံးပေါ်မျိုးဆက်ဆာဗာနဲ့ ထည့်သွင်းထားတဲ့ ဟာ့ဒ်ဝဲစီမံခန့်ခွဲမှုကလည်း စိတ်ဝင်စားစရာကောင်းတဲ့လမ်းကြောင်းတစ်ခုကို လျှောက်လှမ်းခဲ့ပါတယ်။ Dell က PCIe add-on ကတ်တွေကို အသုံးပြုသူတွေအတွက် စီမံခန့်ခွဲရတာ ပိုမိုလွယ်ကူအောင် ပြုလုပ်ပေးခဲ့ပြီး ဆာဗာက ကတ်အမျိုးအစားကို သိရှိပြီး သင့်တော်တဲ့အအေးပေးစနစ်အတွက် ပန်ကာအမြန်နှုန်းကို အလိုအလျောက် ချိန်ညှိပေးပါလိမ့်မယ်။ လေစီးဆင်းမှုကို ထည့်သွင်းထားတဲ့ စက်ပစ္စည်းတစ်ခုချင်းစီအတွက် စိတ်ကြိုက် LFM ပန်ကာအမြန်နှုန်းဆက်တင်နဲ့ ဆာဗာအဆင့်မှာ မာစတာအော့ဖ်ဆက်တင်နဲ့ ထပ်မံချိန်ညှိနိုင်ပါတယ်။ အအေးပေးစနစ်ပြင်ဆင်မှုအများစုကို ယခင်မျိုးဆက်ဆာဗာတွေထက် "ပိုမိုကောင်းမွန်" စွာထည့်သွင်းထားတဲ့ ဟာ့ဒ်ဝဲကို အအေးပေးဖို့ လုပ်ဆောင်တာမဟုတ်ပါဘူး။ ယင်းအစား၊ ဒါက လေစီးဆင်းမှုအနည်းဆုံးနဲ့ *ပြီးပြည့်စုံစွာ* ဟာ့ဒ်ဝဲကို အအေးပေးတာနဲ့ ပိုသက်ဆိုင်ပါတယ်။ ဆာဗာအများစုမှာ ပန်ကာတွေကို အပြည့်အဝအမြန်နှုန်းနဲ့ သတ်မှတ်နိုင်ပြီး စက်ပစ္စည်းတွေ အပူလွန်ကဲမှာကို မစိုးရိမ်ရပါဘူး။ ဒါပေမယ့် ဒါက ပါဝါနဲ့ ဆူညံသံပိုလျှံတာကို ကုန်ကျစရိတ်နဲ့ ရင်ဆိုင်နေရပါတယ်။

လေစီးဆင်းမှုကို အနည်းဆုံးဖြစ်အောင် ပြုလုပ်ထားခြင်းကြောင့် မလိုအပ်ဘဲ မြင့်မားစွာလည်ပတ်နေသော ပန်ကာများကြောင့် စွမ်းအင်ဖြုန်းတီးမှုများ လျော့နည်းသွားပါသည်။ နောက်ဆုံးတွင် ၎င်းသည် ပန်ကာများ ဆူညံသံများ မထွက်ဘဲ ဒေတာစင်တာကို ပိုမိုပျော်ရွှင်ဖွယ်ကောင်းစေပါသည်။

performance

R740xd ကို ယခင်မျိုးဆက်စနစ်များနှင့် နှိုင်းယှဉ်ကြည့်သောအခါ၊ တွက်ချက်မှုနှင့် သိုလှောင်မှုအလားအလာများသည် အဆမတန်မြင့်တက်လာခဲ့သည်။ Intel Broadwell အပ်ဒိတ်များနှင့်အတူ၊ R730 စီးရီး (E5-2699v4) တွင် ပေးဆောင်ထားသော ထိပ်တန်း CPU သည် dual processor configuration တွင် 96.8GHz ကို ပေးဆောင်သည်။ သို့သော် PowerEdge R740xd အတွင်းရှိ Intel Scalable လိုင်းဖြင့်၊ ထိပ်တန်း CPU (Platinum 8180) သည် ထိုနံပါတ်ကို 139.66GHz အထိ မြှင့်တင်ပေးသည်။ အပေါ်ယံအားဖြင့် ၎င်းသည် ၄၄% ခုန်တက်သွားခြင်းဖြစ်သော်လည်း၊ မြင့်မားသော core count များ သို့မဟုတ် DRAM-clockspeed တိုးတက်မှုများတွင် clockspeed တွင် တိုးတက်မှုများကိုပင် မတွေ့ရပါ။ သိုလှောင်မှုဘက်တွင်၊ NVMe SSD များသည် R740xd configuration များတွင် ပိုမိုကြီးမားသော အခန်းကဏ္ဍမှ ပါဝင်လာခဲ့ပြီး၊ ယခုအခါ ကမ်းလှမ်းမှုများသည် NVMe SSD ၂၄ ခုအထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပြီး၊ R730xd တွင် လေးခုသည် အမြင့်ဆုံးဖြစ်ခဲ့သည်။

နောက်ဆုံးထွက် Dell EMC PowerEdge server မှာ ပြုလုပ်ထားတဲ့ တိုးတက်မှုတွေကို ကြည့်မယ်ဆိုရင်၊ Dell EMC Unity 450F All-Flash array ကနေ storage ကို အသုံးပြုထားတဲ့ server ရှစ်ခုပါဝင်တဲ့ group တစ်ခုမှာ local performance ရော clustered performance ကိုပါ နောက်ပိုင်းသုံးသပ်ချက်မှာ ဆွေးနွေးသွားပါမယ်။ ဒီသုံးသပ်ချက် layout ဟာ စိတ်ဝင်စားတဲ့ ဝယ်ယူသူတွေအနေနဲ့ single instance တွေမှာ ဒီ server တွေ ဘယ်လိုကောင်းကောင်းတပ်ဆင်ထားလဲဆိုတာကို သိရှိနိုင်ဖို့နဲ့ Dell EMC ecosystem အတွင်းမှာ virtualized environment မြင့်မားစွာ ဘယ်လို interact လုပ်လဲဆိုတာကို သိရှိနိုင်အောင် ကူညီပေးဖို့ ရည်ရွယ်ပါတယ်။ ဒီ system အားလုံးကို Mellanox ConnectX-4 25Gb rNDC NIC တွေနဲ့ Dell EMC Networking Z9100 100G switch တွေကို ပေါင်းစပ်ထားပါတယ်။

local system performance ကိုကြည့်တဲ့ ကျွန်တော်တို့ရဲ့အပိုင်းမှာ၊ ကျွန်တော်တို့မှာ ကောင်းမွန်စွာတပ်ဆင်ထားတဲ့ R740xd တစ်ခုရှိပြီး NVMe combo နှစ်ခုနဲ့ စမ်းသပ်နေပါတယ်။ တစ်ခုက Samsung 1.6TB PM1725a NVMe SSD နှစ်ခုနဲ့ဖြစ်ပြီး၊ ဒုတိယတစ်ခုက Toshiba 1.6TB PX04P NVMe SSD လေးခုကို အသုံးပြုထားပါတယ် ။ Intel Platinum 8180 CPU တွေနဲ့အတူ၊ ကျွန်တော်တို့ရဲ့ storage workload တွေကို ပစ်ချဖို့ CPU cycle တွေ အများကြီးရှိခဲ့ပြီး application workload တစ်ခုတည်းမှာ NVMe SSD နှစ်ခုကနေ လေးခုအထိ ကွာခြားချက်ကို ပြသဖို့ အခွင့်အရေးရခဲ့ပါတယ်။ ထို့အပြင်၊ ESXi 6.5 environment အတွင်းမှာ multiple-worker vdbench စမ်းသပ်မှုနဲ့ storage ကို အစွန်းအထိ တွန်းပို့ထားပြီး၊ VDI traces အထိ အခြေခံ four-corners စမ်းသပ်မှုကို simulating လုပ်ရန် ရည်ရွယ်ထားတဲ့ multiple workloads တွေ ပါဝင်ပါတယ်။

Sysbench MySQL စွမ်းဆောင်ရည်

ကျွန်ုပ်တို့၏ ပထမဆုံး local-storage application benchmark တွင် SysBench မှတစ်ဆင့် တိုင်းတာထားသော Percona MySQL OLTP database ပါဝင်သည်။ ဤစမ်းသပ်မှုသည် ပျမ်းမျှ TPS (Transactions Per Second)၊ ပျမ်းမျှ latency နှင့် ပျမ်းမျှ 99th percentile latency တို့ကိုပါ တိုင်းတာသည်။

Sysbench VM တစ်ခုစီကို vDisk သုံးခုဖြင့် configure လုပ်ထားသည်- တစ်ခုမှာ boot အတွက် (~92GB)၊ တစ်ခုမှာ pre-built database (~447GB) နှင့် တတိယတစ်ခုမှာ test under database (270GB) ဖြစ်သည်။ system resource ရှုထောင့်မှကြည့်လျှင် VM တစ်ခုစီကို vCPU ၁၆ ခု၊ DRAM 60GB ဖြင့် configure လုပ်ထားပြီး LSI Logic SAS SCSI controller ကို အသုံးချထားသည်။

Sysbench စမ်းသပ်ခြင်း ပုံစံ (VM တစ်ခုချင်းစီအတွက်)

  • CentOS 6.3 64-bit
  • Percona XtraDB 5.5.30-rel30.1
    • ဒေတာဘေ့စ်ဇယားများ: ၁၀၀
    • ဒေတာဘေ့စ်အရွယ်အစား: ၁၀,၀၀၀,၀၀၀
    • ဒေတာဘေ့စ် ချည်နှောင်မှုများ: ၃၂
    • RAM ဘာဖာ: 24GB
  • စမ်းသပ်ချိန်: ၃ နာရီ
    • ၂ နာရီကြာ ကြိုတင်ပြင်ဆင်မှု ၃၂ ခု
    • ၁ နာရီ ၃၂ ကြိမ် ချည်နှောင်ထားသည်

PowerEdge R740xd မှာ Sysbench နှစ်ခုရဲ့ စွမ်းဆောင်ရည်ကို ကျွန်တော်တို့ နှိုင်းယှဉ်ခဲ့ပါတယ်။ တစ်ခုက NVMe SSD နှစ်ခုမှာ 4VMs host လုပ်ထားတဲ့ တစ်ခုက နောက်တစ်ခုက VM တစ်ခုစီအတွက် dedicated NVMe SSD ပါတဲ့ 4VMs ပါ။ ဒီစမ်းသပ်မှုနှစ်ခုလုံးမှာ CPU load က 100% အထိ မရောက်ခဲ့ပါဘူး။ benchmark နှစ်ခုအတွက် CPU utilization က 60% နဲ့ 80% လောက် ကွာဟနေတာကို ကျွန်တော်တို့ တွေ့ခဲ့ရပါတယ်။ ဆိုလိုတာက VM အသစ်တွေ ထပ်ထည့်တာနဲ့ DRAM ပိုများလာတာနဲ့အမျှ တိုးတက်ဖို့ နေရာရှိနေသေးတယ်လို့ ဆိုလိုပါတယ်။ Sysbench VM တွေကို host လုပ်ထားတဲ့ NVMe SSD နှစ်ခုပါတဲ့ ပထမစမ်းသပ်မှုမှာ စုစုပေါင်း TPS က 11,027 အထိ ရှိလာခဲ့ပြီး NVMe SSD လေးခုနဲ့ ဒုတိယစမ်းသပ်မှုမှာ စုစုပေါင်း TPS က 13,224 အထိ တိုးလာခဲ့ပါတယ်။ ဒါက လွန်ခဲ့တဲ့ တစ်နှစ်လောက်က E5-2699v4 CPU တွေနဲ့ NVMe SSD လေးခုနဲ့ benchmark လုပ်ခဲ့တဲ့ PowerEdge R630 က 10,683TPS နဲ့ နှိုင်းယှဉ်ရင် ကွာခြားပါတယ်။

ကျွန်ုပ်တို့၏ Sysbench workload တွင် ပျမ်းမျှ latency ကိုကြည့်လျှင် NVMe SSD ၂ ခုရလဒ်သည် 11.61ms တွင်ရှိပြီး NVMe SSD ၄ ခုရလဒ်သည် 9.69ms တွင်ရှိသည်။

ကျွန်ုပ်တို့၏ အဆိုးဆုံးအခြေအနေ 99th percentile latency တိုင်းတာမှုတွင် NVMe SSD ၂ ခုသည် 24.5ms တိုင်းတာခဲ့ပြီး NVMe SSD ၄ ခုသည် အလွန်တည်ငြိမ်သော 20.7ms ဖြင့် ရောက်ရှိခဲ့သည်။

SQL Server စွမ်းဆောင်ရည်

StorageReview ရဲ့ Microsoft SQL Server OLTP စမ်းသပ်ခြင်း protocol ဟာ ရှုပ်ထွေးတဲ့ application environment တွေမှာတွေ့ရတဲ့ လုပ်ဆောင်ချက်တွေကို တုပပေးတဲ့ online transaction processing benchmark တစ်ခုဖြစ်တဲ့ Transaction Processing Performance Council Benchmark C (TPC-C) ရဲ့ လက်ရှိမူကြမ်းကို အသုံးပြုထားပါတယ်။ TPC-C benchmark ဟာ synthetic performance benchmark တွေထက် database environment တွေမှာ storage infrastructure ရဲ့ performance strengths နဲ့ bottlenecks တွေကို တိုင်းတာရာမှာ ပိုမိုနီးစပ်ပါတယ်။

SQL Server VM တစ်ခုစီကို vDisk နှစ်ခုဖြင့် configure လုပ်ထားသည်- boot အတွက် 100GB volume နှင့် database နှင့် log files အတွက် 500GB volume။ system resource ရှုထောင့်မှကြည့်လျှင် VM တစ်ခုစီကို vCPU ၁၆ ခု၊ DRAM 64GB ဖြင့် configure လုပ်ထားပြီး LSI Logic SAS SCSI controller ကို အသုံးချခဲ့သည်။ ကျွန်ုပ်တို့၏ Sysbench workloads များသည် ယခင်က storage I/O နှင့် capacity နှစ်မျိုးလုံးတွင် platform ကို ပြည့်နှက်စေခဲ့သော်လည်း SQL စမ်းသပ်မှုသည် latency စွမ်းဆောင်ရည်ကို ရှာဖွေသည်။

ဤစမ်းသပ်မှုသည် Windows Server 2012 R2 guest VM များတွင် လည်ပတ်နေသော SQL Server 2014 ကို အသုံးပြုပြီး Dell ၏ Benchmark Factory for Databases မှ အလေးပေးဖော်ပြထားသည်။ ဤ benchmark ကို ကျွန်ုပ်တို့၏ ရိုးရာအသုံးပြုမှုမှာ local သို့မဟုတ် shared storage တွင် ကြီးမားသော 3,000-scale databases များကို စမ်းသပ်ရန်ဖြစ်သော်လည်း၊ ဤ iteration တွင် ကျွန်ုပ်တို့၏ server များတစ်လျှောက် 1,500-scale databases လေးခုကို ညီတူညီမျှ ဖြန့်ကျက်ရန် အာရုံစိုက်ပါသည်။

SQL Server စမ်းသပ်ခြင်း ပုံစံ (VM တစ်ခုချင်းစီ)

  • Windows Server 2012 R2
  • သိုလှောင်မှုပမာဏ- 600GB ခွဲဝေထားပြီး 500GB အသုံးပြုပြီး
  • SQL Server 2014
    • ဒေတာဘေ့စ်အရွယ်အစား: ၁၅၀၀ စကေး
    • Virtual Client ဝန်: ၁၅၀၀၀
    • RAM ဘာဖာ: 48GB
  • စမ်းသပ်ချိန်: ၃ နာရီ
    • ၂.၅ နာရီ ကြိုတင်ပြုပြင်ခြင်း
    • နမူနာကာလ ၃၀ မိနစ်

ကျွန်ုပ်တို့ရဲ့ Sysbench benchmark ကို လုပ်ဆောင်ပုံနဲ့ဆင်တူစွာပဲ၊ NVMe SSD ၂ ခုနဲ့ NVMe SSD ၄ ခုနဲ့ configuration တွေကို စမ်းသပ်ခဲ့ပါတယ်။ drive ၂ ခုမှာ VM ၄ ခု ဖြန့်ကျက်ထားတဲ့အခါ Benchmark Factory မှာ စုစုပေါင်း TPS ၁၂,၆၃၁ ရှိပြီး NVMe SSD ၄ ခုနဲ့ဆိုရင် ၁၂,၆၂၅ ရှိခဲ့ပါတယ်။ ဒါက နည်းနည်းဆန့်ကျင်ဘက်ဖြစ်ပေမယ့်၊ ကျွန်ုပ်တို့ရဲ့ benchmark configuration နဲ့ဆိုရင်၊ အောက်မှာတိုင်းတာထားတဲ့ latency က တကယ့်ဇာတ်လမ်းကို ပြသနေပါတယ်။

NVMe SSD ၂ လုံးနဲ့ဆိုရင် SQL Server workloads လေးခုမှာ ပျမ်းမျှ latency က 6.5ms ရှိပြီး NVMe SSD ၄ လုံးနဲ့ဆိုရင်တော့ 4ms အထိ ကျဆင်းသွားပါတယ်။ စမ်းသပ်မှုနှစ်ခုလုံးရဲ့ စွမ်းဆောင်ရည်မှာ server ဟာ CPU ရဲ့ ၂၀% နဲ့ ၂၂% ကိုပဲ အသုံးပြုခဲ့ပါတယ်။ dual Intel 8180 CPU ပါတဲ့ PowerEdge R740xd မှာ ဒီလို database workloads တွေကို မြန်မြန်ဆန်ဆန် လုပ်ဆောင်နိုင်တဲ့ compute နဲ့ storage potential အများကြီးရှိပါတယ်။

VDBench လုပ်ငန်းဝန်အား ခွဲခြမ်းစိတ်ဖြာခြင်း

ကျွန်ုပ်တို့ရဲ့ ဒေသတွင်းစွမ်းဆောင်ရည်စမ်းသပ်မှုရဲ့ နောက်ဆုံးအပိုင်းက synthetic-workload စွမ်းဆောင်ရည်ကို အာရုံစိုက်ထားပါတယ်။ ဒီနယ်ပယ်မှာ VMware ESXi 6.5 မှာ NVMe SSD လေးလုံးကို အသုံးပြုခဲ့ပြီး 4TB storage footprint ကို တိုင်းတာဖို့ 125GB vmdks နှစ်ခုတပ်ဆင်ထားတဲ့ worker VM ၁၆ ခုကို ညီညီညာညာ ဖြန့်ကျက်ခဲ့ပါတယ်။ ဒီစမ်းသပ်မှုအမျိုးအစားဟာ virtualized environment နဲ့ ဆက်စပ်နေတဲ့ overhead နဲ့အတူ real world storage metrics တွေက ဘယ်လိုပုံစံရှိလဲဆိုတာကို ပြသဖို့အတွက် အသုံးဝင်ပါတယ်။

storage arrays တွေကို benchmarking လုပ်တဲ့အခါ application testing က အကောင်းဆုံးဖြစ်ပြီး synthetic testing က ဒုတိယနေရာမှာ ရှိပါတယ်။ တကယ့် workloads တွေရဲ့ ပြီးပြည့်စုံတဲ့ ကိုယ်စားပြုမှု မဟုတ်ပေမယ့် synthetic testing တွေက repeatability factor ရှိတဲ့ baseline storage devices တွေကို အထောက်အကူပြုပြီး ယှဉ်ပြိုင်တဲ့ solution တွေကြား apples-to-apples နှိုင်းယှဉ်မှုကို လွယ်ကူစေပါတယ်။ ဒီ workloads တွေက “four corners” tests၊ common database transfer size tests တွေအပြင် VDI environments အမျိုးမျိုးကနေ trace captures တွေအထိ testing profiles အမျိုးမျိုးကို ပေးစွမ်းပါတယ်။ ဒီ tests အားလုံးက scripting engine တစ်ခုပါဝင်တဲ့ common vdBench workload generator ကို အသုံးပြုပြီး compute testing cluster ကြီးတစ်ခုပေါ်မှာ ရလဒ်တွေကို automate လုပ်ပြီး capture လုပ်ပါတယ်။ ဒါကြောင့် flash arrays နဲ့ individual storage devices တွေ အပါအဝင် storage devices အမျိုးမျိုးမှာ တူညီတဲ့ workloads တွေကို repeat လုပ်နိုင်ပါတယ်။ array ဘက်မှာ Dell PowerEdge R730 servers cluster ကို အသုံးပြုပါတယ်။

ကိုယ်ရေးအချက်အလက်

  • 4K ကျပန်းဖတ်ရှုမှု- 100% ဖတ်ရှုမှု၊ 128 threads၊ 0-120% iorate
  • 4K ကျပန်းရေးသားမှု- 100% ရေးသားမှု၊ 64 threads၊ 0-120% iorate
  • ၆၄K စဉ်ဆက်မပြတ်ဖတ်ရှုမှု- ၁၀၀% ဖတ်ရှုမှု၊ ချည် ၃၂ ခု၊ ၀-၁၂၀% iorate
  • ၆၄K အစဉ်လိုက်ရေးသားမှု- ၁၀၀% ရေးသားမှု၊ ၁၆ ချည်၊ ၀-၁၂၀% iorate
  • ပေါင်းစပ်ဒေတာဘေ့စ်- SQL နှင့် Oracle
  • VDI အပြည့်အဝ Clone နှင့် ချိတ်ဆက်ထားသော Clone Traces များ

အမြင့်ဆုံးဖတ်ရှုစွမ်းဆောင်ရည်ကိုကြည့်လျှင် Dell EMC PowerEdge R740xd သည် မီလီစက္ကန့်အောက် latency 4K ဖတ်ရှုစွမ်းဆောင်ရည်ကို 0.21ms မှစတင်၍ 800K IOPS ကျော်အထိ ပေးဆောင်ခဲ့သည်။ ၎င်း၏အမြင့်ဆုံးအချိန်တွင် R740xd သည် latency 3.8ms တွင် 978k IOPS ကိုတိုင်းတာခဲ့သည်။

4K အမြင့်ဆုံးရေးသားစွမ်းဆောင်ရည်ကိုကြည့်လျှင် R740xd သည် 0.12ms latency ဖြင့်စတင်ခဲ့ပြီး 730K IOPS ဝန်းကျင်သို့ရောက်ရှိသည်အထိ 1ms အောက်တွင်ရှိနေခဲ့သည်။ ၎င်း၏အမြင့်ဆုံးအချိန်တွင် R740xd သည် 2.4ms တွင် 834K IOPS ကျော်ရောက်ရှိခဲ့သည်။

64K အမြင့်ဆုံးဖတ်ရှုမှုသို့ ပြောင်းလဲလိုက်သောအခါ R740xd သည် 0.27ms latency မှစတင်ခဲ့ပြီး 150K IOPS ဝန်းကျင်သို့ရောက်ရှိသည်အထိ 1ms အောက်၌နေခဲ့သည်။ ၎င်းသည် 3ms latency ဖြင့် 170K IOPS ကျော်အထိ အမြင့်ဆုံးရောက်ရှိခဲ့သည်။ R740xd သည် 10.644GB/s bandwidth ဖြင့် အဆုံးသတ်ခဲ့သည်။

64K sequential peak write အတွက် R740xd သည် 0.14ms မှစတင်ခဲ့ပြီး 65K IOPS ကျော်သည်အထိ 1ms အောက်တွင်ရှိနေခဲ့သည်။ R740xd သည် 2.7ms latency ဖြင့် 93K IOPS တွင် အမြင့်ဆုံးသို့ရောက်ရှိခဲ့သည်။ R740xd တွင် အမြင့်ဆုံးအချိန်တွင် bandwidth 5.83GB/s ရှိသည်။

ကျွန်ုပ်တို့ရဲ့ SQL workload မှာ R740xd ဟာ latency ကို 0.21ms ကနေစတင်ခဲ့ပြီး 700K နဲ့ 750K IOPS အကြားရောက်တဲ့အထိ 1ms အောက်မှာပဲရှိနေခဲ့ပါတယ်။ 760K IOPS မှာအမြင့်ဆုံးရောက်ရှိခဲ့ပြီး 1.29ms သာရှိခဲ့ပါတယ်။

SQL 90-10 benchmark မှာ R740xd ဟာ latency 0.2ms နဲ့ စတင်ခဲ့ပြီး 600K IOPS အောက်ရောက်တဲ့အထိ 1ms အောက်မှာပဲ ရှိနေခဲ့ပါတယ်။ R740xd ဟာ latency 1.57ms နဲ့ 634K IOPS ကျော်အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။

SQL 80-20 မှာ R740xd ဟာ 0.2ms latency နဲ့ စတင်ခဲ့ပြီး 481K IOPS ကျော်သွားတဲ့အထိ 1ms အောက်မှာပဲ ရှိနေခဲ့ပါတယ်။ R740xd ဟာ 1.7ms latency နဲ့ 538K IOPS နီးပါးအထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။

Oracle Workload ဖြင့် R740xd သည် latency 0.2ms ဖြင့် စတင်ခဲ့ပြီး 400K IOPS ကျော်သည်အထိ 1ms အောက်တွင် ရှိနေခဲ့သည်။ R740xd သည် latency 2.5ms ဖြင့် 470K IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့သည်။

Oracle 90-10 နဲ့အတူ R740xd ဟာ latency 0.2ms မှာ စတင်ခဲ့ပြီး benchmark တစ်ခုလုံးမှာ 1ms အောက်မှာပဲ ရှိနေခဲ့ပါတယ်။ latency 0.98ms နဲ့ အမြင့်ဆုံးကို 636K IOPS အထိ ရောက်ရှိခဲ့ပါတယ်။

Oracle 80-20 မှာ R740xd ဟာ latency 0.2ms ကနေစတင်ခဲ့ပြီး 529K IOPS အောက်ရောက်တဲ့အထိ 1ms အောက်မှာပဲနေခဲ့ပါတယ်။ latency 1.14ms နဲ့ 533K IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။

VDI Full Clone ကိုပြောင်းလိုက်တဲ့အခါ boot test မှာ R740xd ဟာ latency 0.21ms နဲ့စတင်ပြီး 490K IOPS အထိ 1ms အောက်မှာရှိနေတာကို တွေ့ရပါတယ်။ R740xd ဟာ latency 1.9ms နဲ့ 539K IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။

VDI Full Clone ကနဦးဝင်ရောက်မှုသည် 0.17ms latency မှစတင်ခဲ့ပြီး 175K IOPS အထိ 1ms အောက်တွင်ရှိနေခဲ့သည်။ R740xd သည် 4.1ms latency ဖြင့် 218K IOPS တွင် အမြင့်ဆုံးရောက်ရှိခဲ့သည်။

VDI Full Clone Monday login ဟာ 0.2ms latency မှာ စတင်ခဲ့ပြီး 180K IOPS ကျော်တဲ့အထိ 1ms အောက်မှာပဲ ရှိနေခဲ့ပါတယ်။ 2.36ms နဲ့ 215K IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။

VDI Linked Clone ကို ရွှေ့လိုက်တဲ့အခါ boot test မှာ စွမ်းဆောင်ရည်က 1ms အောက်မှာပဲ ရှိနေပြီး 350k IOPS လောက်အထိ ရှိနေပြီး နောက်ပိုင်းမှာ ပျမ်းမျှ latency 1.36ms နဲ့ အမြင့်ဆုံး 376K IOPS အထိ ရောက်ရှိခဲ့ပါတယ်။

Initial Login စွမ်းဆောင်ရည်ကို တိုင်းတာသည့် Linked Clone VDI ပရိုဖိုင်တွင်၊ sub-ms latency ကို 130k IOPS အထိ တွေ့မြင်ခဲ့ရပြီး အမြင့်ဆုံးအချိန်တွင် 1.64ms တွင် 154K IOPS အထိ မြင့်တက်လာခဲ့သည်။

VDI Linked Clone Monday Login စွမ်းဆောင်ရည်ကို ကျွန်ုပ်တို့ရဲ့ နောက်ဆုံးပရိုဖိုင်မှာ ကြည့်မယ်ဆိုရင် 1ms barrier transition ဟာ 109K IOPS မှာ ဖြစ်ပေါ်နေပြီး workload ဟာ 151K IOPS နဲ့ 3.36ms average latency မှာ အမြင့်ဆုံးအဆင့်ကို ရောက်ရှိနေတာကို တွေ့ရပါတယ်။

ကောက်ချက်

အသစ်ထွက်ရှိလာတဲ့ Dell EMC PowerEdge R740xd ဟာ R740 ရဲ့ “extreme disk” ဗားရှင်းဖြစ်ပါတယ်။ 2U footprint အတွင်းမှာ 2.5” drives ၃၂ ခုအထိ သိမ်းဆည်းထားနိုင်ပြီး NVMe drives ၂၄ ခုအထိ ပါဝင်ပါတယ်။ ဒီ server ဟာ Intel Scalable processors နှစ်ခုအထိနဲ့ memory 3TB အထိ အသုံးပြုခြင်းအားဖြင့် မြင့်မားတဲ့စွမ်းဆောင်ရည်ရှိတဲ့ storage ရဲ့ အလားအလာကို ဖော်ထုတ်ပေးနိုင်ပါတယ်။ Dell EMC ဟာ hardware တိုးတက်မှုတွေနဲ့အတူ ရပ်တန့်မသွားခဲ့ပါဘူး။ server အသစ်မှာ SDS built-in support ပါဝင်တာကြောင့် HCI ကို အသုံးပြုဖို့လိုအပ်တဲ့ use case တွေအတွက် အသင့်တော်ဆုံးဖြစ်ပါတယ်။ server ဟာ modular ဖြစ်ပြီး customer တွေရဲ့ လိုအပ်ချက်အားလုံးနီးပါးကို ဖြည့်ဆည်းပေးနိုင်ဖို့ အလွန် configure လုပ်နိုင်ပါတယ်။

ကျွန်ုပ်တို့၏ application performance benchmarks များတွင်၊ ကျွန်ုပ်တို့သည် Dell EMC PowerEdge R740xd တစ်ခုကို NVMe SSD နှစ်ခုတွင် host လုပ်ထားသော VM ၄ ခုဖြင့် စမ်းသပ်ခဲ့ပြီး၊ VM တစ်ခုစီအတွက် dedicated NVMe SSD ပါသော 4VM ဖြင့် နောက်တစ်ခုကို စမ်းသပ်ခဲ့သည်။ Sysbench အတွက်၊ 4 NVMe စမ်းသပ်မှုတွင် ရမှတ် 13,224 TPS၊ 10ms ပျမ်းမျှ latency နှင့် 21ms အဆိုးဆုံးအခြေအနေ latency ရှိပြီး၊ 2 NVMe benchmark တွင် 11,028 TPS၊ 12ms ပျမ်းမျှ latency နှင့် 24ms အဆိုးဆုံးအခြေအနေ latency ရှိသည်။ ကျွန်ုပ်တို့၏ SQL Server စမ်းသပ်မှုအတွက်၊ 4 NVMe စမ်းသပ်မှုတွင် စုစုပေါင်း TPS ရမှတ် 12,625 နှင့် စုစုပေါင်း latency 4ms ရရှိခဲ့သည်။ 2 NVMe စမ်းသပ်မှုတွင် စုစုပေါင်း TPS ရမှတ် 12,631.8 နှင့် စုစုပေါင်း latency 6.5ms ရရှိခဲ့သည်။

ကျွန်ုပ်တို့ရဲ့ VDBench workload analysis မှာ R740xd ဟာ virtualized ESXi 6.5 environment မှာ တကယ်ကို ထွန်းတောက်ခဲ့ပါတယ်။ ကျွန်ုပ်တို့ရဲ့ 4K random synthetic test မှာ 800,000 IOPS အထိ read မှာ millisecond အောက် စွမ်းဆောင်ရည်နဲ့ 730,000 IOPS အထိ write မှာ စွမ်းဆောင်ရည်ကို တွေ့ရှိခဲ့ရပါတယ်။ 64K sequential read မှာ R740xd ဟာ 150,000 IOPS အထိ sub-millisecond latency ရှိပြီး 10.644GB/s bandwidth ရှိခဲ့ပါတယ်။ 64K write အတွက် server ဟာ 65,000 IOPS အထိ sub-millisecond စွမ်းဆောင်ရည်နဲ့ 5.83GB/s bandwidth ရှိခဲ့ပါတယ်။ ကျွန်ုပ်တို့ရဲ့ SQL workload မှာ၊ workload အတွက် 700,000 IOPS၊ 600,000 IOPS နဲ့ 481,000 IOPS အထိ၊ 90-10၊ 80-20 အသီးသီး)၊ ဒါပေမယ့် အထင်ကြီးစရာအကောင်းဆုံးကတော့ 1.29ms နဲ့ 1.7ms အကြား latency နဲ့ အမြင့်ဆုံးစွမ်းဆောင်ရည်ကို ပြသခဲ့ပြီး တစ်ခုချင်းစီမှာ 500,000 IOPS ကျော်စွမ်းဆောင်ရည်ကို ပြသခဲ့ပါတယ်။ Oracle workload မှာလည်း 90-10 ဟာ benchmark တစ်ခုလုံးကို 1ms အောက်အတွင်း လည်ပတ်ခဲ့ပြီး 636,000 IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။ R740xd ဟာ full clone မှာ 539,000 IOPS၊ 218,000 IOPS နဲ့ 215,000 IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ် (1.9ms၊ 4.1ms နဲ့ 2.36ms အမြင့်ဆုံး latency နဲ့အတူ)။ ကျွန်ုပ်တို့၏ linked-clone benchmarks များတွင် server သည် 376,000 IOPS၊ 154,000 IOPS နှင့် 151,000 IOPS (peak latency 1.36ms၊ 1.64ms နှင့် 3.36ms ဖြင့်) အမြင့်ဆုံးသို့ ရောက်ရှိခဲ့သည်။

Dell EMC ဟာ ဆာဗာလိုင်းအသစ်နဲ့ အထူးသဖြင့် PowerEdge လိုင်းရဲ့ အဓိကအစိတ်အပိုင်းဖြစ်တဲ့ R740xd ကို မိတ်ဆက်လိုက်တဲ့အတွက် စိတ်လှုပ်ရှားနေမိပါတယ်။ ကျွန်တော်တို့ဟာ စနစ်အသစ်တွေနဲ့ ရက်သတ္တပတ်ပေါင်းများစွာ ဖြတ်သန်းခဲ့ပြီး R740xds ၁၃ ခုဟာ ကျွန်တော်တို့ရဲ့ စမ်းသပ်ဓာတ်ခွဲခန်းရဲ့ အဓိကကျောရိုးဖြစ်ပါတယ်။ ကျွန်တော်တို့လုပ်ဆောင်ခဲ့တဲ့ အလုပ်တွေကနေ iDrac နဲ့ OpenManage Mobile ကနေတစ်ဆင့် စီမံခန့်ခွဲနိုင်မှုကနေ NVMe bays တွေနဲ့ စွမ်းဆောင်ရည်အထိ နေရာတိုင်းမှာ အထင်ကြီးလောက်စရာ စွမ်းဆောင်ရည်တွေကို ပြသနိုင်ခဲ့ပါတယ်။ R740 ရဲ့ xd အရသာက ပေးစွမ်းနိုင်တဲ့ အပိုပြောင်းလွယ်ပြင်လွယ်ရှိမှုအားလုံးနဲ့အတူ Dell EMC ဟာ vSAN Ready Nodes၊ ScaleIO Ready Nodes၊ Storage Spaces Direct Ready Nodes၊ VxRail နဲ့ XC740xd (Nutanix) အပါအဝင် သူတို့ရဲ့ SDS ကမ်းလှမ်းချက်အများအပြားမှာ အဓိကအချက်အဖြစ် အသုံးပြုနေတာ အံ့သြစရာတော့ မဟုတ်ပါဘူး။ စုစုပေါင်းအားဖြင့် PowerEdge R740xd သည် တည်ဆောက်မှုအရည်အသွေး၊ စနစ်ဒီဇိုင်း၊ သိုလှောင်မှုပြောင်းလွယ်ပြင်လွယ်ရှိမှု၊ စွမ်းဆောင်ရည်နှင့် စီမံခန့်ခွဲမှုလွယ်ကူမှုတို့တွင် ယနေ့အထိ ကျွန်ုပ်တို့မြင်တွေ့ခဲ့ရသမျှတွင် အပြည့်စုံဆုံးဆာဗာကမ်းလှမ်းမှုဖြစ်ပြီး ၎င်းသည် ဆာဗာကဏ္ဍတွင် ကျွန်ုပ်တို့၏ ပထမဆုံး Editor's Choice ဆုကို ရရှိစေသည်။

Dell EMC PowerEdge R740xd ထုတ်ကုန်စာမျက်နှာ

ဤသုံးသပ်ချက်ကို ဆွေးနွေးပါ

StorageReview သတင်းလွှာအတွက် စာရင်းသွင်းပါ

StorageReview မှာ ပါဝင်လုပ်ဆောင်ပါ

သတင်းလွှာ | YouTube | ပေါ့ဒ်ကတ်စ် iTunes / Spotify | Instagram | Twitter | TikTok | RSS Feed

ကီဗင် အိုဘရိုင်ယန်

StorageReview Lab အတွင်းမှာ ထုတ်ကုန်တွေကို အကဲဖြတ်ပြီး စမ်းသပ်ပတ်ဝန်းကျင်အသစ်တွေကို တီထွင်ဖို့ လုပ်ငန်းနယ်ပယ်က ခေါင်းဆောင်တွေနဲ့ ပူးပေါင်းလုပ်ဆောင်နေပါတယ်။ အိမ်မှာ ကျွန်မ မိသားစုကို ပြုစုပျိုးထောင်နေပါတယ်။

ယခင်ပို့စ်:

နောက်ပို့စ်-