StorageReview.com

Intel Optane DC Persistent Memory ပါဝင်သော Supermicro SuperServer ၏ ပထမဆုံးသုံးသပ်ချက်

စီးပွားရေးလုပ်ငန်း  ◇  ဆာဗာ

Supermicro SuperServer 1029U-TN10RT သည် 1U dual-processor complete system တစ်ခုဖြစ်သည်။ Supermicro သည် virtualization၊ databases၊ cloud computing နှင့် high density compute power မှ အကျိုးကျေးဇူးရရှိနိုင်သည့် အခြားလူကြိုက်များသော အသုံးပြုမှုကိစ္စများစွာကို ဖြေရှင်းရန် SuperServer ကို ဒီဇိုင်းထုတ်ခဲ့သည်။ ဒုတိယမျိုးဆက် Intel Xeon Scalable CPU များကို ပံ့ပိုးပေးရန် စနစ်ကို အပ်ဒိတ်လုပ်ထားပြီး Intel Optane DC Persistent Memory Modules (PMM) အတွက် ပံ့ပိုးမှုဖြင့် တင်ပို့ရောင်းချသည့် ပထမဆုံး system များထဲမှ တစ်ခုဖြစ်သည်။

နောက်ဆုံးပေါ် Intel data center နည်းပညာများကို ပံ့ပိုးပေးခြင်းအပြင်၊ စနစ်သည် ရှေ့ဘက်ရှိ hot swappable 2.5″ NVMe bays ဆယ်ခုမှတစ်ဆင့် သိုလှောင်မှုကို ပံ့ပိုးပေးသည်။ အတွင်းပိုင်းတွင် Supermicro သည် M.2 slot နှစ်ခု၊ SATA တစ်ခုနှင့် NVMe တစ်ခုအတွက် ပံ့ပိုးပေးသော်လည်း၊ နောက်ထပ် M.2 slot များကို option အဖြစ် ထည့်သွင်းနိုင်သည်။ board သည် DIMM slot ၂၄ ခုကို ပံ့ပိုးပေးပြီး ရိုးရာနည်းလမ်းဖြင့် DRAM နှင့်အတူ သို့မဟုတ် ဤသုံးသပ်ချက်တွင် configuration တွင်ပါရှိသော PMEM ဖြင့် အသုံးပြုနိုင်သည်။ ချိတ်ဆက်မှုကိုကြည့်လျှင် စနစ်တွင် 10GBase-T LAN port နှစ်ခုပါရှိသည်။ PCI-E 3.0 x16 (FH, 10.5″L) card slot နှစ်ခုမှတစ်ဆင့် ချိတ်ဆက်မှုအတွက် တိုးချဲ့နိုင်သည်။

အထက်တွင်ဖော်ပြခဲ့သည့်အတိုင်း၊ ကျွန်ုပ်တို့၏သုံးသပ်ချက်စနစ်တွင် Intel Xeon Scalable 8268 (2.9GHz, 24C) နှစ်ခုနှင့်အတူ DRAM stick ၁၂ ခုနှင့် Intel Optane DC persistent memory module ၁၂ ခု ပါဝင်သည်။ persistent memory ခရီးတွင် အလွန်အစောပိုင်းအဆင့်သာရှိသေးသော်လည်း၊ board ပေါ်ရှိ memory slot အားလုံးနှင့် Intel CPU နှစ်ခုကို အသုံးပြု၍ 4:1 persistent memory ကို DRAM သို့ configuration ပြုလုပ်ခြင်းသည် ဤနည်းပညာအသစ်များကို အပြည့်အဝအသုံးချရန် ပုံမှန်နှင့် အကြံပြုထားသော server configuration တစ်ခုဖြစ်လာဖွယ်ရှိသည်။ ဤအဓိကအစိတ်အပိုင်းများအပြင်၊ ပြန်လည်သုံးသပ်နေသောစနစ်တွင် Intel DC P4510 NVMe SSD ဆယ်ခု ပါဝင်သည် ။

Supermicro SuperServer 1029U-TN10RT သတ်မှတ်ချက်များ

  • ကိုယ်ထည် – Ultra 1U SYS-1029U-TN10RT
  • CPU – Intel Xeon Scalable 8268 (2.9GHz, 24C) ၂ လုံး
  • သိုလှောင်မှု - Intel DC P4510 2TB NVMe SSD ၁၀ ခု၊ 1DWPD
  • DRAM – 12 x 32GB DDR4-2933
  • အမြဲတမ်းမှတ်ဉာဏ် – 12 x 128GB DDR4-2666 Intel Optane DC PMM များ
  • ကွန်ရက် – 2 x 10GBaseT

ဒီဇိုင်းနှင့်တည်ဆောက်ပါ

ဖော်ပြခဲ့သည့်အတိုင်း Supermicro SuperServer 1029U-TN10RT သည် Intel Xeon Scalable processor အသစ်နှစ်ခုကို သိမ်းဆည်းနိုင်သည့် သိပ်သည်းသော 1U server တစ်ခုဖြစ်သည်။ device ၏ ရှေ့မျက်နှာစာအများစုကို 2.5” NVMe drive bays များဖြင့် နေရာယူထားပြီး စုစုပေါင်း ဆယ်ခုရှိသည်။ ညာဘက်တွင် power button၊ UID button နှင့် status LEDs များပါရှိသော control panel ရှိသည်။ အောက်တွင် USB 3.0 type-A ports နှစ်ခုရှိသည်။

စက်ကို နောက်ဘက်သို့ လှန်လိုက်လျှင် ဘယ်ဘက်တွင် PSU နှစ်ခုရှိပြီး ၎င်းနောက်တွင် 10GBase-T PJ45 LAN port နှစ်ခု၊ USB 3.0 port နှစ်ခု၊ IPMI အတွက် သီးသန့် LAN port တစ်ခု၊ serial port တစ်ခု၊ UID indicator နှင့် switch၊ video port နှင့် PCIe slot နှစ်ခု ရှိသည်။

ရှေ့ဘက်ခြမ်းရှိ ၂.၅ လက်မ bay များသည် hot-swap လုပ်နိုင်ပြီး၊ အသုံးပြုသူများသည် လိမ္မော်ရောင် tab ကို အလွယ်တကူ နှိပ်ကာ လက်ကိုင်ကို လျင်မြန်စွာ ဖယ်ရှားခြင်း/တပ်ဆင်ခြင်းအတွက် ဆန့်ထုတ်နိုင်သည်။ ဤ server နှင့် Supermicro မှ အခြား server များတွင်၊ လိမ္မော်ရောင် caddies များသည် NVMe ပံ့ပိုးမှုကို ညွှန်ပြသည်။

SuperServer တွင် 2.5″ bays ဆယ်ခု တပ်ဆင်ထားသောကြောင့် ကျွန်ုပ်တို့၏ review system တွင် Intel P4510 2TB NVMe SSDs ၁၀ လုံး ပါရှိပါသည်။

Intel Optane persistent memory module များသည် ရိုးရာ DRAM နှင့် ပုံစံတူညီသည်။ ၎င်းတို့သည် အပိုပါဝါကြိုး သို့မဟုတ် အအေးပေးစနစ် မလိုအပ်ပါ။ အပူဖြန့်စက်များကို persistent memory ဒီဇိုင်း၏ တစ်စိတ်တစ်ပိုင်းအဖြစ် ထည့်သွင်းထားပြီး အကျယ်နှင့် အမြင့်အတွက် DRAM module များကဲ့သို့ ဒီဇိုင်းထည့်သွင်းစဉ်းစားမှုများအတိုင်း လိုက်နာသည်။ ထို့ကြောင့် DRAM slot များပေါ်တွင် လေစီးဆင်းမှုအဖုံးများပါရှိသော ပါးလွှာသော server များအတွက် မည်သည့်ပြောင်းလဲမှုအသစ်ကိုမျှ မတွေ့ရပါ။

Supermicro server အများစုကဲ့သို့ပင် အပေါ်အဖုံးကို ခလုတ်နှစ်ခုဖြင့် နောက်ဘက်ရှိ တွဲချိတ်ဝက်အူများကို ဖယ်ရှားခြင်းဖြင့် အလွယ်တကူ ဖြုတ်နိုင်ပါသည်။ ၎င်းသည် CPU အသစ်များ၊ RAM၊ GPU သို့မဟုတ် အခြား PCIe device များကို တပ်ဆင်ခြင်းနှင့် ဤသုံးသပ်ချက်အတွက် အရေးကြီးသည်မှာ Intel Optane DC PMM များကို တပ်ဆင်ခြင်းတို့ကို လျင်မြန်စွာ ဝင်ရောက်အသုံးပြုနိုင်စေပါသည်။

performance

Intel Optane DC persistent memory အသစ်ကို ကျွန်ုပ်တို့ ပထမဆုံးအကြိမ် လေ့လာကြည့်တဲ့အခါ၊ ၎င်းရဲ့ စွမ်းဆောင်ရည်ကို ရိုးရာပုံစံနဲ့ တိုင်းတာဖို့ အာရုံစိုက်ပါတယ်။ standard issue NVMe SSD တွေနဲ့ block storage performance ကို နှိုင်းယှဉ်ဖို့ပါ။ persistent memory အတွက် ကွဲပြားတဲ့ mode တွေ ရှိပေမယ့်၊ Memory Mode နဲ့ App Direct byte-level နဲ့ပတ်သက်တဲ့ သီးခြား usecase တွေကို အာရုံစိုက်ဖို့ စီစဉ်ထားပါတယ်။ အထူးသဖြင့် pool နှစ်ခုမှာ configure လုပ်ထားတဲ့ 128GB persistent memory module ၁၂ ခု (CPU တစ်ခုလျှင် ၆ ခု) ကို Intel P4510 2TB NVMe SSD ၁၀ ခုနဲ့ ယှဉ်ပြီး နေရာချထားပါတယ်။ ဒီအခြေအနေမှာ ကျွန်ုပ်တို့ရဲ့ benchmark application က ကျွန်ုပ်တို့ရဲ့ four corners workloads တွေအပြင် database workload profiles တွေနဲ့ vdbench ကို အသုံးပြုနေဆဲပါ။ ရှေ့ဆက်ပြီး persistent memory ကို တိုက်ရိုက်အသုံးပြုတဲ့ database application တွေအပြင် FIO ကို ပြန်လည်ပြောင်းလဲသွားမှာပါ။

ကျွန်ုပ်တို့၏ benchmark နည်းပညာဆိုင်ရာ configuration အရ၊ ကျွန်ုပ်တို့သည် persistent memory module ၆ ခုကို အတူတကွ စုစည်းပြီး single pool (CPU တစ်ခုလျှင် pool တစ်ခု) ဖွဲ့စည်းကာ pool space အပြည့်အစုံကို persistent memory namespace သို့ ခွဲဝေပေးပါသည်။ OS level တွင် ကျွန်ုပ်တို့သည် raw persistent memory module များကို prefill လုပ်ကာ ၎င်းတို့၏ စုစုပေါင်းအရွယ်အစား၏ 50% အထိ partition လုပ်ကာ ထိုအပိုင်းငယ်တွင် ကျွန်ုပ်တို့၏ workloads များကို လုပ်ဆောင်ပါသည်။ ထို့နောက် application dataset များ ၎င်းတို့တွင် မည်သို့လည်ပတ်မည်ကို အတုယူ၍ ရေရှည်စွမ်းဆောင်ရည်ကို ပြသရန် ရည်ရွယ်သည့် Workloads များကို အသုံးပြုပါသည်။

ကျွန်တော်တို့ရဲ့ ပထမဆုံးစမ်းသပ်မှုကတော့ 4K random read test ပါ။ persistent memory ဟာ 4.6μs မှာ 1,371,386 IOPS ကနေစတင်ပြီး 13,169,761 IOPS အထိ latency 12.1μs သာရှိခဲ့ပါတယ်။ Intel NVMe drive တွေက ကောင်းကောင်းအလုပ်လုပ်ပေမယ့် 5,263,647 IOPS နဲ့ latency 191.4μs မှာ PMM တွေက throughput ရဲ့ နှစ်ဆကျော်နဲ့ အနိုင်ယူနိုင်ခဲ့ပြီး latency ကတော့ NVMe drive တွေရဲ့ ၆% မှာပဲ ရှိပါတယ်။

4K random write ကိုကြည့်မယ်ဆိုရင် write နည်းပညာရဲ့ ကန့်သတ်ချက်တစ်ခုကို တွေ့ရပါတယ်။ အထက်မှာဖော်ပြထားတဲ့အတိုင်း persistent memory ဟာ write မှာ အများကြီးပိုမြန်ပါတယ်။ ဒီမှာ persistent memory ဟာ 162,642 IOPS ကနေစတင်ပြီး latency 8.9μs ရှိပြီး latency 60μs မှာ 980K IOPS လောက်အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။

sequential workloads သို့ပြောင်းလိုက်သောအခါ၊ 64K read တွင် Optane DC PMM များသည် latency 31.9μs တွင် 106,739 IOPS သို့မဟုတ် 6.67GB/s မှစတင်ခဲ့ပြီး latency 57.2μs တွင် 1,055,634 IOPS သို့မဟုတ် 65.98GB/s ဖြင့်အမြင့်ဆုံးသို့ရောက်ရှိခဲ့သည်။ NVMe drives များသည် latency 721.5μs တွင် 431,252 IOPS သို့မဟုတ် 26.6GB/s ဖြင့်အမြင့်ဆုံးရမှတ်များဖြင့်ကောင်းမွန်စွာစွမ်းဆောင်ရည်ရှိသော်လည်း persistent memory နီးပါးမရှိပါ။

64K sequential writes မှာ persistent memory ဟာ 52,472 IOPS ဒါမှမဟုတ် 1.64GB/s မှာ latency 78.8μs မှာ စတင်ခဲ့ပါတယ်။ persistent memory module တွေဟာ 255,405 IOPS ဒါမှမဟုတ် 15.96GB/s မှာ latency 121.8μs သာ အမြင့်ဆုံးကို ရောက်ရှိခဲ့ပါတယ်။ ဒါဟာ drive တွေကို saturation point အထိ ရောက်အောင် မြှင့်တင်လိုက်တဲ့အခါ latency မြင့်တက်လာတဲ့ Intel P4510 group နဲ့ ဆန့်ကျင်ဘက်ပါပဲ။

နောက်တစ်ခုကတော့ SQL၊ SQL 90-20 နဲ့ SQL 80-20 အပါအဝင် SQL VDBench စမ်းသပ်မှုတွေပါ။ SQL အတွက် persistent memory ဟာ 6.4μs latency မှာ 547,821 IOPS ကနေစတင်ခဲ့ပြီး latency 10.7μs မှာ 5,095,690 IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။ NVMe drives တွေဟာ 188,170 IOPS နဲ့ 170µs အမြင့်ဆုံးစွမ်းဆောင်ရည်နဲ့ ခိုင်မာတဲ့စွမ်းဆောင်ရည်ကို ထပ်မံရရှိခဲ့ပါတယ်။

SQL 90-10 အတွက် နှိုင်းယှဉ်မှုနှစ်ခုဟာ throughput မှာ အနည်းငယ်နီးစပ်ပေမယ့် latency နဲ့ပတ်သက်ပြီး မေးခွန်းထုတ်စရာမရှိပါဘူး၊ persistent memory မှာ latency နိမ့်ပါတယ်။ persistent memory ဟာ 169,874 IOPS ကနေစတင်ပြီး latency 8.1μs မှာရှိခဲ့ပြီး latency 27.1μs နဲ့ အမြင့်ဆုံးကိုရောက်ရှိခဲ့ပြီး NVMe ရဲ့ အမြင့်ဆုံး 1,612,337 IOPS နဲ့ latency 189.8μs မှာရှိခဲ့ပါတယ်။

SQL 80-20 အတွက် persistent memory သည် latency 206μs တွင် ပိုမိုကောင်းမွန်သော်လည်း throughput 668,983 IOPS ရှိပြီး NVMe drive ၏ throughput 1,482,554 IOPS နှင့် နှိုင်းယှဉ်ပါက များစွာနိမ့်သည်။

ဤသုံးသပ်ချက်အတွက် ကျွန်ုပ်တို့၏ နောက်ဆုံးအသုတ် စမ်းသပ်မှုများမှာ ကျွန်ုပ်တို့၏ Oracle workloads များဖြစ်သည့် Oracle၊ Oracle 90-10 နှင့် Oracle 80-20 တို့ဖြစ်သည်။ Oracle စမ်းသပ်မှုတွင် persistent memory သည် အစောပိုင်းတွင် 453,449 IOPS ဖြင့် latency 103μs ဖြင့် အမြင့်ဆုံးသို့ ရောက်ရှိခဲ့ကြောင်း ပြသခဲ့သည်။ NVMe drive သည် latency 225.8μs ဖြင့် 1,366,615 IOPS ဖြင့် အမြင့်ဆုံးသို့ ရောက်ရှိနိုင်ခဲ့သည်။

Oracle 90-10 အတွက် persistent memory သည် 181,455 IOPS ဖြင့် latency 7.8μs မှစတင်ခဲ့ပြီး 2,080,543 IOPS ဖြင့် latency 16.9μs သာရှိခဲ့သည်။ 1,357,112 IOPS ဖြင့် latency 157.1μs ဖြင့် အမြင့်ဆုံးရောက်ရှိခဲ့သော NVMe drive ၏ စွမ်းဆောင်ရည်ကို ထပ်မံချိုးဖျက်လိုက်ပြန်သည်။

နောက်ဆုံးအနေနဲ့ ကျွန်တော်တို့ရဲ့ Oracle 80-20 အတွက် persistent memory ဟာ latency 8.5μs မှာ 225,492 IOPS ကနေစတင်ခဲ့ပြီး latency 30.4μs မှာ 1,146,229 IOPS အထိ အမြင့်ဆုံးရောက်ရှိခဲ့ပါတယ်။ NVMe drive မှာ throughput 1,265,479 IOPS နည်းပါးပေမယ့် latency 165.9μs မြင့်မားပါတယ်။

ကောက်ချက်

Supermicro SuperServer 1029U-TN10RT သည် dual-socket စနစ်တစ်ခုဖြစ်ပြီး 1U footprint တွင် အံဝင်ခွင်ကျဖြစ်သော 2.5” NVMe drive bay ၁၀ ခုပါရှိသည်။ 2.5” NVMe drive bay များအပြင်၊ server ကို M.2 storage slot နှစ်ခုဖြစ်သည့် SATA တစ်ခုနှင့် NVMe တစ်ခုပါ တပ်ဆင်နိုင်သည်။ ဤ server ကို virtualization၊ database များနှင့် cloud computing အပါအဝင် အခြားအသုံးပြုမှုများအတွက် ဒီဇိုင်းထုတ်ထားပြီး compute power မြင့်မားသော dense form factor ကို အသုံးပြုထားသည်။ compute အကြောင်းပြောရလျှင် server သည် မကြာသေးမီက ထွက်ရှိထားသော ဒုတိယမျိုးဆက် Intel Xeon Scalable CPU များကို ထောက်ပံ့ပေးသည်။ CPU များတွင် DIMM slot ၂၄ ခု ပါဝင်သည်။ ဤ server ကို DRAM များစွာဖြင့် ထည့်သွင်းထားခြင်းအပြင် CPU အသစ်များကို ထောက်ပံ့ပေးခြင်းသည် Intel ၏ Optane DC persistent memory module အသစ်များကို ထောက်ပံ့ပေးခြင်းဖြစ်သည်။

စွမ်းဆောင်ရည်ကို ကြည့်မယ်ဆိုရင် Intel persistent memory modules တွေဟာ ကျွန်တော်တို့ရဲ့ lab မှာ မမြင်ဖူးသေးတဲ့ စွမ်းဆောင်ရည်အဆင့်ကို ရောက်ရှိနိုင်ခဲ့ပါတယ်။ လက်ရှိမှာ persistent memory ရှိတဲ့ တစ်ခုတည်းသော ကုမ္ပဏီက Intel ဖြစ်တာကြောင့် ပြိုင်ဘက်တွေ ဒါမှမဟုတ် အဟောင်းဗားရှင်းတွေ မရှိသေးပါဘူး။ အဲဒီအစား နည်းပညာအသစ်ကို အသုံးပြုတဲ့အခါ ဘာတွေမျှော်လင့်ရမလဲဆိုတာ ဥပမာအနေနဲ့ Intel P4510 2TB NVMe drives တွေနဲ့ နှိုင်းယှဉ်ကြည့်ခဲ့ပါတယ်။ reads တွေမှာ PMMs တွေက 4K reads က 12.1μs latency မှာ 13.2 million IOPS ရှိပြီး 64K sequential read က 57.2μs latency မှာ 66GB/s ရှိတဲ့ NVMe နည်းပညာကို အနိုင်ယူနိုင်ခဲ့ပါတယ်။ Random write မှာတော့ နည်းပညာရဲ့ ကန့်သတ်ချက်အနည်းငယ်ကို တွေ့မြင်ခဲ့ရပါတယ်။ persistent memory က 980K IOPS အထိ မြန်မြန်ဆန်ဆန် မြင့်တက်လာပြီး 60μs latency ရှိပြီး NVMe drives တွေထက် အများကြီးနည်းပါတယ်။ ဒါပေမယ့် 64K writes မှာတော့ persistent memory က 15.96GB/s ရှိပြီး latency 121.8μs သာရှိပါတယ်။ SQL benchmark တွေအတွက် persistent memory ဟာ SQL (latency 10.7μs မှာ 5,095,690 IOPS) နဲ့ SQL 90-10 (latency 27.1μs မှာ 1,911,900 IOPS) မှာရှိတဲ့ NVMe drive ကို အနိုင်ယူခဲ့ပါတယ်။ ကျွန်တော်တို့ရဲ့ Oracle စမ်းသပ်မှုမှာ persistent memory ဟာ Oracle 90-10 (latency 16.9μs သာရှိတဲ့ 2,080,543 IOPS) မှာ ရမှတ်အများကြီးပိုမြင့်ပေမယ့် throughput ရှုထောင့်ကနေကြည့်ရင် ကျန်တဲ့စမ်းသပ်မှုနှစ်ခုမှာ နောက်ကျကျန်နေခဲ့ပါတယ်။ သတိပြုရမယ့်အချက်ကတော့ latency ပါ။ persistent memory ရဲ့ အမြင့်ဆုံး peak latency က 103μs ဖြစ်ပြီး အနိမ့်ဆုံး peak latency က 10.7μs ဖြစ်ပါတယ်။

ဒီသုံးသပ်ချက်မှာ ကနဦးရလဒ်တွေကို ကြည့်တဲ့အခါ အလွန်စိတ်အားထက်သန်ဖို့ အကြောင်းပြချက်တွေ အများကြီးရှိပါတယ်။ Xeon Scalable CPU အသစ်တွေရဲ့ တိုးတက်မှုကို ကျွန်တော်တို့ မြင်တွေ့ရပေမယ့် Optane DC persistent memory module တွေကတော့ အဓိကပါပဲ။ ဖော်ပြထားတဲ့အတိုင်း၊ ဒီပထမဆုံးသုံးသပ်ချက်ဟာ persistent memory ပါတဲ့ စနစ်တွေကို ကျွန်တော်တို့ ဘယ်လိုအကဲဖြတ်မလဲဆိုတာကို ရပ်တန့်ဖို့ ရည်ရွယ်တာမဟုတ်ပါဘူး။ အစပဲရှိပါသေးတယ်။ ဒီစနစ်ရဲ့ application performance ကို ပိုမိုနက်ရှိုင်းစွာ လေ့လာဖို့ ကျွန်တော်တို့မှာ လောလောဆယ် ကိရိယာတွေ ရှိနေပြီး App Direct နဲ့ Memory Modes နှစ်ခုလုံးမှာ Intel Optane DC persistent memory ကို အကဲဖြတ်ဖို့အတွက် အကောင်းဆုံးလုပ်ဆောင်မှုတွေနဲ့ ကန့်သတ်ချက်တွေကို ဆက်လက်တွန်းအားပေးသွားမှာပါ။ ဒါပေမယ့် လောလောဆယ်မှာတော့ Supermicro နဲ့ သူတို့ရဲ့ အင်ဂျင်နီယာအဖွဲ့ကို ဒီကိရိယာကို မြန်မြန်ဆန်ဆန်နဲ့ ပြည့်စုံစွာ ပေါင်းစပ်ပေးတဲ့အတွက် ချီးကျူးဂုဏ်ပြုပါတယ်။ ဒါက ပျော်စရာကောင်းတဲ့ သုံးသပ်ချက်စီးရီးတစ်ခု ဖြစ်လာတော့မှာပါ။

Supermicro SuperServer 1029U-TN10RT ထုတ်ကုန်စာမျက်နှာ

ဤသုံးသပ်ချက်ကို ဆွေးနွေးပါ

StorageReview မှာ ပါဝင်လုပ်ဆောင်ပါ

သတင်းလွှာ | YouTube | ပေါ့ဒ်ကတ်စ် iTunes / Spotify | Instagram | Twitter | TikTok | RSS Feed

Brian Beeler

Brian သည် အိုဟိုင်းယိုးပြည်နယ်၊ ဆင်စင်နာတီတွင် အခြေစိုက်ပြီး StorageReview.com ၏ အဓိက ခွဲခြမ်းစိတ်ဖြာသူနှင့် ဥက္ကဋ္ဌဖြစ်သည်။