LSI Nytro WarpDrive WLP4-200 Enterprise PCIe သုံးသပ်ချက်

LSI Nytro WarpDrive WLP4-200 သည် enterprise PCIe application acceleration နယ်ပယ်တွင် LSI ၏ ဒုတိယမျိုးဆက် ကြိုးပမ်းအားထုတ်မှုကို ကိုယ်စားပြုသည်။ LSI သည် LSI Nytro ဟု အမည်ပေးထားသော မကြာသေးမီက ပြန်လည်အမည်ပြောင်းလဲထားသော acceleration ထုတ်ကုန်လိုင်းဖြင့် enterprise storage ထုတ်ကုန်များ၏ ကျယ်ပြန့်သောသမိုင်းကြောင်းကို အခြေခံ၍ တည်ဆောက်ထားသည်။ Nytro မိသားစု တွင် PCIe WarpDrive ပါဝင်သော်လည်း LSI ၏ Nytro XD caching နှင့် Nytro MegaRAID ထုတ်ကုန်များ ပါဝင်ပြီး ၎င်းတို့သည် အရှိန်မြှင့်ရန်အတွက် on-board flash ပါရှိသော intelligent caching ကို အသုံးပြုကာ ဖောက်သည်များအား high-performance storage ကို အကဲဖြတ်သည့်အခါ ရွေးချယ်စရာများစွာကို ပေးဆောင်သည်။ Nytro WarpDrive တွင် eMLC နှင့် SLC ဗားရှင်းနှစ်မျိုးလုံးအပါအဝင် configuration အမျိုးမျိုးဖြင့် ထွက်ပေါ်လာပြီး 200GB မှ 1.6TB အထိ စွမ်းရည်များရှိသည်။

WarpDrive SLP-300 ရဲ့ ရှေ့ပြေးမော်ဒယ် လိုပဲ ၊ Nytro WarpDrives အသစ်ဟာ SSD အများအပြားကို RAID လုပ်တဲ့ပုံစံနဲ့ အတူတူပါပဲ။ Nytro WarpDrive ဟာ ဒီတစ်ခါမှာတော့ controller/SSD အရေအတွက် နည်းပါးစွာ အသုံးပြုထားပြီး၊ မူရင်းမော်ဒယ်မှာ ခြောက်ခုအစား လေးခုကို ရွေးချယ်အသုံးပြုထားပါတယ်။ controller တွေကိုလည်း အပ်ဒိတ်လုပ်ထားပါတယ်။ Nytro WarpDrive ဟာ မော်ဒယ်ပေါ်မူတည်ပြီး SLC သို့မဟုတ် eMLC NAND နဲ့ တွဲဖက်ထားတဲ့ နောက်ဆုံးမျိုးဆက် LSI SandForce SF-2500 controller လေးခုကို အသုံးပြုထားပါတယ်။ ဒီ SSD တွေကို LSI PCIe မှ SAS bridge မှတစ်ဆင့် RAID0 မှာ 200GB မှ 1600GB logical block device တစ်ခု ဖွဲ့စည်းဖို့ ချိတ်ဆက်ထားပါတယ်။ ပြီးရင် drive ကို operating system မှာ ပြသမှာဖြစ်ပြီး၊ ဒီကိစ္စမှာ Windows, Linux, UNIX မျိုးကွဲများစွာကို OS ထဲမှာ တည်ဆောက်ထားတဲ့ LSI driver တစ်ခုနဲ့ ပေါင်းစပ်ထားတာ ဖြစ်နိုင်ပါတယ်။

LSI ရဲ့ နာမည်ကြီး host compatibility နဲ့ stability ဂုဏ်သတင်းအပြင် Nytro WarpDrive ရဲ့ တခြား core technology component ကတော့ SandForce controllers တွေပါ။ LSI က SLP-300 first generation PCIe card မှာ အရင် generation SF-1500 controllers တွေကို အသုံးပြုခဲ့ပါတယ်။ ဒီတစ်ခါတော့ SF-2500 family ကို အသုံးပြုနေပါတယ်။ controller ကိုယ်တိုင်က တိုးတက်ကောင်းမွန်လာပေမယ့် LSI က SandForce ကို ဝယ်ယူလိုက်တဲ့အတွက် engineering benefit လည်း တိုးလာပါတယ်။ ရလဒ်တွေက ပိုပြီး သိမ်မွေ့နိုင်ပေမယ့် အကျိုးကျေးဇူးတွေကတော့ ရှိနေပါသေးတယ်။ firmware updates တွေကနေ drive အတွက် support ပိုကောင်းလာပြီး ယေဘုယျအားဖြင့် ပိုပြီး integrated unit တစ်ခု ပါဝင်လာပါတယ်။

လည်ပတ်မှုစနစ်တစ်လျှောက် တည်ငြိမ်မှုနှင့် တသမတ်တည်းစွမ်းဆောင်ရည်သည် အရေးကြီးသော်လည်း၊ ထိုအင်္ဂါရပ်များသည် တံခါးကိုဖွင့်ပေးပါသည်။ စွမ်းဆောင်ရည်သည် အဓိကဖြစ်ပြီး Nytro WarpDrive သည် စိတ်ပျက်စရာမရှိပါ။ အကောင်းဆုံးအပိုင်းတွင်၊ ကတ်များသည် ဖတ်ရှုမှု ၂၃၈,၀၀၀ နှင့် ရေးသားမှု ၁၃၃,၀၀၀ ၏ sequential 4K IOPS နှင့် ဖတ်ရှုမှု ၁၈၉,၀၀၀ နှင့် ရေးသားမှု ၁၃၇,၀၀၀ ၏ sequential 8K IOPS ကို ပေးဆောင်သည်။ Latency သည် အရေးကြီးသော စွမ်းဆောင်ရည်သတ်မှတ်ချက်တစ်ခုဖြစ်သည်။ Nytro WarpDrive သည် latency ကို ၅၀ မိုက်ခရိုစက္ကန့်အထိ နိမ့်ကျစေသည်။

ဤသုံးသပ်ချက်တွင် ကျွန်ုပ်တို့သည် Windows နှင့် Linux နှစ်မျိုးလုံးတွင် ကျွန်ုပ်တို့၏ enterprise benchmark အပြည့်အစုံကို အသုံးပြုထားပြီး၊ ယခင်မျိုးဆက် LSI ကတ်နှင့် အခြားဦးဆောင် application accelerator များအပါအဝင် နှိုင်းယှဉ်နိုင်သော ခိုင်မာသည့်အစုံအလင်ဖြင့် အသုံးပြုထားပါသည်။ ကျွန်ုပ်တို့၏ ပုံမှန်အနက်အတိုင်း အသေးစိတ်စွမ်းဆောင်ရည်ဇယားများနှင့် အကြောင်းအရာအားလုံးကို ဤဒေတာအချက်များကို အသုံးပြုရလွယ်ကူစေရန်အတွက် စာမျက်နှာတစ်ခုတည်းတွင် ပေးပို့ထားပါသည်။

LSI Nytro WarpDrive သတ်မှတ်ချက်များ

• Single Level Cell (SLC)
  • 200GB Nytro WarpDrive WLP4-200
    • Sequential IOPS (4K) – ဖတ်ရှုမှု ၂၁၈,၀၀၀၊ ရေးသားမှု ၇၅,၀၀၀
    • အဆင့်ဆင့် ဖတ်ရှုခြင်းနှင့် ရေးသားခြင်း IOPS (8K) – ဖတ်ရှုမှု ၁၈၃,၀၀၀၊ ရေးသားမှု ၁၁၈,၀၀၀
    • Bandwidth (256K) – ဖတ်ရှုမှု 2.0GB/s၊ ရေးသားမှု 1.7GB/s
  • 400GB Nytro WarpDrive WLP4-400
    • Sequential IOPS (4K) – ဖတ်ရှုမှု ၂၁၈,၀၀၀၊ ရေးသားမှု ၇၅,၀၀၀
    • အဆင့်ဆင့် ဖတ်ရှုခြင်းနှင့် ရေးသားခြင်း IOPS (8K) – ဖတ်ရှုမှု ၁၈၃,၀၀၀၊ ရေးသားမှု ၁၁၈,၀၀၀
    • Bandwidth (256K) – ဖတ်ရှုမှု 2.0GB/s၊ ရေးသားမှု 1.7GB/s
• Enterprise Multi Level Cell (eMLC)
  • 400GB Nytro WarpDrive BLP4-400
    • Sequential IOPS (4K) – ဖတ်ရှုမှု ၂၁၈,၀၀၀၊ ရေးသားမှု ၇၅,၀၀၀
    • အဆင့်ဆင့် ဖတ်ရှုခြင်းနှင့် ရေးသားခြင်း IOPS (8K) – ဖတ်ရှုမှု ၁၈၃,၀၀၀၊ ရေးသားမှု ၁၁၈,၀၀၀
    • Bandwidth (256K) – ဖတ်ရှုမှု 2.0GB/s၊ ရေးသားမှု 1.0GB/s
  • 800GB Nytro WarpDrive BLP4-800
    • Sequential IOPS (4K) – ဖတ်ရှုမှု ၂၁၈,၀၀၀၊ ရေးသားမှု ၇၅,၀၀၀
    • အဆင့်ဆင့် ဖတ်ရှုခြင်းနှင့် ရေးသားခြင်း IOPS (8K) – ဖတ်ရှုမှု ၁၈၃,၀၀၀၊ ရေးသားမှု ၁၁၈,၀၀၀
    • Bandwidth (256K) – ဖတ်ရှုမှု 2.0GB/s၊ ရေးသားမှု 1.0GB/s
  • 1600GB Nytro WarpDrive BLP4-1600
    • Sequential IOPS (4K) – ဖတ်ရှုမှု ၂၁၈,၀၀၀၊ ရေးသားမှု ၇၅,၀၀၀
    • အဆင့်ဆင့် ဖတ်ရှုခြင်းနှင့် ရေးသားခြင်း IOPS (8K) – ဖတ်ရှုမှု ၁၈၃,၀၀၀၊ ရေးသားမှု ၁၁၈,၀၀၀
    • Bandwidth (256K) – ဖတ်ရှုမှု 2.0GB/s၊ ရေးသားမှု 1.0GB/s
• ပျမ်းမျှနှောင့်နှေးမှု < ၅၀ မိုက်ခရိုစက္ကန့်
• အင်တာဖေ့စ် – x8 PCI Express 2.0
• ပါဝါသုံးစွဲမှု - <၂၅ ဝပ်
• ပုံစံအနိမ့်ပရိုဖိုင် (တစ်ဝက်အရှည်၊ MD2)
• ပတ်ဝန်းကျင်အပူချိန် ၀ မှ ၄၅ ဒီဂရီစင်တီဂရိတ်တွင် လည်ပတ်နိုင်သည်
• OS ကိုအသုံးပြုပုံများ
  • မိုက်ခရိုဆော့ဖ်- ဝင်းဒိုး XP၊ ဗစ်စတာ၊ ၂၀၀၃၊ ၇; ဝင်းဒိုးဆာဗာ ၂၀၀၃ SP၂၊ ၂၀၀၈ SP၂၊ ၂၀၀၈ R၂ SP၁
  • Linux: CentOS 6; RHEL 5.4, 5.5, 5.6, 5.7, 6.0, 6.1; SLES: 10SP1, 10SP2, 10SP4, 11SP1; OEL 5.6, 6.0
  • UNIX: FreeBSD 7.2, 7.4, 8.1, 8.2; Solaris 10U10, 11 (x86 နှင့် SPARC)
  • ဟိုက်ပါဗာဆာများ- VMware 4.0 U2၊ 4.1 U1၊ 5.0
• သက်တမ်းကုန်ဆုံးချိန် ဒေတာထိန်းသိမ်းမှု >၆ လ SLC၊ >၃ လ eMLC
• ထုတ်ကုန်ကျန်းမာရေးစောင့်ကြည့်ခြင်း ကိုယ်တိုင်စောင့်ကြည့်ခြင်း၊ ခွဲခြမ်းစိတ်ဖြာခြင်းနှင့် အစီရင်ခံခြင်းနည်းပညာ (SMART) အမိန့်ပေးချက်များအပြင် နောက်ထပ် SSD စောင့်ကြည့်ခြင်း

တည်ဆောက်ခြင်းနှင့်ဒီဇိုင်းဆွဲခြင်း

LSI Nytro WarpDrive သည် RAID0 တွင် main interface board နှင့် ချိတ်ဆက်ထားသော custom form-factor SSD လေးခုဖြင့် ဖွဲ့စည်းထားသော Half-Height Half-Length x8 PCI-Express ကတ်တစ်ခုဖြစ်သည်။ Half-height ကတ်တစ်ခုဖြစ်သောကြောင့် Nytro WarpDrive သည် backplane adapter ကို လဲလှယ်ခြင်းဖြင့် server များစွာနှင့် တွဲဖက်အသုံးပြုနိုင်သည်။ အောက်တွင်ပြထားသည်မှာ ကျွန်ုပ်တို့၏ enterprise စမ်းသပ်မှုများစွာတွင် အသုံးပြုသည့် ကျွန်ုပ်တို့၏ Lenovo ThinkServer RD240 ဖြစ်ပြီး full-height ကတ်များကို ပံ့ပိုးပေးသည်။

ယခင်မျိုးဆက် WarpDrive နှင့်ဆင်တူသည်မှာ LSI သည် Nytro WarpDrive အသစ်၏ အဓိကအချက်အနေဖြင့် SandForce ပရိုဆက်ဆာများကို အသုံးပြုထားသည်။ ယခင်မျိုးဆက် မော်ဒယ်တွင် SATA 3.0Gb/s SF-1500 ထိန်းချုပ်ကိရိယာ ခြောက်ခုကို အသုံးပြုခဲ့သော်လည်း Nytro တွင် SATA 6.0Gb/s SF-2500 ထိန်းချုပ်ကိရိယာ လေးခုကို အသုံးပြုသည်။ Nytro တွင် ဤ SSD နှစ်ခုကို အလယ်တွင် တပ်ဆင်ထားသော အပူစုပ်ကိရိယာ “ဘဏ်” နှစ်ခုတွင် ထည့်သွင်းထားပြီး ၎င်းတို့ကို main board နှင့် ribbon cable ငယ်တစ်ခုဖြင့် ချိတ်ဆက်ထားသည်။ ဤထိန်းချုပ်ကိရိယာများကို host computer နှင့် ချိတ်ဆက်ရန်အတွက် LSI သည် ၎င်းတို့၏ကိုယ်ပိုင် SAS2008 PCIe to SAS bridge ကို အသုံးပြုပြီး operating system များစွာတွင် driver ပံ့ပိုးမှု ကျယ်ပြန့်စွာ ရှိသည်။

ပထမမျိုးဆက် WarpDrive နှင့်မတူဘဲ၊ ဤ passive heatsinks များသည် NAND နှင့် SandForce controllers များအား အပူကို ဦးစွာ heatsink ထဲသို့ ထုတ်လွှတ်စေပြီး ထို့နောက် server chassis ရှိ လေစီးဆင်းမှုဖြင့် passively အအေးခံသည်။ ၎င်းသည် hot-spot များကို လျှော့ချပေးပြီး ထုတ်ကုန်၏ သက်တမ်းတစ်လျှောက် ပိုမိုတည်ငြိမ်သော hardware စွမ်းဆောင်ရည်ကို သေချာစေသည်။

ကတ်အပေါ်မှ မြင်ကွင်းတွင် Nytro WarpDrive ကို စွမ်းအားပေးသည့် custom SSD များ၏ အောက်တွင်၊ ကြားနှင့် အပေါ်ဘက်တွင် တင်းကျပ်စွာ ညှပ်ထားသော အလူမီနီယမ်ပြားများကို ပြသထားသည်။ Nytro သည် အပြင်ဘက်မှ မြင်သာသော HDD အညွှန်းမီးများကိုလည်း ပံ့ပိုးပေးသည်။

LSI Nytro WarpDrive သည် PCIe 2.0 x8 ပါဝါနှင့် အပြည့်အဝကိုက်ညီပြီး လည်ပတ်နေစဉ်အတွင်း ပါဝါ 25 ဝပ်အောက်သာ သုံးစွဲပါသည်။ ၎င်းသည် ပြင်ပပါဝါမပါဘဲ လည်ပတ်နိုင်စေပြီး Fusion-io “Duo” စက်ပစ္စည်းများကဲ့သို့သော ပြင်ပပါဝါ (သို့မဟုတ် PCIe spec မှတစ်ဆင့် ပါဝါဆွဲယူရန် ပံ့ပိုးမှု) လိုအပ်သော စက်ပစ္စည်းများထက် ဟာ့ဒ်ဝဲနှင့် ပိုမိုလိုက်ဖက်ညီစေပါသည်။

200GB SLC LSI Nytro WarpDrive ကို စွမ်းအားပေးသည့် SSD လေးခုစီတွင် SandForce SF-2500 controller တစ်ခုနှင့် 8GB Toshiba SLC Toggle NAND ရှစ်ခု ပါရှိသည်။ ၎င်းသည် SSD တစ်ခုစီတွင် စုစုပေါင်းစွမ်းရည် 64GB ရှိပြီး ၂၂% ကျော်လွန်ပါက အသုံးပြုနိုင်သောစွမ်းရည် 50GB ရှိသည်။

Software များ

သူတို့ရဲ့ Nytro WarpDrive ထုတ်ကုန်တွေကို စီမံခန့်ခွဲဖို့အတွက် LSI က သုံးစွဲသူတွေကို CLI Nytro WarpDrive Management Utility ကို ပေးပါတယ်။ ဒီ management utility က အသုံးပြုသူတွေကို firmware ကို update လုပ်ခြင်း၊ drive ရဲ့ ကျန်းမာရေးကို စောင့်ကြည့်ခြင်းအပြင် over-provisioning အဆင့်ကို ချိန်ညှိခြင်းဖြင့် WarpDrive ကို မတူညီတဲ့ capacities တွေနဲ့ format လုပ်နိုင်ပါတယ်။ Windows, Linux, FreeBSD, Solaris နဲ့ VMware တို့ကို support လုပ်ထားတဲ့ OS ပေါ်မူတည်ပြီး utility ရဲ့ version အမျိုးမျိုးကို ပေးထားပါတယ်။

Nytro WarpDrive Management Utility က အခြေခံအဆင့်ပဲရှိပြီး အသုံးပြုသူတွေကို အလုပ်ပြီးမြောက်အောင် လုံလောက်တဲ့ အချက်အလက်တွေ ဒါမှမဟုတ် ရွေးချယ်စရာတွေကို ပေးပါတယ်။ ဒီကတ်တွေနဲ့ အချိန်အများစုကုန်ဆုံးနေချိန်မှာ ဒီ utility ကို နေ့စဉ် IT ပညာရှင်တွေ အများကြီး မတွေ့ရပေမယ့် တခြားရောင်းချသူတွေ ပေးစွမ်းတာနဲ့ ယှဉ်ရင် အချက်အလက်တွေ ချို့တဲ့နေတယ်လို့ ခံစားရပါတယ်။

ကျန်းမာရေးစောင့်ကြည့်မှုရှုထောင့်ကနေကြည့်ရင် LSI management utility က WarpDrive ရဲ့ အသုံးဝင်တဲ့သက်တမ်းကို တွက်ချက်တဲ့အခါ တိကျတဲ့အပူချိန်နဲ့ yes/no response ကို ပြောပြဖို့ပဲ အလုပ်လုပ်ပါတယ်။ Warranty Remaining ရာခိုင်နှုန်းဖတ်ခြင်းက ကျန်းမာရေးအခြေအနေကို ညွှန်ပြနေတာကြောင့် total bytes written ဒါမှမဟုတ် total bytes read ရဲ့ အသေးစိတ်ကိန်းဂဏန်းက ကတ်ကို ဘယ်လောက်အသုံးပြုပြီးပြီလဲ၊ အနာဂတ်မှာ ဘယ်လောက်သက်တမ်းရှိလဲဆိုတာကို အသုံးပြုသူကို အသိပေးရာမှာ ပိုကောင်းပါတယ်။

ပထမမျိုးဆက် WarpDrive မှာ မပံ့ပိုးထားတဲ့ utility ရဲ့ နောက်ထပ် feature တစ်ခုကတော့ logical block device ရဲ့ over-provisioning level ကို ပြောင်းလဲနိုင်စွမ်းပါပဲ။ stock configuration မှာ ကျွန်တော်တို့ရဲ့ 200GB SLC Nytro WarpDrive ဟာ အသုံးပြုနိုင်တဲ့ capacity 186.26GB ရှိပြီး performance over-provisioning mode ကတော့ အဲဒီပမာဏကို 149.01GB အထိ ကျဆင်းသွားခဲ့ပါတယ်။ ကျွန်တော်တို့ရဲ့ model မှာ မပံ့ပိုးထားပေမယ့် max capacity over-provisioning ရဲ့ တတိယ mode ကိုလည်း စာရင်းပြုစုထားပါတယ်။

Nytro WarpDrive ဖော်မတ်လုပ်ခြင်းမုဒ်များ (200GB SLC အတွက်):

• စွမ်းဆောင်ရည် အလွန်အကျွံ ပံ့ပိုးပေးခြင်း – 149.01GB
• အမည်ခံ အလွန်အကျွံ ပံ့ပိုးပေးခြင်း – 186.26GB
• ပံ့ပိုးပေးနိုင်မှုထက် အများဆုံးစွမ်းရည် – ကျွန်ုပ်တို့၏ သုံးသပ်ချက်မော်ဒယ်တွင် မပံ့ပိုးပါ

နောက်ခံနှင့် နှိုင်းယှဉ်နိုင်သော အရာများကို စမ်းသပ်ခြင်း

Enterprise hardware ကို စမ်းသပ်တဲ့အခါ၊ ပတ်ဝန်းကျင်ဟာ အကဲဖြတ်ဖို့အသုံးပြုတဲ့ စမ်းသပ်ခြင်းလုပ်ငန်းစဉ်တွေလိုပဲ အရေးကြီးပါတယ်။ StorageReview မှာ ကျွန်ုပ်တို့စမ်းသပ်တဲ့ device တွေဟာ နောက်ဆုံးမှာ ဦးတည်သွားမယ့် datacenter အများစုမှာတွေ့ရတဲ့ hardware နဲ့ infrastructure တွေကို ကျွန်ုပ်တို့ ပေးဆောင်ပါတယ်။ ၎င်းမှာ enterprise server တွေအပြင် networking၊ rack space၊ power conditioning/monitoring နဲ့ device တစ်ခုရဲ့ စွမ်းဆောင်ရည်ကို ကောင်းမွန်စွာ အကဲဖြတ်ဖို့အတွက် အတန်းအစားတူ comparable hardware လိုမျိုး သင့်လျော်တဲ့ infrastructure equipment တွေ ပါဝင်ပါတယ်။ ကျွန်ုပ်တို့စမ်းသပ်နေတဲ့ equipment ရဲ့ ထုတ်လုပ်သူက ကျွန်ုပ်တို့ရဲ့ review တွေကို ငွေပေးချေတာ ဒါမှမဟုတ် ထိန်းချုပ်တာ မရှိပါဘူး။ သက်ဆိုင်ရာ comparable တွေကို ကျွန်ုပ်တို့ ရဲ့ lab မှာရှိတဲ့ product တွေကနေ ကျွန်ုပ်တို့ရဲ့ ဆုံးဖြတ်ချက်အရ ရွေးချယ်ပါတယ် ။

StorageReview Enterprise စမ်းသပ်ပလက်ဖောင်း-

Lenovo ThinkServer RD240

• ၂ x Intel Xeon X5650 (2.66GHz, 12MB Cache)
• Windows Server 2008 Standard Edition R2 SP1 64-Bit နှင့် CentOS 6.2 64-Bit
• Intel 5500+ ICH10R ချစ်ပ်ဆက်
• မှတ်ဉာဏ် - 8GB (2 x 4GB) 1333Mhz DDR3 မှတ်ပုံတင်ထားသော RDIMM များ

နှိုင်းယှဉ်သုံးသပ်ချက်များ-

640GB Fusion-io ioDrive Duo

• ထုတ်ဝေသည့်ခုနှစ်: ၂ နာရီခွဲ၊ ၂၀၁၁
• NAND အမျိုးအစား: MLC
• ထိန်းချုပ်ကိရိယာ: 2 x ကိုယ်ပိုင်
• စက်ပစ္စည်းမြင်နိုင်စွမ်း- JBOD၊ OS ပေါ်မူတည်၍ software RAID
• Fusion-io VSL ဝင်းဒိုး: 3.1.1
• Fusion-io VSL Linux 3.1.1

200GB LSI Nytro WarpDrive WLP4-200

• ထုတ်ဝေသည့်ခုနှစ်: ၂ နာရီခွဲ၊ ၂၀၁၁
• NAND အမျိုးအစား: SLC
• ထိန်းချုပ်ကိရိယာ: LSI SandForce SF-2500 မှတစ်ဆင့် LSI SAS2008 PCIe မှ SAS Bridge အထိ 4 x LSI
• စက်ပစ္စည်း မြင်နိုင်စွမ်း- ပြုပြင်ထားသော ဟာ့ဒ်ဝဲ RAID0
• LSI ဝင်းဒိုး: ၂.၁၀.၅၁.၀
• LSI Linux: မူရင်း CentOS 6.2 ဒရိုက်ဘာ

300GB LSI WarpDrive SLP-300

• ထုတ်ဝေသည့်ခုနှစ်: ၂ နာရီခွဲ၊ ၂၀၁၁
• NAND အမျိုးအစား: SLC
• ထိန်းချုပ်ကိရိယာ: LSI SandForce SF-1500 မှတစ်ဆင့် LSI SAS2008 PCIe မှ SAS Bridge အထိ 6 x LSI
• စက်ပစ္စည်း မြင်နိုင်စွမ်း- ပြုပြင်ထားသော ဟာ့ဒ်ဝဲ RAID0
• LSI ဝင်းဒိုး: ၂.၁၀.၅၁.၀
• LSI Linus: မူရင်း CentOS 6.2 ဒရိုက်ဘာ

1.6TB OCZ Z-Drive R4

• ထုတ်ဝေသည့်ခုနှစ်: ၂ နာရီခွဲ၊ ၂၀၁၁
• NAND အမျိုးအစား: MLC
• ထိန်းချုပ်ကိရိယာ: custom OCZ VCA PCIe မှ SAS Bridge မှတစ်ဆင့် 8 x LSI SandForce SF-2200
• စက်ပစ္စည်း မြင်နိုင်စွမ်း- ပြင်ဆင်ထားသော ဟာ့ဒ်ဝဲ RAID0
• OCZ Windows ဒရိုက်ဘာ: 1.3.6.17083
• OCZ Linux ဒရိုက်ဘာ: 1.0.0.1480

Enterprise Synthetic Workload ခွဲခြမ်းစိတ်ဖြာခြင်း (စတော့ရှယ်ယာဆက်တင်များ)

PCIe သိုလှောင်မှု ဖြေရှင်းချက်များကို ကျွန်ုပ်တို့ ကြည့်ရှုပုံသည် ရိုးရာ burst သို့မဟုတ် steady-state စွမ်းဆောင်ရည်ထက် ပိုမိုနက်ရှိုင်းပါသည်။ ရှည်လျားသောကာလတစ်ခုအတွင်း ပျမ်းမျှစွမ်းဆောင်ရည်ကို ကြည့်ရှုသောအခါ၊ ထိုကာလအတွင်း စက်ပစ္စည်းမည်သို့လုပ်ဆောင်ပုံအသေးစိတ်အချက်အလက်များကို သင်မေ့သွားပါလိမ့်မည်။ flash စွမ်းဆောင်ရည်သည် အချိန်ကြာလာသည်နှင့်အမျှ များစွာကွဲပြားသောကြောင့်၊ ကျွန်ုပ်တို့၏ benchmarking လုပ်ငန်းစဉ်အသစ်သည် စုစုပေါင်း throughput၊ ပျမ်းမျှ latency၊ peak latency နှင့် စက်ပစ္စည်းတစ်ခုစီ၏ preconditioning အဆင့်တစ်ခုလုံးတွင် standard deviation အပါအဝင် စွမ်းဆောင်ရည်ကို ခွဲခြမ်းစိတ်ဖြာပါသည်။ high-end enterprise ထုတ်ကုန်များတွင် latency သည် throughput ထက် မကြာခဏပိုအရေးကြီးပါသည်။ ဤအကြောင်းကြောင့်၊ ကျွန်ုပ်တို့၏ Enterprise Test Lab မှတစ်ဆင့် ကျွန်ုပ်တို့ထည့်သွင်းထားသော စက်ပစ္စည်းတစ်ခုစီ၏ စွမ်းဆောင်ရည်အပြည့်အစုံကို ပြသရန် ကျွန်ုပ်တို့သည် ကြိုးစားအားထုတ်ပါသည် ။

Windows နှင့် Linux လည်ပတ်မှုစနစ်နှစ်ခုလုံးတွင် မတူညီသော driver set တစ်ခုအောက်တွင် device တစ်ခုစီ မည်သို့လုပ်ဆောင်သည်ကိုပြသရန် စွမ်းဆောင်ရည်နှိုင်းယှဉ်ချက်များကိုလည်း ထည့်သွင်းထားပါသည်။ Windows အတွက်၊ မူလပြန်လည်သုံးသပ်ချိန်တွင် နောက်ဆုံးပေါ် driver များကို အသုံးပြုပြီး၊ ထို့နောက် device တစ်ခုစီကို 64-bit Windows Server 2008 R2 ပတ်ဝန်းကျင်အောက်တွင် စမ်းသပ်ပါသည်။ Linux အတွက်၊ Enterprise PCIe Application Accelerator တစ်ခုချင်းစီက ပံ့ပိုးပေးသော 64-bit CentOS 6.2 ပတ်ဝန်းကျင်ကို အသုံးပြုပါသည်။ ဤစမ်းသပ်မှုနှင့်ပတ်သက်သည့် ကျွန်ုပ်တို့၏ အဓိကရည်မှန်းချက်မှာ OS စွမ်းဆောင်ရည် မည်သို့ကွာခြားသည်ကို ပြသရန်ဖြစ်သည်၊ အဘယ်ကြောင့်ဆိုသော် ထုတ်ကုန်စာရွက်တွင် operating system တစ်ခုကို compatible အဖြစ် စာရင်းသွင်းထားခြင်းသည် ၎င်းတို့အားလုံး၏ စွမ်းဆောင်ရည်သည် အမြဲတမ်းတူညီသည်ဟု မဆိုလိုသောကြောင့်ဖြစ်သည်။

စမ်းသပ်ထားသော စက်ပစ္စည်းအားလုံးကို အစမှအဆုံးအထိ တူညီသော စမ်းသပ်မှုမူဝါဒအောက်တွင် လုပ်ဆောင်ပါသည်။ လက်ရှိတွင်၊ တစ်ဦးချင်း workload တစ်ခုချင်းစီအတွက်၊ ရောင်းချသူမှ ထောက်ပံ့ပေးသောကိရိယာများကို အသုံးပြု၍ စက်ပစ္စည်းများကို လုံခြုံစွာဖျက်ပစ်ပြီး၊ တူညီသော workload ဖြင့် steady-state သို့ ကြိုတင်ပြင်ဆင်ပြီးဖြစ်သည်။ စက်ပစ္စည်းကို thread တစ်ခုလျှင် ၁၆ ခုပါသော queue ဖြင့် thread ၁၆ ခု၏ လေးလံသောဝန်အောက်တွင် စမ်းသပ်မည်ဖြစ်ပြီး၊ ထို့နောက် အသုံးပြုမှုအနည်းငယ်နှင့် လေးလံသောအသုံးပြုမှုအောက်တွင် စွမ်းဆောင်ရည်ကိုပြသရန် thread/queue depth profile များစွာတွင် သတ်မှတ်ထားသောကြားကာလများတွင် စမ်းသပ်မည်ဖြစ်သည်။ 100% read activity ရှိသော စမ်းသပ်မှုများအတွက်၊ ကြိုတင်ပြင်ဆင်ခြင်းသည် 100% write သို့ပြောင်းသွားသော်လည်း တူညီသော workload ဖြင့်ဖြစ်သည်။

ကြိုတင်အခြေအနေပြင်ဆင်ခြင်းနှင့် မူလတည်ငြိမ်အခြေအနေစမ်းသပ်မှုများ-

• ပမာဏ (ဖတ်+ရေး IOPS စုစည်းမှု)
• ပျမ်းမျှ နှောင့်နှေးမှု (ဖတ်+ရေး နှောင့်နှေးမှု အတူတကွ ပျမ်းမျှ)
• အများဆုံး နှောင့်နှေးမှု (အမြင့်ဆုံး ဖတ်ရန် သို့မဟုတ် ရေးရန် နှောင့်နှေးမှု)
• နှောင့်နှေးမှု စံသွေဖည်မှု (ဖတ်+ရေး စံသွေဖည်မှုကို ပျမ်းမျှပေါင်းစပ်ထားသည်)

ဤအချိန်တွင် Enterprise Synthetic Workload Analysis တွင် လက်တွေ့ကမ္ဘာလှုပ်ရှားမှုကို ထင်ဟပ်စေရန် ကြိုးစားနိုင်သည့် ဘုံပရိုဖိုင်လေးခု ပါဝင်သည်။ ၎င်းတို့ကို ကျွန်ုပ်တို့၏ ယခင် benchmark များနှင့် ဆင်တူမှုအချို့ရှိစေရန်အပြင် အများဆုံး 4K read နှင့် write speed ကဲ့သို့သော ကျယ်ပြန့်စွာထုတ်ဝေထားသော တန်ဖိုးများနှင့် နှိုင်းယှဉ်ရန်အတွက် ဘုံအခြေခံတစ်ခုအပြင် enterprise drive များအတွက် အသုံးများသော 8K 70/30 တို့ကို ရွေးချယ်ခဲ့ခြင်းဖြစ်သည်။ transfer size အမျိုးမျိုးကို ပေးဆောင်သည့် ရိုးရာ File Server နှင့် Webserver အပါအဝင် legacy mixed workloads နှစ်ခုကိုလည်း ကျွန်ုပ်တို့ ထည့်သွင်းထားသည်။ ဤနောက်ဆုံးနှစ်ခုကို ကျွန်ုပ်တို့၏ဆိုက်တွင် မိတ်ဆက်ပြီးသည်နှင့် ထိုအမျိုးအစားများတွင် application benchmark များဖြင့် အဆင့်လိုက်ဖယ်ရှားပြီး synthetic workloads အသစ်များဖြင့် အစားထိုးသွားမည်ဖြစ်သည်။

• 4K
  • ၁၀၀% ဖတ်ရန် သို့မဟုတ် ၁၀၀% ရေးသားရန်
  • ၁၀၀% ၁၂၈K
• ၈K ၇၀/၃၀
  • ၇၀% ဖတ်၊ ၃၀% ရေးသား
• ဖိုင်ဆာဗာ
  • ၇၀% ဖတ်၊ ၃၀% ရေးသား
  • 10% 512b၊ 5% 1k၊ 5% 2k၊ 60% 4k၊ 2% 8k၊ 4% 16k၊ 4% 32k၊ 10% 64k
• ဝက်ဘ်ဆိုက်
  • 100% ဖတ်ပါ။
  • ၂၂% ၅၁၂ခ၊ ၁၅% ၁ထောင်၊ ၈% ၂ထောင်၊ ၂၃% ၄ထောင်၊ ၁၅% ၈ထောင်၊ ၂% ၁၆ထောင်၊ ၆% ၃၂ထောင်၊ ၇% ၆၄ထောင်၊ ၁% ၁၂၈ထောင်၊ ၁% ၅၁၂ထောင်

၆ နာရီကာလအတွင်း thread ၁၆ ခုနှင့် queue ၁၆ ခု၏ လေးလံသောဝန်အောက်တွင် ၁၀၀% 4K ရေးသားမှုလုပ်ဆောင်ချက်ကို ကြည့်လျှင် LSI Nytro WarpDrive သည် အခြား PCIe Application Accelerators များနှင့် နှိုင်းယှဉ်ပါက နှေးကွေးသော်လည်း အလွန်တသမတ်တည်းရှိသော throughput ကို ပေးစွမ်းနိုင်ကြောင်း ကျွန်ုပ်တို့ တွေ့ရှိခဲ့သည်။ Nytro WarpDrive သည် 4K ရေးသားမှု ၃၃,၀၀၀ IOPS ခန့်မှ စတင်ခဲ့ပြီး ဤကြိုတင်ပြင်ဆင်မှုအဆင့်၏အဆုံးတွင် ၃၀,၀၀၀ IOPS တွင် တည်ငြိမ်သွားခဲ့သည်။ ၎င်းသည် 130,000-180,000 IOPS တွင် အမြင့်ဆုံးရောက်ရှိပြီး 35,000 IOPS တွင် တည်ငြိမ်ခဲ့သော ပထမမျိုးဆက် WarpDrive နှင့် နှိုင်းယှဉ်လျှင် ဖြစ်သည်။

ကြိုတင်အခြေအနေပြင်ဆင်ခြင်းအဆင့်အတွင်း ပျမ်းမျှနှောင့်နှေးမှုသည် 8.5ms ခန့်တွင် လျင်မြန်စွာ အခြေချခဲ့ပြီး၊ ပထမမျိုးဆက် WarpDrive သည် 2ms ခန့်မှ စတင်ကာ တည်ငြိမ်သောအခြေအနေသို့ ရောက်ရှိသည်နှင့် 7.2ms အထိ လျော့နည်းသွားခဲ့သည်။

အမြင့်ဆုံး latency နဲ့ ပတ်သက်လာရင် SLC က ရှားပါးပြီး အကွာအဝေးများစွာမှာ ဘုရင်ဖြစ်တယ်ဆိုတာ သံသယဖြစ်စရာ မလိုပါဘူး။ Nytro WarpDrive အသစ်ဟာ Windows မှာ အနိမ့်ဆုံး max latency ရှိခဲ့ပြီး CentOS driver အောက်မှာ တိုးလာပေမယ့် အလွန်လေးစားဖွယ်ကောင်းနေဆဲပါ။

latency standard deviation ကိုကြည့်မယ်ဆိုရင် Windows မှာ Nytro WarpDrive ဟာ ပထမမျိုးဆက် WarpDrive နဲ့သာ ကိုက်ညီတဲ့ latency အတည်ငြိမ်ဆုံးတွေထဲက အချို့ကို ပေးစွမ်းနိုင်ခဲ့ပါတယ်။ ဒါပေမယ့် CentOS မှာတော့ Windows မှာ 7.2ms ရှိပြီး standard deviation က နှစ်ဆကျော်ပိုများပြီး 20ms ကျော်ရှိပါတယ်။

PCIe Application Accelerators များသည် ၎င်းတို့၏ 4K ရေးသားမှုကြိုတင်ပြင်ဆင်မှုလုပ်ငန်းစဉ်ကို ဖြတ်သန်းပြီးနောက်၊ ကျွန်ုပ်တို့သည် ၎င်းတို့၏စွမ်းဆောင်ရည်ကို ပိုမိုရှည်လျားသောကြားကာလတစ်ခုအတွင်း နမူနာယူခဲ့သည်။ Windows တွင် LSI Nytro WarpDrive သည် 161,170 IOPS ဖတ်ရှုမှုနှင့် 29,946 IOPS ရေးသားမှုကို တိုင်းတာခဲ့ပြီး ၎င်း၏ Linux စွမ်းဆောင်ရည်မှာ 97,333 IOPS ဖတ်ရှုမှုနှင့် 29,788 IOPS ရေးသားမှုကို တိုင်းတာခဲ့သည်။ Windows နှင့် Linux တွင် ဖတ်ရှုမှုစွမ်းဆောင်ရည်သည် ယခင်မျိုးဆက် WarpDrive ထက် ပိုမိုမြင့်မားသော်လည်း 4K steady-state စွမ်းဆောင်ရည်မှာ 5,000 IOPS ကျဆင်းသွားခဲ့သည်။

LSI Nytro WarpDrive သည် 4K read latency တွင် ဒုတိယအနိမ့်ဆုံးဖြစ်ပြီး OCZ Z-Drive R4 တွင် SF-2200 controllers ၈ ခုအသုံးပြုသည့်ထက် သာလွန်သည်။ Write latency သည် Windows တွင် 8.54ms နှင့် Linux တွင် 8.591ms ရှိပြီး package ထဲတွင် အနှေးဆုံးဖြစ်သည် (OCZ Z-Drive R4 သည် တူညီသော base တွင်ပင်မရှိပါ)။

ကျွန်ုပ်တို့ရဲ့ နောက်ဆုံး 4K read နဲ့ write testing intervals တွေတစ်လျှောက် အမြင့်ဆုံး peak latency ကိုကြည့်မယ်ဆိုရင် LSI Nytro WarpDrive ဟာ Windows မှာ 51ms နဲ့ pack ထဲမှာ အနိမ့်ဆုံး 4K write latency ကို ပေးစွမ်းနိုင်ခဲ့ပါတယ်။ ၎င်းရဲ့ Linux စွမ်းဆောင်ရည်က 486ms ရှိပြီး Windows မှာ 4K read blip က 1,002ms ဖြစ်ပေမယ့် အလုံးစုံပြောရရင် ကျွန်ုပ်တို့ရဲ့ တခြားနှိုင်းယှဉ်နိုင်တဲ့ စွမ်းဆောင်ရည်တွေနဲ့ ယှဉ်ရင် အဆင့်ကောင်းကောင်းရထားပါတယ်။

အမြင့်ဆုံး latency သည် စမ်းသပ်မှုတစ်ခုလုံးတွင် တစ်ခုတည်းသော response time ကိုသာ ပြသသော်လည်း၊ standard deviation ကိုပြသခြင်းသည် drive သည် စမ်းသပ်မှုတစ်ခုလုံးတွင် မည်မျှကောင်းမွန်စွာ လုပ်ဆောင်သည်ကို အလုံးစုံပုံပေါ်စေသည်။ Nytro WarpDrive သည် ပထမမျိုးဆက် WarpDrive ထက် နှစ်ဆခန့် read latency standard deviation ဖြင့် အလယ်အလတ်အဆင့်တွင် ရောက်ရှိလာခဲ့သည်။ write test တွင် standard deviation သည် Windows တွင် အနည်းငယ်သာ မြင့်မားသော်လည်း Linux တွင် နောက်ကျကျန်ခဲ့သည်။ Windows တွင် ၎င်း၏ write စွမ်းဆောင်ရည်သည် Fusion ioDrive Duo နှင့် OCZ Z-Drive R4 တို့ထက် ထိပ်ဆုံးအဆင့်တွင် ရှိနေဆဲဖြစ်သည်။

နောက်ထပ် preconditioning စမ်းသပ်မှုသည် ကျွန်ုပ်တို့၏ 4K စမ်းသပ်မှုတွင် 100% write activity နှင့် နှိုင်းယှဉ်ပါက ပိုမိုလက်တွေ့ကျသော read/write workload spread ဖြင့် အလုပ်လုပ်ပါသည်။ ဤနေရာတွင် 8K transfers များ၏ 70% read နှင့် 30% write mix ရှိပါသည်။ thread ၁၆ ခုနှင့် queue ၁၆ ခု၏ လေးလံသော load အောက်တွင် ကျွန်ုပ်တို့၏ 8K 70/30 ရောနှောထားသော workload ကို ၆ နာရီကြာ ကြည့်လျှင် Nytro WarpDrive သည် 87,000 IOPS တွင် လျင်မြန်စွာ ချိန်ညှိနိုင်ခဲ့ပြီး Windows တွင် အုပ်စုတွင် အမြန်ဆုံး drive အဖြစ် အဆုံးသတ်ခဲ့သည်။ Nytro WarpDrive သည် Linux တွင် 70,000 IOPS ဝန်းကျင်တွင် ချိန်ညှိနိုင်ခဲ့သော်လည်း ၎င်းသည် အုပ်စုတွင် အမြန်ဆုံး Linux စွမ်းဆောင်ရည်လည်း ဖြစ်သည်။

ကျွန်ုပ်တို့၏ 8K 70/30 16T/16Q workload တွင် LSI Nytro WarpDrive သည် Windows စမ်းသပ်မှုတစ်လျှောက်လုံး 2.9ms နှင့် Linux တွင် 3.6ms တွင် အမြင့်ဆုံးတည်ငြိမ်သော ပျမ်းမျှ latency ကို ပေးဆောင်သည်။

ကျွန်ုပ်တို့ရဲ့ 4K ရေးသားမှုကြိုတင်ပြင်ဆင်မှုစမ်းသပ်မှုမှာ တိုင်းတာခဲ့တဲ့ အပြုအမူနဲ့ဆင်တူစွာ၊ SLC-based Nytro WarpDrive ဟာ 8K 70/30 ကြိုတင်ပြင်ဆင်မှုလုပ်ငန်းစဉ်တစ်လျှောက် အလွန်နိမ့်တဲ့ အမြင့်ဆုံး latency ကိုလည်း ပေးစွမ်းခဲ့ပါတယ်။ Windows မှာ ၎င်းရဲ့စွမ်းဆောင်ရည်ဟာ 25ms ဝန်းကျင်မှာ ရှိနေပြီး Linux စွမ်းဆောင်ရည်ကတော့ 200ms ဝန်းကျင်မှာ ပိုမိုမြင့်မားစွာ ရှိနေပါတယ်။

သေးငယ်သော အကွာအဝေးများအတွင်း အမြင့်ဆုံး latency သည် စမ်းသပ်မှုတွင် စက်ပစ္စည်းတစ်ခု မည်သို့လုပ်ဆောင်နေသည်ကို သင့်အား အကြံဥာဏ်ပေးသော်လည်း၊ ၎င်း၏ standard deviation ကိုကြည့်ခြင်းဖြင့် ထိုထိပ်များကို အုပ်စုဖွဲ့ထားသည်ကို အနီးကပ်ပြသသည်။ Windows ရှိ Nytro WarpDrive သည် အုပ်စုတွင် အနိမ့်ဆုံး standard deviation ကို ပေးဆောင်ပြီး ပထမမျိုးဆက် WarpDrive ၏ ထက်ဝက်နီးပါးရှိသည်။ Linux တွင် standard deviation သည် လေးဆနီးပါး ပိုမိုမြင့်မားသော်လည်း ၎င်းသည် အလယ်အလတ်/ထိပ်ဆုံးတွင် ရှိနေဆဲဖြစ်သည်။

ကျွန်ုပ်တို့ 100% 4K write test တွင် လုပ်ဆောင်ခဲ့သော fixed 16 thread, 16 queue max workload နှင့် နှိုင်းယှဉ်ပါက၊ ကျွန်ုပ်တို့၏ ရောနှောထားသော workload profile များသည် thread/queue ပေါင်းစပ်မှုအမျိုးမျိုးတွင် စွမ်းဆောင်ရည်ကို ချိန်ညှိပေးပါသည်။ ဤစမ်းသပ်မှုများတွင် ကျွန်ုပ်တို့၏ workload intensity ကို 2 threads နှင့် 2 queue မှ 16 threads နှင့် 16 queue အထိ တိုးချဲ့ထားပါသည်။ LSI Nytro WarpDrive သည် queue depth ၄ မှ ၁၆ အကြားရှိ thread count workloads နည်းပါးသောအချိန်တွင် သိသိသာသာမြင့်မားသော စွမ်းဆောင်ရည်ကို ပေးဆောင်နိုင်ခဲ့သည်။ ဤအားသာချက်သည် ၎င်း၏ Windows စွမ်းဆောင်ရည်ကိုကြည့်လျှင် စမ်းသပ်မှုတစ်ခုလုံးတွင် အများအားဖြင့် ထင်ရှားခဲ့သော်လည်း Linux တွင် ထိုအားသာချက်ကို IOPS ၇၀,၀၀၀ ခန့်အထိ ကန့်သတ်ထားပြီး R4 (Windows တွင်) သည် အချို့နေရာများတွင် သာလွန်ခဲ့သည်။

throughput ညီမျှခြင်း၏ အခြားတစ်ဝက်တွင်၊ LSI Nytro WarpDrive သည် ကျွန်ုပ်တို့၏ 8K 70/30 စမ်းသပ်မှုများတွင် အနိမ့်ဆုံး latency အချို့ကို အဆက်မပြတ်ပေးဆောင်ခဲ့သည်။ Windows တွင် Nytro WarpDrive သည် ထိပ်ဆုံးတွင်ရှိနေပြီး Windows ရှိ Z-Drive R4 သည် Linux ရှိ Nytro ၏စွမ်းဆောင်ရည်ကို အနိုင်ယူခဲ့သည်။

ကျွန်ုပ်တို့ရဲ့ 8K 70/30 စမ်းသပ်မှုမှာ Windows မှာရှိတဲ့ SLC-based LSI Nytro WarpDrive မှာ 1,000ms+ peak latency spikes တွေ ပိုမိုများပြားခဲ့ပြီး Linux driver မှာတော့ 16-thread workloads မြင့်မားတဲ့အထိ ဖိနှိပ်ထားခဲ့ပါတယ်။ ဒီအပြုအမူဟာ Fusion ioDrive Duo ဒါမှမဟုတ် Z-Drive R4 နဲ့ မကွာခြားပေမယ့် Windows မှာရှိတဲ့ first-generation WarpDrive ထက် အထူးသဖြင့် ပိုမိုတောင်းဆိုမှုများတဲ့ loads တွေအောက်မှာ ပိုမိုမြင့်မားတဲ့ latency spikes တွေ ပိုမိုများပြားခဲ့ပါတယ်။

ရံဖန်ရံခါ မြင့်မားသော မြင့်တက်မှုများသည် စိတ်ပျက်စရာကောင်းပုံရသော်လည်း၊ latency standard deviation ကိုကြည့်သောအခါ latency အပြည့်အဝပုံကို မြင်တွေ့နိုင်သည်။ ကျွန်ုပ်တို့၏ 8K 70/30 workload တွင်၊ LSI Nytro WarpDrive သည် ကျွန်ုပ်တို့၏ 8K စမ်းသပ်မှုအများစုတွင် အနိမ့်ဆုံး standard deviation ကို ပေးဆောင်ခဲ့သည်။

File Server workload က device တစ်ခုချင်းစီကို ထိခိုက်စေတဲ့ transfer-size spectrum ပိုကြီးတဲ့အတွက် static 4k ဒါမှမဟုတ် 8k workload အတွက် အခြေချမယ့်အစား drive ဟာ 512b ကနေ 64K အထိ request တွေကို ကိုင်တွယ်ဖြေရှင်းရပါမယ်။ ကျွန်တော်တို့ရဲ့ File Server throughput စမ်းသပ်မှုမှာ OCZ Z-Drive R4 ဟာ burst နဲ့ steady-state နှစ်ခုလုံးမှာ ဦးဆောင်နိုင်ခဲ့ပါတယ်။ LSI Nytro WarpDrive ဟာ pack ရဲ့ အောက်ဆုံးနားမှာ 39-46,000 IOPS ကြားမှာ စတင်ခဲ့ပေမယ့် စမ်းသပ်မှုကာလအတွင်းမှာ သူတို့ရဲ့ စွမ်းဆောင်ရည်အတိုင်း ဆက်လက်ရှိနေခဲ့ပြီး Fusion ioDrive Duo နဲ့ first-generation WarpDrive ကတော့ ၎င်းရဲ့ စွမ်းဆောင်ရည်အောက်ကို ကျဆင်းသွားခဲ့ပါတယ်။

ကျွန်ုပ်တို့၏ File Server workload ရှိ Latency သည် throughput အပိုင်းကဲ့သို့ LSI Nytro WarpDrive တွင် အလားတူလမ်းကြောင်းကို လိုက်နာခဲ့ပြီး၊ ၎င်း၏ burst စွမ်းရည်များအရ အတော်လေးမြင့်မားသော်လည်း စမ်းသပ်မှုကာလအတွင်း ထိုနေရာတွင် ရှိနေခဲ့သည်။ ဤကျောက်တုံးကဲ့သို့ တည်ငြိမ်သောစွမ်းဆောင်ရည်ကြောင့် ၎င်းသည် preconditioning phase ၏ endurance အပိုင်းတွင် နောက်ဆုံးတွင် နှေးကွေးသွားခဲ့ပြီး အခြားအရာများမှာမူ preconditioning phase ၏ endurance အပိုင်းတွင် နှေးကွေးသွားခဲ့သည်။

SLC NAND ဖွဲ့စည်းမှုဖြင့် ကျွန်ုပ်တို့၏ 200GB Nytro WarpDrive သည် ကျွန်ုပ်တို့၏ File Server ကြိုတင်ပြင်ဆင်မှုစမ်းသပ်မှုကာလအတွင်း အတော်လေးတည်ငြိမ်နေပြီး latency အနိမ့်ဆုံးအချို့ထဲမှ အချို့ကိုသာ ပေးဆောင်ပါသည်။ ဤအပိုင်းတွင် ပထမမျိုးဆက် WarpDrive သည် Fusion ioDrive Duo ကဲ့သို့ အလားတူစွမ်းဆောင်ရည်ကို ပေးဆောင်ခဲ့သော်လည်း နောက်ပိုင်းတွင် 1,000ms အတိုင်းအတာအတွင်း spikes များစွာရှိခဲ့သည်။

File Server ကြိုတင်အခြေအနေစမ်းသပ်မှုတွင် latency standard deviation ကိုကြည့်လျှင် LSI Nytro WarpDrive သည် အလွယ်တကူ ထိပ်ဆုံးမှ ရပ်တည်နိုင်ခဲ့သည်။ တစ်ကြိမ်တည်း မြင့်တက်သွားရုံဖြင့် ဤ ၆ နာရီကြာ လုပ်ငန်းစဉ်တစ်လျှောက်လုံး 2ms တွင် ပြားချပ်ချပ်နီးပါးဖြစ်ပြီး ပထမမျိုးဆက် WarpDrive ထက် ပိုမိုတသမတ်တည်းရှိကြောင်း သက်သေပြခဲ့သည်။

ကျွန်ုပ်တို့၏ preconditioning လုပ်ငန်းစဉ်သည် မြင့်မားသော 16T/16Q load အောက်တွင် ပြီးဆုံးသွားသည်နှင့်၊ activity level အမျိုးမျိုးတွင် File Server စွမ်းဆောင်ရည်ကို ကျွန်ုပ်တို့ ကြည့်ရှုခဲ့ပါသည်။ Nytro ၏ ကျွန်ုပ်တို့၏ 8K 70/30 workload တွင် စွမ်းဆောင်ရည်နှင့်ဆင်တူစွာ၊ ၎င်းသည် thread နှင့် queue depth level နိမ့်သောအဆင့်များတွင် အမြင့်ဆုံးစွမ်းဆောင်ရည်ကို ပေးဆောင်နိုင်ခဲ့သည်။ ဤဦးဆောင်မှုကို File Server workload တွင် 4T/8Q အထက်အဆင့်များတွင် OCZ Z-Drive R4 မှ လွှဲပြောင်းယူခဲ့ပြီး၊ R4 ၏ controller အရေအတွက် ရှစ်ခုသည် ၎င်း၏ခြေထောက်များကို ပိုမိုဆန့်ထုတ်ရန် ကူညီပေးခဲ့သည်။ ကျွန်ုပ်တို့၏ throughput စမ်းသပ်မှု၏ ကျန်အပိုင်းတွင် Nytro WarpDrive သည် Windows တွင် Z-Drive R4 အောက်တွင် ဒုတိယနေရာတွင် ရပ်တည်ခဲ့သည်။

throughput မြင့်မားခြင်းနှင့်အတူ latency နည်းပါးခြင်းလည်း ပါဝင်ပြီး LSI Nytro WarpDrive သည် queue depth နိမ့်သောအခြေအနေများတွင် response time အလွန်ကောင်းမွန်စွာ ရရှိနိုင်ခဲ့ပြီး 2T/2Q တွင် 0.366ms အထိ နိမ့်ကျခဲ့သည်။ သို့သော် ၎င်းသည် အမြန်ဆုံးမဟုတ်ပါ၊ အဘယ်ကြောင့်ဆိုသော် ioDrive Duo သည် စမ်းသပ်မှု၏ တူညီသောအပိုင်းတွင် 0.248ms ဖြင့် ထိပ်ဆုံးတွင် ရပ်တည်နိုင်ခဲ့သည်။ သို့သော် load များလာသည်နှင့်အမျှ Nytro WarpDrive သည် OCZ Z-Drive R4 အောက်ရှိ controller များ၏ ထက်ဝက်ကို အသုံးပြုထားသည်။

OCZ Z-Drive R4 နှင့် LSI Nytro WarpDrive အကြား File Server workload max latency ကို နှိုင်းယှဉ်ကြည့်လျှင် SLC NAND ၏ အားသာချက်ကား အဘယ်နည်း။ မတူညီသော စမ်းသပ်မှုဝန်ချိန်များကြာချိန်အတွင်း SLC-based Nytro WarpDrive နှင့် ပထမမျိုးဆက် WarpDrive နှစ်ခုစလုံးသည် အနိမ့်ဆုံး peak response time များနှင့် အနည်းဆုံးသော ಒಟ್ಟಾರೆ peaks များကို ပေးဆောင်ခဲ့သည်။

ကျွန်ုပ်တို့၏ latency standard deviation analysis အရ Nytro WarpDrive သည် ကျွန်ုပ်တို့၏ File Server workload ကာလအတွင်း အတန်းအစားအလိုက် ဦးဆောင်စွမ်းဆောင်ရည်ကို ရရှိနိုင်ကြောင်း ထပ်လောင်းအတည်ပြုခဲ့သည်။ တုံ့ပြန်မှု စတင်ကျဆင်းလာသည့်နေရာတစ်ခုမှာ 16T/16Q workload တွင်ဖြစ်ပြီး Linux ရှိ Nytro WarpDrive သည် ၎င်း၏ latency တွင် ပိုမိုကွဲပြားမှုရှိသည်။

ကျွန်ုပ်တို့၏ နောက်ဆုံး workload သည် အဓိက output နှင့် နှိုင်းယှဉ်လျှင် စမ်းသပ်မှု၏ preconditioning အဆင့်ကို ခွဲခြမ်းစိတ်ဖြာပုံတွင် အတော်လေးထူးခြားပါသည်။ 100% read activity ဖြင့် ဒီဇိုင်းထုတ်ထားသော workload အနေဖြင့် သင့်လျော်သော preconditioning အဆင့်မရှိဘဲ device တစ်ခုချင်းစီ၏ စစ်မှန်သော read စွမ်းဆောင်ရည်ကို ပြသရန် ခက်ခဲပါသည်။ conditioning workload ကို စမ်းသပ် workload နှင့် အတူတူပင်ထားရှိရန်အတွက် ကျွန်ုပ်တို့သည် 100% write ဖြစ်ရန် ပုံစံကို ပြောင်းပြန်လှန်ခဲ့ပါသည်။ ဤအကြောင်းကြောင့် preconditioning ဇယားများသည် နောက်ဆုံး workload နံပါတ်များထက် များစွာပိုမိုသိသာထင်ရှားပါသည်။

ပြိုင်ပွဲမှာ ဖြည်းဖြည်းချင်းနဲ့ တည်ငြိမ်စွာ အနိုင်ရတဲ့ ဥပမာတစ်ခု မဖြစ်ခဲ့ပေမယ့် Nytro WarpDrive မှာ အနိမ့်ဆုံး burst throughput ရှိခဲ့ပါတယ် (R4 ရဲ့ ပြဿနာရှိတဲ့ Linux driver ရဲ့ စွမ်းဆောင်ရည်ကို မထည့်သွင်းထားပါဘူး)၊ ဒါပေမယ့် preconditioning လုပ်ငန်းစဉ်ရဲ့ အဆုံးမှာ တခြား devices တွေ နှေးကွေးလာတာနဲ့အမျှ Nytro WarpDrive ဟာ Windows မှာ R4 အောက်မှာ ဒုတိယနေရာမှာ ရပ်တည်ခဲ့ပါတယ်။ ဒါကြောင့် ကျွန်ုပ်တို့ရဲ့ လေးလံတဲ့ 16T/16Q inverted Web Server workload အောက်မှာ ioDrive Duo နဲ့ first-generation WarpDrive နှစ်ခုလုံးထက် သာလွန်သွားခဲ့ပါတယ်။

ကျွန်ုပ်တို့၏ Web Server ကြိုတင်အခြေအနေစမ်းသပ်မှုတွင် Nytro WarpDrive ၏ ပျမ်းမျှနှောင့်နှေးမှုသည် စမ်းသပ်မှုကာလအတွင်း 20.9ms တွင် တသမတ်တည်းရှိနေခဲ့သည်။ ၎င်းသည် ပထမမျိုးဆက် WarpDrive မှ စမ်းသပ်မှု၏ ဒုတိယပိုင်းအထိ 31ms နှင့် နှိုင်းယှဉ်နိုင်သည်။

အတုံ့ပြန်မှုအကောင်းဆုံး PCIe Application Accelerator အရဆိုရင် LSI Nytro WarpDrive ဟာ ကျွန်တော်တို့ရဲ့ Web Server Preconditioning စမ်းသပ်မှုအတွင်းမှာ Windows မှာ စွမ်းဆောင်ရည်အမြင့်ဆုံးနဲ့ ရပ်တည်နိုင်ခဲ့ပါတယ်။ Windows မှာ အမြင့်ဆုံးတုံ့ပြန်မှုအချိန်ကို 120ms အောက်နဲ့ Linux မှာ 500ms အထက်မှာ ထိန်းသိမ်းထားနိုင်ခဲ့ပါတယ်။

ကျွန်ုပ်တို့ရဲ့ Web Server preconditioning စမ်းသပ်မှုမှာ အနည်းငယ်သာ တိုးတက်မှုရှိခဲ့ပေမယ့် LSI Nytro WarpDrive ဟာ အလွန်နည်းပါးတဲ့ latency standard deviation ကြောင့် ထပ်မံအထင်ကြီးစရာ ဖြစ်ခဲ့ပါတယ်။ Windows မှာတော့ ပထမမျိုးဆက် WarpDrive ထက် အသာရဆုံး စွမ်းဆောင်ရည်ကို ပေးစွမ်းနိုင်ခဲ့ပါတယ်။ Linux မှာတော့ သူ့ရဲ့ စွမ်းဆောင်ရည်က သိပ်မကောင်းပေမယ့် အလယ်အလတ်အဆင့်မှာပဲ ရှိနေပါတယ်။

ကြိုတင်ပြင်ဆင်ခြင်းလုပ်ငန်းစဉ်ပြီးနောက် 100% read Web Server workload သို့ ပြန်ပြောင်းသောအခါ OCZ Z-Drive R4 သည် Windows တွင် အမြင့်ဆုံးစွမ်းဆောင်ရည်ကို ပေးဆောင်ခဲ့သော်လည်း ထိရောက်သော queue depth 32 ပြီးနောက်တွင်သာ ပေးဆောင်ခဲ့သည်။ ယင်းမတိုင်မီက Nytro WarpDrive သည် queue depth 4 တွင် thread counts နိမ့်ခြင်းဖြင့် ထိပ်ဆုံးမှ ရပ်တည်နိုင်ခဲ့သည်။ thread/queue depth နိမ့်သောနယ်ပယ်တွင် ဦးဆောင်သူမှာ Fusion ioDrive Duo ဖြစ်နေဆဲဖြစ်သည်။

LSI Nytro WarpDrive သည် ကျွန်ုပ်တို့၏ Web Server workload တွင် အထင်ကြီးလောက်သော low-latency ကို ပေးစွမ်းနိုင်ခဲ့ပြီး 2T/2Q load ရှိသော Linux တွင် 0.267ms အထိ နိမ့်ကျခဲ့သည်။ ၎င်း၏ အမြင့်ဆုံးပျမ်းမျှ response time မှာ 16T/16Q load ရှိသော Linux တွင် 4.5ms ဖြစ်သည်။ အလုံးစုံသော် ၎င်းသည် အလွန်ကောင်းမွန်စွာ စွမ်းဆောင်ရည်ရှိပြီး Windows ရှိ OCZ Z-Drive R4 သာလျှင် မြင့်မားသော queue depths တွင် သာ သာလွန်ခဲ့သည်။

PCIe Application Accelerator အားလုံးသည် ကျွန်ုပ်တို့၏ Web Server စမ်းသပ်မှုတွင် OS၊ controller သို့မဟုတ် NAND အမျိုးအစားအကြား ကွာခြားချက်အနည်းငယ်သာရှိပြီး latency မြင့်မားသော လှိုင်းနှုန်းအချို့ ကြုံတွေ့ခဲ့ရသည်။ အလုံးစုံသော် Linux သည် Nytro WarpDrive နှင့် ပထမမျိုးဆက် WarpDrive နှစ်ခုလုံးအတွက် LSI ၏ အားသာချက်ဖြစ်ပြီး Windows ရှိ စွမ်းဆောင်ရည်နှင့် နှိုင်းယှဉ်ပါက latency လှိုင်းနှုန်း နည်းပါးသည်။

အမြင့်ဆုံး latency စွမ်းဆောင်ရည်ဟာ ပြဿနာရှိပုံရပေမယ့် တကယ်တမ်းအရေးကြီးတာက စမ်းသပ်မှုတစ်လျှောက်လုံးမှာ စက်က ဘယ်လိုလုပ်ဆောင်သလဲဆိုတာပါပဲ။ ဒီနေရာမှာ latency standard deviation က အရေးပါလာပြီး latency တစ်ခုလုံးရဲ့ တသမတ်တည်းရှိမှုကို တိုင်းတာပါတယ်။ Windows မှာရှိတဲ့ LSI Nytro WarpDrive ဟာ Linux စွမ်းဆောင်ရည်နဲ့ နှိုင်းယှဉ်ရင် ပိုပြီးမကြာခဏ မြင့်တက်လေ့ရှိပေမယ့် Windows မှာတော့ မြင့်မားတဲ့ effective queue depths အောက်မှာ standard deviation နိမ့်ကျခဲ့ပါတယ်။

ကောက်ချက်

LSI Nytro WarpDrive WLP4-200 သည် LSI ၏ application acceleration line အတွက် ခိုင်မာသောခြေလှမ်းတစ်ရပ်ကို ကိုယ်စားပြုသည်။ အပ်ဒိတ်လုပ်ထားသော SandForce SF-2500 controller နှင့် ယခုတစ်ကြိမ်အသုံးပြုထားသော firmware တိုးတက်ကောင်းမွန်လာမှုကြောင့် ယခင်မျိုးဆက် SLP-300 ထက် အများစုတွင် ယေဘုယျအားဖြင့် ပိုမိုမြန်ဆန်သည်။ RAID0 တွင် drive ခြောက်ခုမှ လေးခုသို့ လျှော့ချထားသော တည်ဆောက်ပုံအရ ၎င်းသည် ပိုမိုရိုးရှင်းသည်။ LSI သည် Nytro WarpDrive line အတွက် capacity နှင့် NAND option များစွာကိုလည်း ထည့်သွင်းထားပြီး ဝယ်ယူသူများအား SLC တွင် 200GB မှ eMLC တွင် 1.6TB အထိ ရွေးချယ်စရာများစွာကို ပေးဆောင်သည်။ အလုံးစုံပြောရလျှင် ဤကမ်းလှမ်းချက်သည် ပိုမိုပြီးပြည့်စုံပြီး ပြောင်းလွယ်ပြင်လွယ်ရှိမှုကို ပေးဆောင်သောကြောင့် Nytro WarpDrive မိသားစုအတွက် ဈေးကွက်လက်ခံမှုကို တိုးမြှင့်ပေးသင့်သည်။

LSI ရဲ့ အဓိက အားသာချက်ကတော့ သူတို့ရဲ့ ထုတ်ကုန်တွေဟာ hardware နဲ့ OS အဆင့်မှာ တွဲဖက်အသုံးပြုနိုင်မှုပါပဲ။ Windows နဲ့ Linux စမ်းသပ်မှုနှစ်ခုလုံးမှာ Nytro WarpDrive ရဲ့ စွမ်းဆောင်ရည်ကောင်းကို သတိပြုမိခဲ့ပါတယ်။ Windows driversset က ပိုပြီး သပ်ရပ်လှပပြီး အချို့နေရာတွေမှာ စွမ်းဆောင်ရည်မြင့်မားတာကို တွေ့ရပါတယ်။ ioDrive Duo ကလည်း multi-OS support အလွန်ကောင်းမွန်ပေမယ့် OCZ ရဲ့ Z-Drive R4 မှာတော့ Windows နဲ့ Linux drivers တွေကြား စွမ်းဆောင်ရည်ကွာခြားချက် ကြီးမားစွာရှိနေတာကို တွေ့ရပါတယ်။

စီမံခန့်ခွဲမှုနဲ့ပတ်သက်လာရင် LSI က အဓိက operating system အများစုအတွက် ကျန်းမာရေးကို စစ်ဆေးပြီး အခြေခံ command တွေကို ကိုင်တွယ်နိုင်တဲ့ software tool တွေကို ပေးစွမ်းပါတယ်။ သူတို့ရဲ့ CLI WarpDrive Management Utility က အခြေခံကျပေမယ့် drive ကို format ချတာ ဒါမှမဟုတ် over-provisioning လုပ်တဲ့အခါမှာတော့ အလုပ်ပြီးမြောက်ပါတယ်။ software suite က နည်းနည်းတော့ spartan ဖြစ်ပေမယ့် PCIe storage space ထဲက drive management နဲ့ပတ်သက်လာရင် ဘာမှ သိပ်မပေးစွမ်းနိုင်တဲ့အတွက် ဒီ tool တွေကိုတောင် သဘောကျကြပါတယ်။

LSI Nytro WarpDrive ရဲ့ အံ့သြစရာအကောင်းဆုံးအချက်ကတော့ ကျွန်ုပ်တို့ရဲ့ enterprise workloads တွေမှာ သူ့ရဲ့ လုပ်ဆောင်ချက်ပါပဲ။ ကျွန်ုပ်တို့ စမ်းသပ်ခဲ့တဲ့ တခြား PCIe Application Accelerators တွေနဲ့ နှိုင်းယှဉ်ရင် သူ့ရဲ့ burst performance က အထင်ကြီးစရာ အကောင်းဆုံးတော့ မဟုတ်ပေမယ့် ကျွန်ုပ်တို့ စမ်းသပ်ခဲ့တဲ့ ကာလတစ်လျှောက်လုံးမှာ ကျောက်ဆောင်လို ခိုင်မာနေခဲ့တဲ့ အချက်ပါပဲ။ လိုင်းပြင်ပမှာ မြန်နှုန်း ချို့တဲ့နေတာက load အောက်မှာ standard deviation အလွန်နည်းပါးတဲ့ တသမတ်တည်း latency ထက် ပိုပြီး ဖြည့်ဆည်းပေးပါတယ်။ load အောက်မှာ လက်ခံနိုင်တဲ့ response time တွေရဲ့ ကျဉ်းမြောင်းတဲ့ window ကို တောင်းဆိုတဲ့ enterprise application တွေအတွက် max latency နိမ့်ကျမှုနဲ့ standard deviation တွေက လူတွေနဲ့ ကောင်လေးတွေကို ခွဲခြားပေးပါတယ်။ SandForce-based drives တွေမှာ ဒီလို workload testing အမျိုးအစားမှာ မီးမောင်းထိုးပြမထားတဲ့ compression အကျိုးကျေးဇူးတွေ ရှိတယ်ဆိုတာလည်း မှတ်ထားဖို့ အရေးကြီးပါတယ်။ ဒီအကြောင်းကြောင့်နဲ့ enterprise drive performance ရဲ့ ပိုမိုပြည့်စုံတဲ့ profile ကို ပြသဖို့အတွက် StorageReview ဟာ လက်ရှိမှာ enterprise storage products တွေကြားက နောက်ထပ်ကွာခြားချက်တွေကို ပြသနိုင်တဲ့ application-level benchmarks တွေကို တည်ဆောက်နေပါတယ်။

Pros

• ထိန်းချုပ်ကိရိယာအရေအတွက်ကို လျှော့ချနေစဉ် စွမ်းဆောင်ရည် မြှင့်တင်ထားသည်
• လုပ်ငန်းနယ်ပယ်တွင် ဦးဆောင်နေသော host system လိုက်ဖက်ညီမှု
• ယခင်မျိုးဆက် WarpDrive ထက် NAND နှင့် စွမ်းရည်ရွေးချယ်စရာများ ပိုမိုများပြားသည်
• ဖိအားအောက်တွင် မယုံနိုင်လောက်အောင် တသမတ်တည်းရှိသော နှောင့်နှေးမှု

အားနည်းချက်များ

• Drive စီမံခန့်ခွဲမှုအတွက် အကန့်အသတ်ရှိသော software tools များ
• ပေါက်ကွဲမှုစွမ်းဆောင်ရည် အားနည်းခြင်း (အလွန်ကောင်းမွန်သော steady-state စွမ်းဆောင်ရည်)

အောက်ဆုံးလိုင်း

LSI Nytro WarpDrive WLP4-200 သည် ခိုင်မာသော PCIe application accelerator တစ်ခုဖြစ်ပြီး ၎င်း၏ ကောင်းမွန်သော steady state စွမ်းဆောင်ရည်၊ အသုံးပြုမှုအမျိုးမျိုးတွင် တသမတ်တည်းစွမ်းဆောင်ရည်နှင့် host system များနှင့် ထိပ်တန်းလိုက်ဖက်ညီမှုတို့ကြောင့် enterprise customer များကို ဆွဲဆောင်နိုင်မည်ဖြစ်သည်။ LSI သည် hardware ဒီဇိုင်းမှ ချောမွေ့စွာလည်ပတ်မှုအထိ Nytro WarpDrive တွင် ကောင်းမွန်စွာလုပ်ဆောင်ခဲ့ပြီး ကျွန်ုပ်တို့၏ အဓိကညည်းညူမှုများမှာ drive management tools များနှင့်ပတ်သက်၍ဖြစ်သည်။ ၎င်းသည် အခြားအရာများကဲ့သို့ မြန်ဆန်စွာ ထွက်ပေါ်လာခြင်းမရှိသော်လည်း ၎င်းသည် enterprise အတွက် သိပ်အရေးမကြီးပါ။ မည်သည့် operating system တွင်မဆို ကောင်းမွန်စွာလည်ပတ်နေသော drive တစ်ခုအတွက် ပြောစရာရှိပါသည်။

LSI အပလီကေးရှင်း အရှိန်မြှင့်တင်ရေး ထုတ်ကုန်များ

ဤသုံးသပ်ချက်ကို ဆွေးနွေးပါ