NetApp FAS2240-2 ပြန်လည်သုံးသပ်ချက် (FAS2200 စီးရီး)

NetApp FAS2240-2 သည် SAN နှင့် NAS နှစ်မျိုးလုံးအတွက် စုစည်းထားသော storage platform တစ်ခုဖြစ်ပြီး အများဆုံး raw capacity 28.8TB အထိ သိမ်းဆည်းနိုင်သော high-performance storage bay ၂၄ ခု ပါဝင်ပြီး expansion disk shelves များကို အသုံးပြု၍ 509TB အထိ တိုးချဲ့နိုင်ပါသည်။ distributed environment ရှိသော အလတ်စား လုပ်ငန်းများအတွက် အဓိက ဒီဇိုင်းထုတ်ထားသော FAS2240-2 သည် SSD များနှင့် high-performance 10K HDD နှစ်မျိုးလုံးကို ပံ့ပိုးပေးပါသည်။ FAS2240-2 units များတွင် RAM 6GB သို့မဟုတ် 12GB အထိ ခွင့်ပြုသည့် controller တစ်ခု သို့မဟုတ် နှစ်ခု ပါဝင်သည်။ FAS2240-2 တွင် SAS port ၄ ခုအထိ ပါဝင်ပြီး Ethernet နှင့် Fibre Channel ချိတ်ဆက်မှု နှစ်မျိုးလုံးကို ပံ့ပိုးပေးပါသည်။

NetApp ရဲ့ FAS2200 Series မှာ လက်ရှိမှာ တခြား storage array နှစ်ခုပါဝင်ပါတယ်- FAS2240-4 နဲ့ FAS2220 တို့ပါ။ NetApp ရဲ့ နာမည်ပေးစနစ်က တူညီတဲ့ မော်ဒယ်နံပါတ်ရှိတဲ့ ထုတ်ကုန်တွေကို ခွဲခြားဖို့အတွက် hyphen နောက်က နံပါတ်ကို အသုံးပြုထားပြီး၊ FAS2240-2 က 2U စနစ်ဖြစ်ပြီး FAS2240-4 က 4U ဖြစ်ကြောင်း ညွှန်ပြပါတယ် — ဒါပေမယ့် FAS2200 ယူနစ်နှစ်ခုစလုံးမှာ တူညီတဲ့ ဒီဇိုင်းနဲ့ လုပ်ဆောင်ချက်တွေ ရှိပါတယ်။ FAS2240 မှာ 64-bit Intel Jasper Forest processors တွေ ပါဝင်ပါတယ်။

FAS2240-4 သည် 1, 2, 3 သို့မဟုတ် 4TB HDD များကို ပံ့ပိုးပေးခြင်းနှင့် 200GB SSD များအတွက် ရွေးချယ်နိုင်သော ပံ့ပိုးမှုဖြင့် စွမ်းရည်ကို အလေးပေးဖော်ပြထားပြီး FAS2240-2 သည် 450, 600, 900 နှင့် 1.2TB HDD များကို အသုံးပြုပြီး 200GB သို့မဟုတ် 800GB SSD များကို ရွေးချယ်နိုင်သော ပံ့ပိုးမှုဖြင့် စွမ်းရည်ကို အလေးပေးဖော်ပြထားသည်။ FAS2220 သည် drive bay ၁၂ ခုပါရှိသော 2U စနစ်တစ်ခုဖြစ်ပြီး ၎င်း၏ မောင်နှမအရေအတွက်၏ ထက်ဝက်သာရှိသော်လည်း ကြီးမားသော စွမ်းရည်နှင့် စွမ်းဆောင်ရည်ကို အခြေခံသော drive နှစ်မျိုးလုံးကို ပံ့ပိုးပေးသည်။ FAS2240 ယူနစ်နှစ်ခုနှင့်မတူဘဲ NetApp သည် FAS2220 အတွက် Fibre Channel Disk Adapter ကို မပေးဆောင်ပါ။

FAS2200 စီးရီးသည် NetApp ၏ Clustered Data ONTAP 8 operating system ကိုအသုံးပြုထားပြီး ၎င်းသည် စီစဉ်ထားသော downtime အတွင်း data များကို အဆက်မပြတ်ဝင်ရောက်ခွင့်ပေးပြီး 69PB နှင့် controller node ၂၄ ခုအထိ scaling လုပ်ခြင်းကို ပံ့ပိုးပေးသည်။ Clustered Data ONTAP သည် programmable API များနှင့် application integration များမှတစ်ဆင့် native multi-tenant၊ policy-based storage service များအတွက် physical storage ကို Storage VMs (SVM) အစုံအဖြစ် စုစည်းပေးသည်။ NetApp FAS2240-2 တွင် NetApp Flash Accel Server Cache နှင့် Flash Pool Intelligent Caching တို့လည်းပါဝင်ပြီး စွမ်းဆောင်ရည်ကို မြှင့်တင်ရန်နှင့် storage ကုန်ကျစရိတ်များကို လျှော့ချရန် ဒီဇိုင်းထုတ်ထားသော NetApp နည်းပညာများ ပါဝင်သည်။

NetApp FAS2240-2 သတ်မှတ်ချက်များ

• ပုံစံအချက်: 2U ၁၉ လက်မ
• ထိန်းချုပ်ကိရိယာပုံစံအချက်- ၁ ခု သို့မဟုတ် ၂ ခု
• ထိန်းချုပ်ကိရိယာတစ်ခုစီအတွက် ချိတ်ဆက်မှု- ရွေးချယ်နိုင်သော mezzanine I/O ကတ်ကို အသုံးပြု၍ GbE port 4 ခု၊ xb10GbE 2 ခု သို့မဟုတ် 8 Gb FC 2 ခု
• အများဆုံး သိုလှောင်မှုပမာဏ: 509TB
• အတွင်းပိုင်းဒရိုက်များ: ၂၄
• အများဆုံး ဒရိုက်များ (အတွင်းပိုင်း + ပြင်ပ): ၁၄၄
• အများဆုံး Flash Pool: 400GB
• Cluster data ဆက်သွယ်ရေး ချိတ်ဆက်မှု- 10GbE
• Cluster စွမ်းရည်: 1017TB အထိ
• သိုလှောင်မှုပရိုတိုကောများ- FC၊ iSCSI၊ NFS၊ pNFS၊ CIFS/SMB
• ကက်ရှ်မှတ်ဉာဏ်: ထိန်းချုပ်ကိရိယာတစ်ခုလျှင် 6GB မှတ်ဉာဏ်
• LUN များ: ၁၀၂၄ အထိ
• အများဆုံး Host များ- SAN ချိတ်ဆက်ထားသော server ၂၅၆ ခုအထိ (active/active configuration တစ်ခုချင်းစီအတွက်)
• ဆာဗာလည်ပတ်မှုစနစ်များ- Windows 2000၊ Windows Server 2003၊ Windows Server 2008၊ Windows Server 2012၊ Windows XP၊ Linux၊ Oracle Solaris၊ AIX၊ HP-UX၊ Mac OS၊ VMware၊ ESX
• ပံ့ပိုးပေးထားသော Host အရေအတွက်
  • ရှေ့ဆုံး (host) ချိတ်ဆက်မှု port များအဖြစ် configure လုပ်ထားသော controller တစ်ခုလျှင် port ၂ ခုအထိ
  • active-active configuration တစ်ခုလျှင် တိုက်ရိုက်ချိတ်ဆက်ထားသော server ၄ ခုအထိ
  • HA အတွဲတစ်ခုလျှင် SAN ချိတ်ဆက်ထားသော host server ၂၅၆ ခုအထိ-
• ပံ့ပိုးပေးထားသော ဒရိုက်များ
  • SATA II 7200RPM: 1TB၊ 2TB၊ 3TB နှင့် 4TB
  • SAS 10K RPM: 450GB၊ 600GB၊ 900GB နှင့် 1.2TB
  • SAS 15K RPM: 450GB နှင့် 600GB
  • ဖလက်ရှ်ဒရိုက်များ- 200GB SSD နှင့် 800GB SSD
• Backend ချိတ်ဆက်မှု- 6 Gb/s SAS interface (controller တစ်ခုလျှင် SAS port ၂ ခု); ရွေးချယ်နိုင်သော FC-AL စီမံခန့်ခွဲမှု
• Full-duplex 10/100/1000 Base-T Ethernet onboard console၊ ရောဂါရှာဖွေ LED၊ ပြုပြင်ထိန်းသိမ်းမှုစင်တာ၊ SNMP၊ telnet၊ SSH၊ HTTP၊ Web (SSL)၊ host scripting၊ အီးမေးလ်သတိပေးချက်များ
• ယုံကြည်စိတ်ချရမှု- အပိုဆောင်း hot-swappable controllers၊ အအေးပေးပန်ကာများ၊ ပါဝါထောက်ပံ့မှုများ၊ optics နှင့် RJ-45 ports များ
• ရရှိနိုင်မှု- multi-path access mirrored cache၊ battery-backed non-volatile Memory (NVMEM)
• အတိုင်းအတာ (အမြင့် x အနံ x အနက်): ၃.၃၄ x ၁၇.၆ x ၁၉
• အလေးချိန်: 55.4lbs
• လည်ပတ်မှုအပူချိန်: ၃၂°F မှ ၁၄၀°F အထိ
• လည်ပတ်မှုမရှိသော အပူချိန်: -၄၀°F မှ ၁၄၉°F
• ပါဝါသုံးစွဲမှု: 200VAC၊ ပုံမှန် 339W

NetApp FAS2240-2 ဒီဇိုင်းနှင့် တည်ဆောက်မှု

NetApp FAS2240-2 သည် 2U device တစ်ခုဖြစ်ပြီး (hyphen ပြီးနောက် နံပါတ်ဖြင့် ညွှန်ပြသည်) တွင် sliding rail kit ပါရှိပြီး ခေတ်မီ faceplate တစ်ခု ပါဝင်သည်။ faceplate ကို ဖယ်ရှားလိုက်သောအခါ၊ ရှေ့ panel သည် 2.5 လက်မ drive bay ၂၄ ခုကို ဝင်ရောက်အသုံးပြုနိုင်ပြီး ဘယ်ဘက်ခြမ်းတွင် signaling status နှင့် array ID နံပါတ်တွင် LED indicator များပါရှိသည်။ drive bay တစ်ခုစီတွင် drive status နှင့် activity အတွက် LED indicator များပါရှိသည်။

NetApp FAS2240-2 တွင် HDD နှင့် SSD များထည့်သွင်းနိုင်သော ၂.၅ လက်မ drive bay များပါရှိသည်။ အခြား enterprise storage solution များကဲ့သို့ပင် NetApp သည် အရည်အချင်းပြည့်မီသော storage device များကိုသာ ပံ့ပိုးပေးရန်အတွက် proprietary sled နှင့် interposer card ကို အသုံးပြုသည်။

ကျွန်ုပ်တို့ရဲ့ review unit မှာ Processor Control Module (PCM) နှစ်ခုအပြင် redundant power supply နဲ့ fan module တွေပါဝင်တဲ့ High Availability configuration ပါဝင်ပါတယ်။ အောက်မှာမြင်ရတဲ့အတိုင်း NetApp FAS2240-2 ကို storage နှစ်ခုလုံးအတွက် multiple I/O paths တွေ ပေးစွမ်းနိုင်အောင် ဒီဇိုင်းထုတ်ထားပြီး component တစ်ခု ချို့ယွင်းမှုဖြစ်နိုင်ခြေကို ကန့်သတ်ပေးပြီး system stability ဒါမှမဟုတ် performance ကို လျော့ကျစေပါတယ်။ ၎င်းမှာ QSFP+ cabling ကို အသုံးပြုပြီး storage I/O အတွက် external redundant path တစ်ခု ဖန်တီးပေးခြင်းဖြင့် link တစ်ခု ပျောက်ဆုံးသွားပါက system ကို online ဖြစ်အောင် ထိန်းသိမ်းပေးပါသည်။ internal heart-beat network link ကိုလည်း main internal link ပြတ်တောက်သွားပါက ချောမွေ့စွာ လည်ပတ်နိုင်စေရန် အသုံးပြုပါသည်။

Onboard PCM I/O တွင် LAN ချိတ်ဆက်မှုအတွက် Gigabit Ethernet port လေးခုနှင့် internal နှင့် external SAS နှင့် SATA disk များ သို့မဟုတ် SAS tape device များအတွက် 6Gb wide SAS port နှစ်ခု ပါဝင်သည်။ တနည်းအားဖြင့် FAS2240-2 ကို controller များကို သက်ဆိုင်ရာ NetApp disk shelf I/O module များဖြင့် အစားထိုးခြင်းဖြင့် disk shelf အဖြစ် ပြောင်းလဲနိုင်သည်။ အောက်ပါပုံတွင် ကျွန်ုပ်တို့၏ system ကို dual-port 10GbE Twinax add-on card ဖြင့် configure လုပ်ထားပြီး 2/4/8Gb FC သည်လည်း ကိရိယာမပါဘဲ စက္ကန့်ပိုင်းအတွင်း လဲလှယ်နိုင်သော option တစ်ခုဖြစ်သည်။

NetApp သည် Storage Bridge Bay (SBB) လုပ်ငန်းအဖွဲ့၏ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး storage array များအတွက် open standard ကို အသုံးပြုသောကြောင့် မည်သည့် SBB controller မဆို SBB သတ်မှတ်ချက်အပေါ် အခြေခံ၍ မည်သည့် storage enclosure controller slot ဒီဇိုင်းအတွင်းတွင်မဆို တပ်ဆင်၊ ချိတ်ဆက်ပြီး လည်ပတ်နိုင်သည်။ Storage Bridge Bay Standard ကို အကောင်အထည်ဖော်ခြင်းဖြင့် NetApp FAS2240 စက်ပစ္စည်းများသည် နေရာကန့်သတ်ထားသော ဖြန့်ကျက်မှုများကို ခွင့်ပြုရန် ၁၉ လက်မအနက်အတွင်း ထားရှိနိုင်သည်။ NetApp FAS2240 သုံးစွဲသူများအတွက် အနီးစပ်ဆုံးအကျိုးကျေးဇူးမှာ FAS2240 မော်ဒယ်တစ်ခုခုမှ အခြား Storage Bridge Bay platform သို့ အဆင့်မြှင့်တင်မှု ပိုမိုလွယ်ကူလာခြင်းပင်ဖြစ်သည်။

PCM တစ်ခုလျှင် ရွေးချယ်နိုင်သော mezzanine ကတ်တစ်ခုစီကို 10 Gigabit Ethernet သို့မဟုတ် 8/4/2Gbps Fibre Channel (ကတ်တစ်ခုလျှင် port နှစ်ခု) ပံ့ပိုးပေးရန် လက်ကိုင်ကိရိယာများ မလိုအပ်ဘဲ တပ်ဆင်နိုင်သည်။ 10GbE interface များသည် Data ONTAP 8.1 သို့မဟုတ် မြန်နှုန်းမြင့် client ချိတ်ဆက်မှုများအောက်တွင် Cluster-Mode configuration များကို ပံ့ပိုးပေးပြီး 8Gbps Fibre Channel ကတ်ရွေးချယ်မှုကို SAN host များ သို့မဟုတ် Fibre Channel disk storage shelves များနှင့် tape devices များနှင့် ချိတ်ဆက်ရန်အတွက် target သို့မဟုတ် initiator အဖြစ် configure လုပ်နိုင်သည်။

ဗိသုကာနှင့် စီမံခန့်ခွဲမှု

NetApp က System Setup လို့ခေါ်တဲ့ tool တစ်ခုကို ပံ့ပိုးပေးပြီး system ကို ပါဝါနဲ့ networking ပေးတာနဲ့ FAS2240-2 ကို ရှာဖွေပြီး provision လုပ်ပေးနိုင်ပါတယ်။ System Setup က ကျွန်တော်တို့ရဲ့ test environment မှာ FAS2240-2 ကို မြန်မြန်ဆန်ဆန် ရှာတွေ့ခဲ့ပါတယ် (System Setup ဟာ array ကို သူ့ရဲ့ switch ကနေတစ်ဆင့် ချိတ်ဆက်တဲ့အခါ သူ့ရဲ့ကိုယ်ပိုင် DHCP server အဖြစ်လည်း လုပ်ဆောင်နိုင်ပါတယ်)။ setup လုပ်ငန်းစဉ်ကို storage pool ဖန်တီးခြင်း၊ administrative password တွေနဲ့ connection IP address တွေလိုမျိုး အခြေခံ setup လိုအပ်ချက်တွေကို ကိုင်တွယ်ဖြေရှင်းဖို့ ဒီဇိုင်းထုတ်ထားပြီး array ကို သူ့ရဲ့ primary OnCommand System Manager interface ကနေတစ်ဆင့် ချိတ်ဆက်နိုင်တဲ့ အဆင့်ကို ရောက်အောင် လုပ်ဆောင်ပေးပါတယ်။ NetApp က အသေးစိတ် quick setup poster နဲ့ IP address တွေနဲ့ password တွေလိုမျိုး အရေးကြီးတဲ့ အချက်အလက်တွေ ပါဝင်တဲ့ array worksheet တစ်ခုကိုလည်း ပံ့ပိုးပေးပါတယ်။

FAS2240-2 အပါအဝင် FAS2200 စနစ်များသည် NetApp ၏ Data ONTAP storage operating system ကို အသုံးပြုပြီး NetApp နှင့် third-party administrative tools အများအပြားနှင့် ပေါင်းစပ်ထားသည်။ NetApp OnCommand System Manager သည် browser-based management tool တစ်ခုဖြစ်ပြီး၊ workflow-driven interface ဖြင့် SAN နှင့် NAS ပတ်ဝန်းကျင်နှစ်ခုလုံးအတွက် တစ်ဦးချင်း NetApp စနစ်များကို စီမံခန့်ခွဲပေးသည်။ Flash pool management သည် administrator များအား Flash Pool implementations များကို ကြည့်ရှုခြင်း၊ ဖန်တီးခြင်းနှင့် စီမံခန့်ခွဲခြင်းတို့ကို ခွင့်ပြုသည်။ FAS2240-4 ကဲ့သို့ပင်၊ FAS2240-2 သည် administrator များအား disk drives စုစုပေါင်း ၁၄၄ ခုအတွက် နောက်ထပ် external disks ၁၂၀ အထိ စီမံခန့်ခွဲနိုင်စေပါသည်။

Disks interface ကို အပို disk များကို စီမံခန့်ခွဲရန်၊ aggregate အသစ်များ ဖန်တီးရန် သို့မဟုတ် ရှိပြီးသား aggregate ၏ အရွယ်အစားကို တိုးမြှင့်ရန် အသုံးပြုနိုင်ပါသည်။ စာရင်းအောက်ရှိ Properties ဧရိယာသည် ရွေးချယ်ထားသော disk အကြောင်း အသေးစိတ်အချက်အလက်များ၊ သက်ဆိုင်ပါက ပါဝင်သည့် aggregate သို့မဟုတ် volume အကြောင်း အချက်အလက်များ အပါအဝင် ပြသထားသည်။

NetAppp မှ ထည့်သွင်းထားသော FAS2240-2 သိုလှောင်မှု ထိရောက်မှု နည်းပညာများတွင် RAID-DP၊ FlexVol၊ Snapshot copies၊ deduplication၊ SnapMirror နှင့် FlexClone တို့ ပါဝင်သည်။ RAID-DP သည် dual disk drive ပျက်ကွက်မှုများကို အထူးကာကွယ်ပေးသည့် double-parity RAID6 အကောင်အထည်ဖော်မှုတစ်ခုဖြစ်သည်။ Thin provisioning နှင့် deduplication အင်္ဂါရပ်များကို NetApp ၏ FlexVol အကောင်အထည်ဖော်မှုမှတစ်ဆင့် ရရှိနိုင်သလို incremental snapshot copies များလည်း ရရှိနိုင်ပါသည်။ FlexVol ကို physical storage pools များစွာတွင် thin သို့မဟုတ် thick provisioned virtual volumes များကို တိုးချဲ့ခြင်းဖြင့် စွမ်းရည်နှင့် စွမ်းဆောင်ရည်ကို စုစည်းရန် အသုံးပြုနိုင်သည်။ ၎င်းသည် သိမ်းဆည်းရန် လိုအပ်သော underlying hardware အစား dataset များကို သိမ်းဆည်းနေခြင်းအတွက် စိတ်ပူစေခြင်းဖြင့် အုပ်ချုပ်ရေးဆိုင်ရာ ဘက်တွင် အချိန်ကုန်သက်သာစေသည်။ SnapMirror သည် local area၊ wide area နှင့် Fibre Channel networks များပေါ်တွင် data များကို ပုံတူကူးယူသည်။ FlexClone သည် data volumes၊ files နှင့် LUN များ၏ writeable instant copy များကို ဖန်တီးပေးပြီး parent နှင့် clone အကြား ပြောင်းလဲသော data များကိုသာ သိမ်းဆည်းသည်။

System Manager သည် လိုင်စင်ရ NFS ဝန်ဆောင်မှုပါရှိသော စီမံခန့်ခွဲသူများအတွက် VMware အတွက် NFS Datastore တစ်ခုဖန်တီးရာတွင် အထောက်အကူပြုရန် wizard တစ်ခုကို ပေးပါသည်။ wizard သည် စီမံခန့်ခွဲသူအား NFS datastore အတွက် volume တစ်ခုဖန်တီးပြီးနောက် NFS datastore ကိုဝင်ရောက်ကြည့်ရှုနိုင်သော ESX server များကို သတ်မှတ်ခွင့်ပြုသည်။

Multipath High Availability (MP-HA) သည် path failure များကြောင့် failover ဖြစ်ပွားနိုင်ခြေကို လျှော့ချရန်အတွက် dual-controller high availability configuration များအတွက် storage controller များနှင့် disk များအကြား redundant path များကို ပံ့ပိုးပေးပါသည်။ MP-HA သည် SAN နှင့် FAS2240-2 unit အကြား bandwidth ကို နှစ်ဆတိုးစေသည့်အပြင် Data ONTAP operating system အား disk firmware upgrade များကဲ့သို့သော ပြုပြင်ထိန်းသိမ်းမှုလုပ်ဆောင်ချက်များကို အနှောင့်အယှက်ကင်းစွာ လုပ်ဆောင်နိုင်စေပါသည်။

စမ်းသပ်ခြင်းနောက်ခံ

StorageReview Enterprise Test Lab သည် SAN administrator များ အမှန်တကယ် ဖြန့်ကျက်မှုများတွင် ကြုံတွေ့ရသည့်အရာများနှင့် နှိုင်းယှဉ်နိုင်သော ပတ်ဝန်းကျင်တွင် enterprise storage device များ၏ benchmark များကို လုပ်ဆောင်ရန်အတွက် ပြောင်းလွယ်ပြင်လွယ်ရှိသော ဗိသုကာတစ်ခုကို ပံ့ပိုးပေးပါသည်။ Enterprise Test Lab တွင် server အမျိုးမျိုး၊ ကွန်ရက်ချိတ်ဆက်မှု၊ ပါဝါထိန်းညှိမှုနှင့် အခြားကွန်ရက်အခြေခံအဆောက်အအုံများ ပါဝင်ပြီး ကျွန်ုပ်တို့၏ ဝန်ထမ်းများအား ကျွန်ုပ်တို့၏ ပြန်လည်သုံးသပ်ချက်များအတွင်း စွမ်းဆောင်ရည်ကို တိကျစွာ တိုင်းတာနိုင်ရန် လက်တွေ့အခြေအနေများကို ချမှတ်နိုင်စေပါသည်။

IT ကျွမ်းကျင်ပညာရှင်များနှင့် သိုလှောင်မှုရယူခြင်းအတွက် တာဝန်ရှိသူများသည် အောက်ပါရလဒ်များ ရရှိခဲ့သည့် အခြေအနေများကို နားလည်နိုင်စေရန်အတွက် ဓာတ်ခွဲခန်းပတ်ဝန်းကျင်နှင့် ပရိုတိုကောများအကြောင်း ဤအသေးစိတ်အချက်အလက်များကို ပြန်လည်သုံးသပ်ချက်များထဲသို့ ကျွန်ုပ်တို့ ထည့်သွင်းထားပါသည်။ ကျွန်ုပ်တို့စမ်းသပ်နေသော စက်ပစ္စည်းထုတ်လုပ်သူမှ ကျွန်ုပ်တို့၏ သုံးသပ်ချက်များထဲမှ မည်သည့်အရာကိုမျှ ငွေပေးချေခြင်း သို့မဟုတ် ကြီးကြပ်ခြင်း မရှိပါ။ StorageReview Enterprise Test Lab အကြောင်း နောက်ထပ်အသေးစိတ်အချက်အလက်များ နှင့် ၎င်း၏ကွန်ရက်စွမ်းရည်များအကြောင်း အပြည့်အစုံကို ထိုစာမျက်နှာများတွင် ရရှိနိုင်ပါသည်။

NetApp FAS2240-2 ၏ စွမ်းဆောင်ရည်ကို တရားမျှတစွာ အကဲဖြတ်နိုင်ရန်အတွက်၊ Mellanox SX1036 10/40Gb Ethernet Switch နှင့် တွဲဖက်ထားသော dual Lenovo ThinkServer RD630s များကို ဖြန့်ကျက်ခဲ့ပြီး Mellanox ConnectX-3 PCIe adapters များမှတစ်ဆင့် ချိတ်ဆက်ခဲ့သည်။ ဤဖွဲ့စည်းပုံသည် FAS2240-2 သည် SAN မဟုတ်ဘဲ bottleneck ဖြစ်ကြောင်း သေချာစေသည်။ အောက်ဖော်ပြပါ benchmark ရလဒ်များသည် ဓာတ်ခွဲခန်း အခြေခံအဆောက်အအုံ၏ အခြားအစိတ်အပိုင်းများထက် storage ၏ စွမ်းဆောင်ရည် ကန့်သတ်ချက်များထက် ရောက်ရှိသော workloads များကို ထင်ဟပ်စေသည်။

Lenovo ThinkServer RD630

• ၂ x Intel Xeon E5-2620 (2.0GHz, 15MB Cache, 6-cores)
• Intel C602 ချစ်ပ်ဆက်
• မှတ်ဉာဏ် - 16GB (2 x 8GB) 1333Mhz DDR3 မှတ်ပုံတင်ထားသော RDIMM များ
• Windows Server 2008 R2 SP1 64-bit၊ Windows Server 2012 Standard၊ CentOS 6.3 64-bit
• 100GB Micron RealSSD P400e Boot SSD
• LSI 9211-4i SAS/SATA 6.0Gb/s HBA (boot SSDs အတွက်)
• LSI 9207-8i SAS/SATA 6.0Gb/s HBA (SSD သို့မဟုတ် HDD များကို benchmarking လုပ်ရန်အတွက်)
• Intel X540-T2 10GbE PCIe 2.1 အဒက်တာ
• Mellanox ConnectX-3 10GbE PCIe 3.0 အဒက်တာ
• Mellanox ConnectX-3 InfiniBand PCIe 3.0 အဒက်တာ

Mellanox SX1036 10/40Gb Ethernet Switch နှင့် Hardware

• 40GbE port ၃၆ ခု (10GbE port ၆၄ ခုအထိ)
• QSFP splitter ကြိုးများ 40GbE မှ 4x10GbE အထိ
• Mellanox ConnectX-3 EN PCIe 3.0 Twin 10G Ethernet အဒက်တာ

Enterprise Synthetic Workload ခွဲခြမ်းစိတ်ဖြာခြင်း

ကျွန်ုပ်တို့၏ enterprise storage benchmark လုပ်ငန်းစဉ်သည် device တစ်ခုစီကို thread တစ်ခုလျှင် ၁၆ ခု queue ဖြင့် တူညီသော workload ဖြင့် steady-state သို့ ကြိုတင်ပြင်ဆင်ပြီး စမ်းသပ်မည်ဖြစ်ပြီး၊ ထို့နောက် thread/queue depth profile များစွာတွင် သတ်မှတ်ထားသော အကွာအဝေးများတွင် စမ်းသပ်ပြီး အသုံးပြုမှု အနည်းငယ်နှင့် များများအသုံးပြုမှုအောက်တွင် စွမ်းဆောင်ရည်ကို ပြသပါသည်။

ကြိုတင်အခြေအနေပြင်ဆင်ခြင်းနှင့် မူလတည်ငြိမ်အခြေအနေစမ်းသပ်မှုများ-

• ပမာဏ (ဖတ်+ရေး IOPS စုစည်းမှု)
• ပျမ်းမျှ နှောင့်နှေးမှု (ဖတ်+ရေး နှောင့်နှေးမှု အတူတကွ ပျမ်းမျှ)
• အများဆုံး နှောင့်နှေးမှု (အမြင့်ဆုံး ဖတ်ရန် သို့မဟုတ် ရေးရန် နှောင့်နှေးမှု)
• နှောင့်နှေးမှု စံသွေဖည်မှု (ဖတ်+ရေး စံသွေဖည်မှုကို ပျမ်းမျှပေါင်းစပ်ထားသည်)

ကျွန်ုပ်တို့၏ Enterprise Synthetic Workload Analysis တွင် လက်တွေ့လုပ်ငန်းဆောင်တာများအပေါ် အခြေခံသည့် ပရိုဖိုင်လေးခု ပါဝင်သည်။ ဤပရိုဖိုင်များကို ကျွန်ုပ်တို့၏ ယခင်စံနှုန်းများအပြင် Enterprise စနစ်များအတွက် အသုံးများသော အများဆုံး 4k ဖတ်ရှုမှုနှင့် ရေးသားမှုအမြန်နှုန်းနှင့် 8k 70/30 ကဲ့သို့သော ကျယ်ကျယ်ပြန့်ပြန့်ထုတ်ဝေထားသော တန်ဖိုးများနှင့် နှိုင်းယှဉ်ရလွယ်ကူစေရန် တီထွင်ထားပါသည်။

• 4k
  • ၁၀၀% ဖတ်ရန် သို့မဟုတ် ၁၀၀% ရေးသားရန်
  • ၁၀၀% ၁၂၈k
• ၁၂၈K (အစီအစဉ်အတိုင်း)
  • ၁၀၀% ဖတ်ရန် သို့မဟုတ် ၁၀၀% ရေးသားရန်
• ၈၀၀၀၇၀/၃၀
  • ၇၀% ဖတ်၊ ၃၀% ရေးသား
  • ၁၀၀% ၁၂၈k

NetApp သည် FAS2240-2 ကို SAN နှင့် NAS သိုလှောင်မှု နှစ်မျိုးလုံးအဖြစ် အသုံးဝင်စေရန် ရည်ရွယ်ထားသောကြောင့် ကျွန်ုပ်တို့သည် စမ်းသပ်မှုတစ်ခုစီတွင် အခြေအနေနှစ်ခုလုံးတွင် array ၏ စွမ်းဆောင်ရည်ကို စစ်ဆေးသည့် benchmark protocol တစ်ခုကို တည်ဆောက်ခဲ့ပါသည်။ SAN ၏ တစ်စိတ်တစ်ပိုင်းအဖြစ် FAS2240-2 သို့ ချိတ်ဆက်သည့်အခါ ရလဒ်များကို storage ကို ဝင်ရောက်ရန် အသုံးပြုသည့် protocol iSCSI ဖြင့် key တွင် ဖော်ပြထားသည်။ NAS စွမ်းဆောင်ရည်ကို benchmark လုပ်သည့်အခါ ရလဒ်များကို စမ်းသပ်မှုများအတွက် အသုံးပြုသည့် protocol SMB ဖြင့် key တွင် ဖော်ပြထားသည်။

ပထမဆုံး workload မှာ၊ 100% write နဲ့ 100% read activity ရှိတဲ့ random 4k performance ရဲ့ ရှည်လျားတဲ့ sample တစ်ခုကို တိုင်းတာခဲ့ပါတယ်။ random 4K throughput test အတွင်းမှာ iSCSI မှတစ်ဆင့် ချိတ်ဆက်တဲ့အခါ protocol မှာရှိတဲ့ server နှစ်ခုလုံးမှာ အလွန်ဆင်တူတဲ့ရလဒ်တွေကို တွေ့ရှိခဲ့ရပြီး၊ နှစ်ခုကြားမှာ အနည်းငယ်ကွာခြားမှုပိုများပေမယ့် SMB မှတစ်ဆင့် throughput ပိုများပါတယ်။ iSCSI မှတစ်ဆင့် စုစုပေါင်း throughput ဟာ 4,732IOPS read နဲ့ 4,271IOPS write ကို တိုင်းတာခဲ့ပါတယ်။ SMB workloads တွေကို Benchmark လုပ်တဲ့အခါ ပေါင်းစပ် 4,659IOPS read နဲ့ 31,420IOPS write ကို ရရှိခဲ့ပါတယ်။

ပျမ်းမျှ latency သည် 512 သို့မဟုတ် server တစ်ခုလျှင် 256QD ၏ ကြီးမားသော effective queue depth ကို အသုံးပြုသည်။ server နှစ်ခုလုံးမှ ရလဒ်များကို ပေါင်းစပ်ကြည့်လျှင်၊ iSCSI benchmark အတွက် 108.18ms read နှင့် 119.84ms write နှင့် SMB မှတစ်ဆင့် latency 109.92ms read နှင့် 16.32ms write latency များကို ကျွန်ုပ်တို့ တိုင်းတာခဲ့သည်။

အမြင့်ဆုံး latency ရလဒ်များသည် 4k throughput benchmark မှ အဆိုးဆုံးအခြေအနေကို ထင်ဟပ်စေသည်။ iSCSI နှင့် SMB နှစ်မျိုးလုံးအတွက် server နှစ်ခုကြားရလဒ်များသည် အတော်လေး တသမတ်တည်းရှိသည်။ ကျွန်ုပ်တို့၏ iSCSI throughput စမ်းသပ်မှုတွင် NetApp FAS2240-2 သည် 4k စမ်းသပ်မှုတွင် အမြင့်ဆုံး read latency 2033.0ms နှင့် server နှစ်ခုလုံးတွင် ပေါင်းစပ်ထားသော အမြင့်ဆုံး write latency 3093.5ms ကို ရရှိခဲ့သည်။ SMB throughput benchmark ကာလအတွင်း FAS2240-2 သည် အမြင့်ဆုံး read latency 294.5 နှင့် အမြင့်ဆုံး write latency 75.5ms ကို ထိန်းသိမ်းထားနိုင်ခဲ့သည်။

အမြင့်ဆုံး latency အစီရင်ခံစာနှင့် ဆန့်ကျင်ဘက်အနေဖြင့်၊ standard deviation သည် NetApp FAS2240-2 သည် အဆိုးဆုံးအခြေအနေထက် latency စွမ်းဆောင်ရည်ကို မည်မျှတသမတ်တည်း ထိန်းသိမ်းနိုင်ခဲ့သည်ကို ထင်ဟပ်စေသည်။ iSCSI မှတစ်ဆင့် ချိတ်ဆက်ထားသော FAS2240-2 သည် 4k benchmark အတွင်း read လုပ်ဆောင်ချက်များအတွက် 55.02ms နှင့် write လုပ်ဆောင်ချက်များတွင် 97.32ms standard deviation ကို ထိန်းသိမ်းထားနိုင်သည်။ SMB protocol တွင်၊ FAS2240-2 သည် benchmark တစ်လျှောက်တွင် စွမ်းဆောင်ရည်ကို အလွန်တင်းကျပ်စွာ ထိန်းသိမ်းထားနိုင်ပြီး server နှစ်ခုလုံးအတွက် ပျမ်းမျှ standard deviation 5.96ms read နှင့် 8.35ms write ရှိသည်။

နောက် benchmark သည် 100% read နှင့် 100% write operations အတွက် 16T/16Q load ဖြင့် 100% 8K sequential throughput ကို တိုင်းတာသည်။ ဤ protocol တွင် အသုံးပြုသော server နှစ်ခုကြား write performance တွင် အနည်းငယ်သာ ကွဲလွဲမှုဖြင့် NetApp FAS2240-2 သည် iSCSI မှတစ်ဆင့် ဝင်ရောက်သောအခါ ပေါင်းစပ် 121,460IOPS read performance နှင့် 45,047IOPS write performance ကို ရရှိခဲ့သည်။ SMB ချိတ်ဆက်မှုကို ပြောင်းလဲလိုက်သောအခါ FAS2240-2 သည် server နှစ်ခုလုံးအတွက် စွမ်းဆောင်ရည်ကို ပိုမိုတင်းကျပ်စွာ ထိန်းသိမ်းထားသော်လည်း 47,374IOPS read နှင့် 27,282IOPS write ၏ စုစုပေါင်း throughput နည်းပါးခဲ့သည်။

နောက်ထပ် synthetic enterprise benchmark သည် 8k transfer size နှင့် 70% read operations နှင့် 30% write operations များဖြင့် throughput ကို တိုင်းတာသည်။ ဤ benchmark သည် thread ၂ ခုနှင့် 2 ခုမှ 16 ခုအထိ queue တစ်ခုနှင့် 16 ခုအနက် thread နှင့် queue depth ပေါင်းစပ်မှုအမျိုးမျိုးကို အသုံးပြုသည်။ 8k 70% read, 30% write benchmark တွင် iSCSI ချိတ်ဆက်မှု (အနီရောင်များ) မှ SMB ချိတ်ဆက်မှု (အပြာရောင်များ) သို့ ရွှေ့သောအခါ စွမ်းဆောင်ရည် နှစ်ဆခန့် မြင့်တက်လာခြင်းကို ဇယားက ပိုမိုလွယ်ကူစွာ ခွဲခြားသတ်မှတ်နိုင်စေသည်။ thread အရေအတွက် များပြီး queue depth နည်းသော အခြေအနေများတွင် ချိတ်ဆက်မှု protocol နှစ်ခုလုံးအတွက် စွမ်းဆောင်ရည်သည် ခန့်မှန်းခြေအားဖြင့် အားအနည်းဆုံးဖြစ်သည်။

8k 70% read နှင့် 30% write benchmark တွင် ပျမ်းမျှ latency ကိုဇယားဖြင့်ဖော်ပြထားခြင်းက SMB-connected protocol သည် ပျမ်းမျှ latency နည်းပါးစေသော်လည်း queue အနက်မြင့်မားသည့်အခါ ပျမ်းမျှ latency အမြင့်ဆုံးသို့ မျှော်လင့်ထားကြောင်း ပြသနေပြီး server များအကြား အလွန်တသမတ်တည်းရှိသော စွမ်းဆောင်ရည်ကို ညွှန်ပြနေပါသည်။

အမြင့်ဆုံး latency ရလဒ်များသည် ပျမ်းမျှ latency တစ်ခုတည်းက အကြံပြုထားသည်ထက် ပိုမိုရှုပ်ထွေးသော ရုပ်ပုံကို ဖော်ပြသည်။ ပျမ်းမျှ latency ကဲ့သို့ပင်၊ SMB ရလဒ်များသည် ပေါ့ပါးသော ဝန်များအောက်တွင် အကောင်းဆုံး အမြင့်ဆုံး latency စွမ်းဆောင်ရည်ကို ရရှိသော်လည်း၊ benchmark သည် thread အရေအတွက် ၄ သို့ ရောက်ရှိသည်နှင့် ထိုခြားနားချက်သည် queue အနက်များ မြင့်မားလာသောအခါ ပျောက်ကွယ်သွားပါသည်။ iSCSI နှင့် SMB ရလဒ်နှစ်ခုစလုံးသည် benchmark ၏ ကျန်ရှိသောအချိန်အတွက် တစ်စက္ကန့်အထက် အမြင့်ဆုံး latency အနက်များ ရောက်ရှိပြီး ၎င်းသည် protocol ပေါ်တွင် မမူတည်သော ပလက်ဖောင်း၏ အခြေခံကန့်သတ်ချက်ကို ထင်ဟပ်စေသည်။

8k 70/30 benchmark အတွက် latency ရလဒ်များတွင် standard deviation ကို plot လုပ်ခြင်းဖြင့် expectations များနှင့် 4k benchmark ရလဒ်များနှင့် ကိုက်ညီသော ရလဒ်များကို ထုတ်လုပ်ပေးပြီး SMB သည် ပိုမိုတသမတ်တည်း latency များဖြင့် အသာစီးရနေပြီး protocol နှစ်ခုစလုံးသည် ရှည်လျားသော queue များနှင့်အတူ latency ပြောင်းလဲမှု အကြီးမားဆုံးကို ကြုံတွေ့နေရသည်။

ကျွန်ုပ်တို့၏ နောက်ဆုံး benchmark သည် 100% read နှင့် 100% write operations များတွင် 16T/16Q workload ဖြင့် sequential 128k transfer speed ကို တိုင်းတာသည်။ iSCSI မှတစ်ဆင့် ချိတ်ဆက်သောအခါ Server 1 နှင့် Server 2 အကြား read performance တွင် 100,000KB/s နီးပါး ကွာဟချက်ကို ကျွန်ုပ်တို့ သတိပြုမိခဲ့သည်။ 128k protocol ရှိ စုစုပေါင်း iSCSI throughput သည် 1,247,666KB/s read နှင့် 571,454KB/s write သို့ ရောက်ရှိခဲ့သည်။ SMB စမ်းသပ်မှုတွင် စွမ်းဆောင်ရည်မှာ နိမ့်ကျသော်လည်း စုစုပေါင်း 408,305KB/s read နှင့် 236KB/s write ရှိသော server များအကြား ကွာခြားမှု နည်းပါးသည်။

ကောက်ချက်

NetApp သည် FAS2240-2 ကို မျိုးဆက်အဆင့်မြှင့်တင်မှုများအပြင် scale-out အခြေအနေများကို လိုက်လျောညီထွေဖြစ်စေရန် ဒီဇိုင်းထုတ်ထားပါသည်။ SMB သုံးစွဲသူများသည် FAS2240-2 ကို NAS သို့မဟုတ် SAN ဖြေရှင်းချက်ငယ်၏ဗဟိုအဖြစ် စတင်နိုင်ပြီး စွမ်းရည်လိုအပ်ချက်များ တိုးလာသည်နှင့်အမျှ ပြင်ပ disk စင်များဖြင့် တိုးချဲ့နိုင်ပြီး FAS2240-2 သည် ၎င်း၏အသုံးဝင်သောသက်တမ်းကုန်ဆုံးသွားသည်နှင့် controller module များကို လဲလှယ်ခြင်းဖြင့် disk စင်အဖြစ် ပြောင်းလဲနိုင်သည်။ FAS disk array လိုင်းတစ်ခုလုံးကို OnCommand System Manager ဖြင့် စီမံခန့်ခွဲနိုင်သောကြောင့် အခြေခံအဆောက်အအုံ ကြီးထွားလာသည်နှင့်အမျှ သင်ယူမှုကွေးသည် အနည်းငယ်သာရှိသည်။ ထို့အပြင် Windows နှင့် VMware တို့နှင့် ပေါင်းစပ်ခြင်းသည် ဖြန့်ကျက်မှုများကိုလည်း ရိုးရှင်းစေပြီး NetApp စနစ်များကို ရှိပြီးသား IT ပတ်ဝန်းကျင်နှင့် ချောမွေ့စွာ ပေါင်းစပ်ရန် ကူညီပေးသည်။ လုပ်ငန်းကြီးများအတွက် FAS2200 Series သည် remote office သို့မဟုတ် branch office storage ကို စီမံခန့်ခွဲရလွယ်ကူစေသည်။ remote replication ကဲ့သို့သော အင်္ဂါရပ်များကြောင့် branch/remote office အသုံးပြုသူများသည် ၎င်းတို့၏ကိုယ်ပိုင် backup လုပ်ရိုးလုပ်စဉ်များကို စီမံခန့်ခွဲရန် စိတ်ပူစရာမလိုဘဲ key data များကို local access လုပ်နိုင်မည်ဖြစ်သည်။ FAS2200 Series မိသားစုသည် အတော်လေးပြောင်းလွယ်ပြင်လွယ်ရှိပြီး $8,000 အောက် စတင်စျေးနှုန်းရှိသည်။

ပြောင်းလွယ်ပြင်လွယ်ရှိမှုအချက်နှင့် ပတ်သက်၍ FAS2240-2 တွင် မှတ်သားထားသင့်သော hardware feature တစ်ခုမှာ interconnect options များဖြစ်သည်။ ဤအတန်းအစားရှိ array အများအပြားသည် Ethernet နှင့် 10GbE သို့မဟုတ် 8Gb/s Fibre Channel ကို interconnect options များအဖြစ် ပေးဆောင်သည်။ ကျွန်ုပ်တို့သုံးသပ်ခဲ့သော FAS2240-2 ကို dual-port 10GbE Twinax add-on card ဖြင့် configure လုပ်ခဲ့သော်လည်း ဖောက်သည်တစ်ဦးသည် 8Gb/s Fibre Channel mezzanine card ကို အလွယ်တကူ ရွေးချယ်နိုင်သည်။ လိုအပ်ပါက နှစ်ခုကြား ပြောင်းလဲခြင်းသည် ရိုးရှင်းသောအလုပ်တစ်ခုဖြစ်ပြီး မိနစ်အနည်းငယ်သာ ကြာသည်။ ထို့အပြင်၊ ဤသုံးသပ်ချက်တွင် စမ်းသပ်ထားခြင်း မရှိသော်လည်း၊ FAS2200 Series သည် ပိုမိုတောင်းဆိုသော application များနှင့် workloads များအတွက် flash pools လိုအပ်သူများအတွက် flash disks များကို ပံ့ပိုးပေးနိုင်သည်။

ကျွန်ုပ်တို့ရဲ့ စမ်းသပ်မှုပတ်ဝန်းကျင်မှာ FAS2240-2 ကို မြန်မြန်ဆန်ဆန် အွန်လိုင်းတင်ဆောင်နိုင်ခဲ့ပြီး အသစ်စက်စက် box ထဲက အခြေအနေကနေ မိနစ်ပိုင်းအတွင်း LUN တွေနဲ့ shared folder တွေကို ပံ့ပိုးပေးနိုင်ခဲ့ပါတယ်။ ကျွန်ုပ်တို့ရဲ့ benchmark တွေမှာ active/active controller setup ဟာ iSCSI နဲ့ CIFS နှစ်ခုလုံးမှာ ကောင်းမွန်တဲ့ စွမ်းဆောင်ရည်ကို ပေးစွမ်းနိုင်ကြောင်း တွေ့ရှိခဲ့ပြီး CIFS ဟာ controller DRAM ပမာဏထက် သိသိသာသာ ပိုများတဲ့ test sample အရွယ်အစားတွေ ရှိနေရင်တောင် write caching လမ်းကြောင်းကို ခိုင်မာစွာ ပြသခဲ့ပါတယ်။ peak I/O အရ iSCSI ပေါ်က ကျွန်ုပ်တို့ရဲ့ 8K workload မှာ 121k sequential IOPS read အထိ ရယူနိုင်ခဲ့ပြီး iSCSI ပေါ်က random 4K workload နဲ့ 4,700 IOPS read အထိ ကျဆင်းသွားခဲ့ပါတယ်။ FAS2240-2 ရဲ့ peak bandwidth ဟာ iSCSI ပေါ်က 1.2GB/s read နဲ့ 571MB/s write ရှိပြီး CIFS bandwidth ကတော့ 408MB/s read နဲ့ 236MB/s write မှာ နိမ့်ကျခဲ့ပါတယ်။ SSD caching မပါဝင်သော 100% HDD configuration အတွက် အလုံးစုံပြောရလျှင် FAS2240-2 သည် စွမ်းဆောင်ရည်များစွာကို ပြသနိုင်ခဲ့ပြီး storage interface များစွာတွင် အလွန်စွယ်စုံရအဖြစ် ရှိနေခဲ့သည်။

Pros

• ပြင်ပ disk စင်များနှင့် လဲလှယ်နိုင်သော သိုလှောင်မှု မော်ဂျူးများမှတစ်ဆင့် ပြောင်းလွယ်ပြင်လွယ်ရှိသော အဆင့်မြှင့်တင်မှုလမ်းကြောင်းများ
• 10Gb Ethernet နှင့် 8Gb Fibre Channel ပတ်ဝန်းကျင်နှစ်ခုလုံးကို ပံ့ပိုးပေးရန်အတွက် အသုံးပြုသူ အဆင့်မြှင့်တင်နိုင်သော interconnect ရွေးချယ်မှုများစွာ
• iSCSI၊ CIFS နှင့် NFS အပါအဝင် အဓိက interface စံနှုန်းအားလုံးကို ပံ့ပိုးပေးသည်

အားနည်းချက်များ

• မညီမျှသော block နှင့် file စွမ်းဆောင်ရည်

အောက်ဆုံးလိုင်း

NetApp FAS2240-2 သည် ဖြန့်ကျက်ရန်နှင့် စီမံခန့်ခွဲရန် အလွန်ရိုးရှင်းသော စွယ်စုံသုံး စုစည်းထားသော သိုလှောင်မှု array တစ်ခုဖြစ်ပြီး၊ အဖွဲ့အစည်းတစ်ခု၏ ဒေတာလိုအပ်ချက်များနှင့်အတူ ကြီးထွားလာနိုင်သည်။ SMB အတွက် ဗဟိုသိုလှောင်မှု repository အဖြစ် သို့မဟုတ် ပိုကြီးသော လုပ်ငန်းတစ်ခုအတွက် branch/remote office တွင် အိမ်တွင်ပင် အသုံးပြုနိုင်သော FAS2240-2 သည် မြင့်မားသော စတင်စျေးနှုန်းဖြင့် လုပ်ငန်းအင်္ဂါရပ်အပြည့်အစုံကို ပေးဆောင်ပါသည်။

NetApp FAS2200 စီးရီး ထုတ်ကုန်စာမျက်နှာ