Mellanox SX6036 သည် StorgeReview Enterprise Lab တွင် rack နှင့်ချိတ်ဆက်ထားသော ဒုတိယမြောက် Mellanox managed switch ဖြစ်သည် ။ SX6036 ကို top-of-rack leaf ချိတ်ဆက်မှု၊ cluster တည်ဆောက်ခြင်းနှင့် converged LAN နှင့် SAN traffic သယ်ဆောင်ခြင်းအတွက် ဒီဇိုင်းထုတ်ထားသည်။ integrated InfiniBand Subnet Manager သည် node 648 ခုအထိရှိသော InfiniBand fabric ကို ပံ့ပိုးပေးနိုင်သည်။ lab တွင် 1GbE၊ 10GbE နှင့် 40GbE တို့သည် ဆွဲဆောင်မှုရှိသော interconnects များဖြစ်ကြောင်း ကျွန်ုပ်တို့တွေ့ရှိသော်လည်း၊ network fabric မဟုတ်ဘဲ storage သည် throughput နှင့် latency bottleneck ဖြစ်ကြောင်းသေချာစေရန် power အနည်းငယ်ပိုလိုအပ်သည့်အချိန်များရှိပါသည်။ ဤရည်ရွယ်ချက်အတွက် ကျွန်ုပ်တို့သည် InfiniBand switch နှင့် ဆက်စပ်ပစ္စည်းများကို high end storage arrays များနှင့် မြန်နှုန်းလိုအပ်ချက်တစ်ခုတည်းမဟုတ်ဘဲ စီးပွားရေးလုပ်ငန်းလုပ်ဆောင်ရန်အတွက် မြန်နှုန်းသည် လိုအပ်ချက်တစ်ခုဖြစ်သည့် အခြေအနေများတွင် အသုံးချနေပါသည်။
StorageReview ရဲ့ Cluster-in-a-Box မှာ Romley server သုံးခု၊ Mellanox SX6036 switch နဲ့ ... တို့ ပါဝင်ပါတယ်။ EchoStreams FlacheSAN2
Mellanox ရဲ့ SX6036 switch စနစ်ဟာ ကျွန်ုပ်တို့ရဲ့ ဓာတ်ခွဲခန်းရဲ့ end-to-end Mellanox interconnect solution ရဲ့ အစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး Mellanox SX1036 10/40 Ethernet switch လည်း ပါဝင်ပါတယ်။ SX1036 ဟာ SX6036 နဲ့ ဒီဇိုင်းနဲ့ အပြင်အဆင် အများစုကို မျှဝေထားပါတယ်။ SX1036 လိုပဲ SX6036 ဟာ 1U, 36-port switch တစ်ခုဖြစ်ပါတယ်။ SX6036 ဟာ port တစ်ခုလျှင် full bidirectional bandwidth 56Gb/s အထိ ဒါမှမဟုတ် non-blocking bandwidth စုစုပေါင်း 4.032Tb/s အထိ ပေးစွမ်းနိုင်ပြီး port-to-port latency 170ns ရှိပါတယ်။
Mellanox ရဲ့ FDR InfiniBand နည်းပညာက 64b/66b encoding ကိုအသုံးပြုပြီး အတည်ပြုထားတဲ့ Mellanox ကြိုးတွေနဲ့အသုံးပြုတဲ့အခါ per lane signaling rate ကို 14Gb/s အထိတိုးမြှင့်ပေးပါတယ်။ သတ်မှတ်ထားတဲ့ ConnectX-3 adapter တွေနဲ့အသုံးပြုတဲ့အခါ SX6036 က စံမဟုတ်တဲ့ InfiniBand data rate FDR10 ကိုလည်းထောက်ပံ့ပေးပါတယ်။ FDR10 နဲ့ 4X port ရဲ့ lane တစ်ခုစီမှာ 64b/66b encoding နဲ့ 10.3125Gb/s bit rate ကိုလုပ်ဆောင်ပြီး bandwidth ကို 40Gb/s ဒါမှမဟုတ် QDR ထက် 20% ပိုများစေပါတယ်။
SX6036 အဓိကအင်္ဂါရပ်များ
- 1U switch တွင် FDR (56Gb/s) port ၃၆ ခု
- စုစုပေါင်းပြောင်းလဲနိုင်စွမ်း 4Tb/s
- IBTA 1.21 နှင့် 1.3 နှင့် ကိုက်ညီသည်
- Forward Error Correction (FEC) အတွက် FDR/FDR10 ပံ့ပိုးမှု
- virtual လမ်းကြောင်း ၉ ခု: ဒေတာ ၈ ခု + စီမံခန့်ခွဲမှု ၁ ခု
- ၂၅၆ မှ ၄Kbyte MTU
- ၄ x ၄၈K entry linear forwarding database
လာမည့်အင်္ဂါရပ်များ
Mellanox သည် အနာဂတ် အပ်ဒိတ်များမှတစ်ဆင့် ဖွင့်ပေးမည့် လုပ်ဆောင်ချက်အစုံတစ်ခုကိုလည်း ကြေညာခဲ့သည်။ ဤအပ်ဒိတ်များသည် အောက်ပါတို့ကို အာရုံစိုက်မည်ဖြစ်သည်-
- InfiniBand မှ InfiniBand သို့ လမ်းကြောင်းပြောင်းခြင်း
- switch partition ၈ ခုအထိ support လုပ်နိုင်ခြင်း
- လိုက်လျောညီထွေဖြစ်အောင် လမ်းကြောင်းရှာဖွေခြင်း
- ယာဉ်ကြောပိတ်ဆို့မှု ထိန်းချုပ်ခြင်း
- ဆိပ်ကမ်း Mirroring
ConnectX-3 VPI အဒက်တာ
ကျွန်ုပ်တို့သည် SX6036 ကို Mellanox ၏ ConnectX-3 VPI adapter ကတ်များနှင့် တွဲဖက်အသုံးပြုထားပါသည်။ ဤ ConnectX-3 ကတ်များသည် InfiniBand၊ ethernet နှင့် Data Center Bridging (DCB) fabric ချိတ်ဆက်မှုကို ပံ့ပိုးပေးသောကြောင့် auto-sensing စွမ်းရည်ဖြင့် ပြောင်းလွယ်ပြင်လွယ်ရှိသော interconnect ဖြေရှင်းချက်ကို ပေးစွမ်းနိုင်ပါသည်။ ConnectX-3 ၏ FlexBoot သည် ဆာဗာများကို InfiniBand သို့မဟုတ် LAN မှတစ်ဆင့် remote storage target များမှ boot လုပ်နိုင်စေပါသည်။
ConnectX-3 Virtual Protocol Interconnect adapters များသည် OpenFabrics-based RDMA protocols များကို ပံ့ပိုးပေးပြီး Layer 2 ethernet မှတစ်ဆင့် RDMA ဝန်ဆောင်မှုများကို ပေးဆောင်ရန် IBTA RoCE ကိုအသုံးပြုသည်။
ကျွန်ုပ်တို့၏ end-to-end Mellanox networking configuration ကိုပြီးမြောက်စေရန်အတွက်၊ ကျွန်ုပ်တို့၏ InfiniBand လိုအပ်ချက်များအတွက် ကျွန်ုပ်တို့၏ဓာတ်ခွဲခန်းတွင် Mellanox QSFP cabling solution များကိုအသုံးပြုပါသည်။ 56Gb/s InfiniBand adapter များကို ကျွန်ုပ်တို့၏ SX6036 switch နှင့်ချိတ်ဆက်ရန်အတွက်၊ စက်ပစ္စည်းများကို မည်မျှနီးကပ်စွာစုစည်းထားသည်ပေါ် မူတည်၍ အသုံးပြုရန် 0.5M၊ 1M နှင့် 3M passive QSFP cable များရှိပါသည်။
အထက်တွင်ပြထားသည်မှာ 40GbE သို့မဟုတ် 56Gb/s InfiniBand ပစ္စည်းကိရိယာများကို ချိတ်ဆက်ရန် အသုံးပြုသည့် QSFP (Quad Small Form-factor Pluggable) connector ဖြစ်သည်။
ConnectX-3 VPI အဒက်တာ အဓိကအင်္ဂါရပ်များ
- InfiniBand IBTA သတ်မှတ်ချက် ၁.၂.၁ နှင့် ကိုက်ညီသည်
- I/O ချန်နယ် ၁၆ သန်း
- ၂၅၆ မှ ၄Kbyte MTU၊ ၁Gbyte မက်ဆေ့ချ်များ
- 1μs MPI ping နှောင့်နှေးမှု
- port တစ်ခုလျှင် 56Gb/s InfiniBand သို့မဟုတ် 40 Gigabit Ethernet အထိ
- တိကျသောနာရီကို ထပ်တူပြုခြင်း။
- ဟာ့ဒ်ဝဲအခြေပြု QoS နှင့် ပိတ်ဆို့မှုထိန်းချုပ်မှု
- ဖိုက်ဘာချန်နယ် အဖုံးအကာ (FCoIB သို့မဟုတ် FCoE)
- Ethernet encapsulation (EoIB)
- RoHS-R6
- ဟာ့ဒ်ဝဲအခြေပြု I/O Virtualization
- တစ်ခုတည်းသော အမြစ် IOV
- virtual machine တစ်ခုလျှင် queue များစွာ
- vNIC များအတွက် မြှင့်တင်ထားသော QoS
- VMware NetQueue ပံ့ပိုးမှု
CPU ဖြုတ်ချခြင်းနှင့် အရှိန်မြှင့်ခြင်း
Connect-X တွင် RDMA နှင့် send/receive semantics ကဲ့သို့သော protocol processing နှင့် data movement overhead အတွက် CPU offloads များ ပါရှိသည်။ CORE-Direct သည် data broadcasting နှင့် gathering အပြင် global synchronization communication routines ကဲ့သို့သော application overhead ကို offload လုပ်သည်။ GPU communication acceleration သည် မလိုအပ်သော internal data duplication ကို ဖယ်ရှားပေးပြီး run time ကို လျှော့ချပေးသည်။ TCP/UDP/IP transport ကိုအသုံးပြုသော application များသည် IP transport ၏ CPU overhead ကို လျှော့ချပေးသည့် hardware-based stateless offload engines များမှ အကျိုးကျေးဇူးရရှိကြသည်။
Connect-X VPI အဒက်တာများ-
- MCX353A-QCBT တစ်ခုတည်းသော QDR 40Gb/s သို့မဟုတ် 10GbE
- MCX354A-QCBT Dual QDR 40Gb/s သို့မဟုတ် 10GbE
- MCX353A-FCBT တစ်ခုတည်းသော FDR 56Gb/s သို့မဟုတ် 40GbE
- MCX354A-FCBT Dual FDR 56Gb/s သို့မဟုတ် 40GbE
ဒီဇိုင်းနှင့်တည်ဆောက်ပါ
ဤခလုတ်ကို အနက် ၄၀ စင်တီမီတာမှ ၈၀ စင်တီမီတာအထိရှိသော မည်သည့်စံ ၁၉ လက်မ rack တွင်မဆို တပ်ဆင်နိုင်သည်။ ခလုတ်၏ ပါဝါဘက်ခြမ်းတွင် hot-swap power supply module၊ အပို PSU တပ်ဆင်ထားခြင်းမရှိသည့်အခါ ဗလာအဖုံးနှင့် hot-swap fan tray ပါဝင်သည်။
switch ရဲ့ connector ဘက်မှာ QSFP port ၃၆ ခု၊ system LED မီးလုံးတွေနဲ့ management connection port တွေ ပါဝင်ပါတယ်။
စီမံခန့်ခွဲမှုနှင့် ဆက်စပ်သော interface ငါးခုရှိသည်-
- “MGT” ဟု အညွှန်းတပ်ထားသော 100M/1Gb Ethernet connector ၂ ခု
- ဆော့ဖ်ဝဲ သို့မဟုတ် firmware ကို အပ်ဒိတ်လုပ်ရန် USB port ၁ ခု။
- host PC နှင့် ချိတ်ဆက်ရန် “CONSOLE” ဟု အညွှန်းတပ်ထားသော connector ၁ ခု။
- ရောဂါရှာဖွေခြင်းနှင့် ပြုပြင်ခြင်းအတွက် ပါဝါထောက်ပံ့မှုဘက်ခြမ်းတွင် I2C ငှက်ပျောသီးချိတ်ဆက်ကိရိယာ ၁ ခု
MSX6036 ကို စံအနက် (MSX6036F-1SFR နှင့် MSX6036T-1SFR) သို့မဟုတ် အနက်တိုဒီဇိုင်း (MSX6036F-1BRR နှင့် MSX6036T-1BRR) ဖြင့် ရရှိနိုင်ပါသည်။ Mellanox သည် SX6036 အတွက် ရှည်လျားသောနှင့် တိုတောင်းသော rail kit များကို ပေးဆောင်ပါသည်။ စံနှင့် အတိုခလုတ် နှစ်မျိုးလုံးကို ရှည်လျားသော rail kit ကို အသုံးပြု၍ တပ်ဆင်နိုင်ပြီး အတိုခလုတ်သည် အတိုခလုတ်ဖြင့်သာ အလုပ်လုပ်ပါသည်။
စွမ်းအား
ဒီ switch မှာ 100-240 VAC PSU တွေအတွက် auto-sensing support ပါရှိပါတယ်။ Mellanox ရဲ့ SwitchX QSFP solution အားလုံးလိုပဲ SX6036 ကို active cable တွေအတွက် ဒီဇိုင်းထုတ်ထားပြီး module တစ်ခုလျှင် အများဆုံးပါဝါ 2W ရှိပါတယ်။ ပုံမှန် FDR power consumption က active cable တွေနဲ့ဆိုရင် 231W ဒါမှမဟုတ် passive cable တွေနဲ့ဆိုရင် 126W ဖြစ်ပါတယ်။
SX6036 switch ကို factory-installed PSU တစ်ခုနှင့်အတူ ရရှိနိုင်ပါသည်။ hot-swap အစားထိုးမှုကို ပံ့ပိုးရန်အတွက် redundant PSU တစ်ခု ထည့်သွင်းရန် လိုအပ်ပါသည်။ primary power supply unit (PS1) သည် power side panel ၏ ညာဘက်တွင် တည်ရှိပြီး PS2 သည် ဘယ်ဘက်တွင် တည်ရှိပါသည်။ power supply နှစ်ခု တပ်ဆင်ထားပါက switch လည်ပတ်နေစဉ် PSU တစ်ခုခုကို ထုတ်ယူနိုင်ပါသည်။ PSU တစ်ခုကို ထုတ်ယူရန်အတွက် power cord ကို ဖြုတ်ပြီးနောက် PSU handle ကို အပြင်ဘက်သို့ ဆွဲထုတ်စဉ် latch release ကို တွန်းပါ။ PSU တစ်ခုကို တပ်ဆင်ရန်အတွက် unit ကို အနည်းငယ် ခုခံမှု စတင်ခံစားရသည်အထိ အပေါက်ထဲသို့ လျှောချပြီးနောက် PSU အပြည့်အဝ တပ်ဆင်ပြီးသည်အထိ ဆက်လက်ဖိထားပါ။ PSU ကို မှန်ကန်စွာ တပ်ဆင်ပြီးသည်နှင့် latch သည် နေရာတွင် ကပ်သွားမည်ဖြစ်ပြီး power supply cord ကို တပ်ဆင်နိုင်ပါသည်။
အအေး
SX6036 တွင် hot-swap စွမ်းရည်ပါရှိသော redundant fan unit တစ်ခုပါရှိပြီး လေစီးဆင်းမှု ဦးတည်ချက်နှစ်ခုအတွက် ပုံစံအမျိုးမျိုးဖြင့် ပါရှိသည်။ fan module ကို ထုတ်ယူရန်အတွက် module ကို switch မှ ဆွဲထုတ်စဉ် latches နှစ်ခုလုံးကို တစ်ခုနှင့်တစ်ခု တွန်းထုတ်ရမည်။ switch ကို ပါဝါပေးထားစဉ် fan ကို ဖယ်ရှားပါက fan ကို ဖြုတ်လိုက်သည်နှင့် သက်ဆိုင်ရာ module အတွက် fan status indicator ပိတ်သွားမည်ဖြစ်သည်။
ပန်ကာမော်ဂျူးတစ်ခု တပ်ဆင်ရန်အတွက် အနည်းငယ် ခုခံမှုခံစားရသည်အထိ အပေါက်ထဲသို့ လျှောချပြီးနောက် ၎င်း အပြည့်အဝနေရာယူပြီး ခလုတ်ဖွင့်လိုက်သောအခါ သက်ဆိုင်ရာ ပန်ကာအခြေအနေညွှန်ပြချက်သည် အစိမ်းရောင်ပေါ်လာသည်အထိ ဆက်လက်ဖိထားပါ။
စီမံခန့်ခွဲမှု
SX1036 ကဲ့သို့ပင်၊ SX6036 ကို ပထမဆုံးအကြိမ် configure လုပ်သည့်အခါ remote နှင့် web management function များကို enable လုပ်ရန်အတွက် host PC တွင် terminal emulation software ပါရှိသော harness ကို အသုံးပြု၍ switch ၏ console RJ-45 port သို့ DB9 connection တစ်ခု တည်ဆောက်ရပါမည်။ Mellanox သည် SX6036 ကို manage လုပ်ရန်အတွက် solution နှစ်ခုကို ပေးဆောင်ပါသည်။ MLNX-OS သည် firmware၊ power supply၊ fans၊ ports နှင့် အခြား interface များအပြင် integrated subnet management ကိုပါ စီမံခန့်ခွဲရန် chassis management ကို ပေးဆောင်ပါသည်။ SX6036 ကို scale-out InfiniBand computing environments များကို စီမံခန့်ခွဲရန် Unified Fabric Manager (UFM) နှင့်လည်း ချိတ်ဆက်နိုင်ပါသည်။
MLNX-OS တွင် CLI၊ WebUI၊ SNMP နှင့် chassis management software နှင့် IB management software (OpenSM) တို့ ပါဝင်သည်။ SX6036 InfiniBand Subnet Manager သည် node ၆၄၈ ခုအထိ ပံ့ပိုးပေးသည်။ (Mellanox သည် node ၆၄၈ ခုထက်ပိုသော fabrics များအတွက် Unified Fabric Manager ကို အကြံပြုထားသည်။) InfiniBand Subnet Manager သည် QoS၊ routing၊ partitioning ကဲ့သို့သော network traffic နှင့်သက်ဆိုင်သော configuration များကို fabric devices များသို့ ရှာဖွေပြီး အသုံးချသည်။ subnet တစ်ခုစီသည် switch ကိုယ်တိုင် (switch based) သို့မဟုတ် fabric နှင့်ချိတ်ဆက်ထားသော node တစ်ခု (host based) တွင် လည်ပတ်ရန် subnet manager တစ်ခုလိုအပ်သည်။
ကောက်ချက်
Mellanox SX6036 56Gb InfiniBand Switch သည် StorageReview Enterprise Lab ၏ အဓိကအစိတ်အပိုင်းတစ်ခုဖြစ်ပြီး Mellanox interface card များနှင့် cabling များနှင့် တွဲဖက်အသုံးပြုခြင်းဖြင့် ပြီးပြည့်စုံသော မြန်နှုန်းမြင့် InfiniBand fabric ကို ပေးစွမ်းပါသည်။ 56Gb IB interconnects များ ပေါင်းစပ်ထားသော flash storage array အသစ်များဖြင့် Mellanox networking gear သည် အမြန်ဆုံး storage array များကို မှန်ကန်စွာ ပြန်လည်သုံးသပ်ပြီး အလေးထားရန် လိုအပ်သော backbone ကို ပေးစွမ်းသည်။ interconnects များ အရှိန်အဟုန်ရလာသည်နှင့်အမျှ storage သည် စွမ်းဆောင်ရည် bottleneck အသစ်ဖြစ်သည်။ InfiniBand fabric ကို အလေးထားရန် မျှော်လင့်နေသော array များနှင့် server များ တိုးချဲ့လာခြင်းနှင့်အတူ equation ကို ဟန်ချက်ညီအောင် ကြိုးစားနေသည်ကို စောင့်မျှော်ကြည့်ရှုပါ။
Mellanox SX6036 InfiniBand Switch ထုတ်ကုန်စာမျက်နှာ
အမေဇုံ