Recenze pole Mangstor NX6325 NVMf

by Laboratoř StorageReview Enterprise on August 28, 2016

Sdílené úložné pole Mangstor NX6325 NVMe Over Fabrics (NVMf) nabízí až 21.6 TB flash úložiště v serveru HP DL380 2U. Stejně jako NX6320, který jsme recenzovali začátkem tohoto roku , i NX6325 agreguje disky NVMe z rozšiřujících karet (AIC) od společnosti Mangstor a sdílí je po síti. To umožňuje aplikacím citlivým na latenci využívat všech skvělých výhod úložiště NVMe, aniž by bylo nutné mít AIC uvnitř každého serveru. V kombinaci s přepínačem Mellanox SN2700 100GbE a rozhraním ConnectX4 (Ethernet nebo InfiniBand) má NX6325 působivé možnosti a nabízí uváděný výkon čtení 12 GB/s a zápisu 9 GB/s z jednoho pole.

Úložiště řídí software Mangstor TITAN. První verzi TITANu jsme viděli v modelu NX6320; Mangstor zpřístupnil software všeobecně začátkem tohoto měsíce . TITAN ve své podstatě přináší těsnou integraci mezi NVMe SSD disky a síťovými kartami (NIC) s technologií Remote Direct Memory Access (RDMA) a zároveň efektivně využívá možnosti serveru HPE. TITAN umožňuje IT manažerům dynamicky přidělovat flash paměť lokálně i vzdáleně s centralizovanou správou. Mezi funkce patří také ukládání do mezipaměti úložiště a správa clusterů. TITAN nabízí REST API a nástroje GUI, které IT manažerům umožňují snadno nasazovat a spravovat velké clustery úložišť NVMf.

Mangstor nabízí dvě kapacitní varianty konfigurované pro Ethernet nebo InfiniBand. Kupující si mohou vybrat mezi 10.8TB systémem konfigurovaným se čtyřmi 2.7TB disky nebo 21.6TB systémem se čtyřmi 5.4TB disky. Náš recenzovaný systém je 10.8TB Ethernet konfigurace.

Specifikace Mangstor NX6325

Flash paměťová pole
- Ethernet
  - NX6325R-016TF-2P100GQSF, 10.8 TB (4 × 2.7 TB SSD)
  - NX6325R-032TF-2P100GQSF, 21.6 TB (4 × 5.4 TB SSD)
- InfiniBand
  - NX6325I-016TF-2P100GQSF, 10.8 TB (4 × 2.7 TB SSD)
  - NX6325I-032TF-2P100GQSF, 21.6 TB (4 × 5.4 TB SSD)
Šířka pásma Rd/Wr (GB/s): 12.0 / 9.0
Propustnost Rd/Wr (4K) (IOPS): 3.0 Mb/2.25 Mb/s
Výkon
- Typicky 450 W
- Maximální špičkový výkon 800 W
I/O konektivita
- 2x 100Gb/s QSFP Ethernet
- 2x100Gb/s QSFP InfiniBand
Latence čtení/zápisu: 110uS / 30uS
Atributy zařízení
- Montáž do racku 2U (V x Š x H): 8.73 x 44.55 x 67.94 cm (3.44 x 17.54 x 26.75 palce)
- Napájecí napětí: 100 až 240 V AC, 50/60 Hz – redundantní zdroj napájení 800 W
- Odvod tepla (BTU/hod): 3207 BTU/hod (při 100 V AC), 3071 BTU/hod (při 200 V AC), 3112 BTU/hod (při 240 V AC)
- Maximální zapínací proud: 30 A (doba trvání 10 ms)
- Přibližná hmotnost: 51.5 lb (23.6 kg) plně obsazená
Životní prostředí
- Standardní provozní podpora: 10° až 35°C (50° až 95°F) na hladině moře se snížením výkonu v závislosti na nadmořské výšce o 1.0°C na každých 305 m (1.8°F na každých 1000 stop) nad hladinou moře, maximálně 3050 m (10 000 stop)
- Vlhkost: Neprovozní relativní vlhkost (Rh) 5 až 95 %, maximální teplota mokrého teploměru 38.7 °C (101.7 °F), bez kondenzace
Podpora fabric protokolů: RDMA přes konvergovaný Ethernet (RoCE), InfniBand, iWARP
Podpora klientských OS: RHEL, SLES, CentOS, Ubuntu, Windows, VMware ESXi 6.0 (VMDirectPath)
Provozní správa: CLI, RESTful API, OpenStack Cinder
Záruka na pole a SSD: 5 let na hardware; 90 dní na základní software
Záruka na software: Krytá 1letou, 3letou, 5letou zárukou na služby a podporu Gold nebo Platinum.

Stavět a navrhnout

V dříve recenzovaném poli NX6320 společnost Mangstor využila platformu založenou na Dell R730. Tentokrát u NX6325 používají server HPE ProLiant DL380 Gen9. I když se na první pohled zdá, že se jedná o kombinaci, je tato změna významná pro zákazníky, kteří chtějí nasadit 100Gb Ethernet nebo Infiniband a maximalizovat tak potenciál úložiště. Dell R730 nabízí 7 slotů PCIe 3.0; čtyři s plnou výškou x16 a tři s poloviční výškou x8. HPE DL380 Gen9 má pouze 6 rozšiřujících slotů PCIe 3.0, i když s vhodnou sadou rozšiřujících karet PCIe mohou uživatelé vytvořit konfiguraci se šesti sloty s plnou výškou x16.

Tento rozdíl je významný, protože karty, které Mangstor nabízí, jsou PCIe SSD s plnou výškou a 100GbE síťové karty Mellanox ConnectX-4 mají sloty x16. V konfiguraci Dell by uživatelé museli vyjmout jeden PCIe SSD, aby se do něj vešla 100GbE karta, zatímco v konfiguraci HPE mohou uživatelé systém vybavit 4 PCIe SSD a dvěma 100GbE síťovými kartami současně. Nejde ani tak o argumentaci o to, který server je lepší než druhý, jako spíše o analýzu toho, který server s touto poměrně unikátní kombinací karet funguje lépe. Mangstor zdůrazňuje, že pro zákazníky, kteří chtějí používat 40Gb Ethernet nebo 56Gb Infiniband, poskytují produkty NX6320 i NX6325 ekvivalentní funkce a výkon. Vzhledem k tomu, že v této recenzi testujeme 100Gb Ethernet, je NX6325 tou správnou volbou.

Výkon Sysbench

Každý virtuální počítač Sysbench je nakonfigurován se třemi virtuálními disky (vDisky), jedním pro bootování (~92 GB), jedním s předpřipravenou databází (~447 GB) a třetím pro testovanou databázi (307 GB). Jednotky LUN jsou rovnoměrně rozděleny o 90 % použitelného úložiště (11 TB), aby se adekvátně vešla do databáze (o velikosti 253 GB). Z hlediska systémových zdrojů jsme každý virtuální počítač nakonfigurovali s 16 virtuálními procesory (vCPU), 60 GB paměti DRAM a využili jsme řadič LSI Logic SAS SCSI. Systémy pro generování zátěže jsou servery Dell R730 ; v této recenzi používáme čtyři až osm serverů, přičemž servery se škálují na skupinu 4 virtuálních počítačů.

Specifikace clusteru Dell PowerEdge R730 s 8 uzly

Servery Dell PowerEdge R730 (8x)
CPU: Šestnáct Intel Xeon E5-2690 v3 2.6 GHz (12C/24T)
Paměť: 128 x 16GB DDR4 RDIMM
Mellanox ConnectX-4 LX
VMware ESXi 6.0

Naše předchozí recenze Mangstoru NX6320 využívala karty Mellanox ConnectX-3 a ovladače OFED ESXi 6.0, kde byla každému virtuálnímu počítači přiřazena jedna karta (což omezilo naše škálování na počet dostupných síťových karet). Aktuální verze NX6325 s kartami Mellanox ConnectX-4 LX a nejnovějšími ovladači SRIOV nám umožnila sdílet více virtuálních adaptérů až se 4 virtuálními počítači současně. S jednou kartou přidělenou na server jsme tuto konfiguraci použili k tomu, abychom mohli škálovat až na testování 32 virtuálních počítačů celkem.

Při plném zatížení 32 virtuálních strojů jsme zaznamenali, že každý server dosáhl vyrovnání s využitím CPU zhruba 86 %.

Konfigurace testování Sysbench (na virtuální počítač)

CentOS 6.3 64bitový
Úložná kapacita: 1 TB, z toho 800 GB použito
Percona XtraDB 5.5.30-rel30.1
- Databázové tabulky: 100
- Velikost databáze: 10 000 000
- Vlákna databáze: 32
- Vyrovnávací paměť RAM: 24 GB
Délka testu: 3 hodiny
- 2 hodiny předběžné přípravy 32 vláken
- 1 hodina 32 vláken

V našem testu Sysbench OLTP jsme pole posunuli od malé zátěže 4 virtuálních strojů až po bod úplné saturace s 32 virtuálními stroji. Mangstor NX6325 dosáhl několika působivých rekordů. Za prvé, nabídl nejrychlejší výkon v Sysbenchu bez lokálně připojené flash paměti a ve srovnání s čímkoli jiným, co jsme kdy testovali, zvýšil laťku více než dvojnásobně. NX6325 dosáhl vrcholu 38 673 TPS, zatímco předchozí držitel rekordu pro moderní řešení sdíleného flash úložiště dosáhl „pouhých“ 17 316 TPS.

Pokud jde o latenci, zjistili jsme, že NX6325 si s zátěží poradil velmi dobře a udržel celkovou transakční latenci v rozmezí od 14.3 ms při 4 virtuálních strojích do 26.6 ms při 32 virtuálních strojích. Takže i když se zátěž zvýšila 8krát, latence se ani nezdvojnásobila.

Při pohledu na latenci okrajových signálů s našimi hodnotami 99. percentilu si Mangstor NX6325 v zátěži vedl docela dobře. Hodnoty se s rostoucí celkovou zátěží pomalu zvyšovaly, ale nic dramaticky se nezvýšilo.

Závěr

Sdílené úložné pole Mangstor NX6325 NVMe Over Fabrics (NVMf) je jedním z prvních komerčně dostupných systémů, které umožňují vyjmout velmi rychlé úložiště NVMe z aplikačních serverů a umístit ho do boxu, kde ho může využívat celý cluster serverů. V tomto případě NX6325, který recenzujeme, nabízí až 10.8 TB úložiště NVMe v serveru HPE ProLiant DL380 Gen9, a to přes fabricu sestávající z přepínače Mellanox SN2700 100GbE a adaptérových karet ConnectX4 LX. Konečným výsledkem je balíček, který je naprosto úžasný do té míry, že se jedná o nejrychlejší sdílené úložiště, jaké se kdy dostalo do laboratoře. Abychom byli spravedliví, nelze jej přímo srovnávat s jinými rychlými věcmi, které jsme viděli (jako je tradičnější all-flash SAN), a proto je třeba objasnit několik věcí.

NVMf je z hlediska provedení stále velmi mladý koncept. Mangstor je na této cestě velmi daleko a pro aplikace extrémně citlivé na latenci jsou výsledky fenomenální. Aby toto řešení nahradilo technologii SAN všude, je třeba ještě několik věcí dozrát, ale pro klíčové úlohy je to fantastická volba. Ve srovnání s jinými řešeními NVMf využívá Mangstor stávající Ethernet nebo IB pro fabric, což ho činí kompatibilnějším než některá, která používají přizpůsobený hardware. Je také důležité poznamenat, že způsob, jakým je úložiště v tomto poli prezentováno, nenabízí ochranu před selháním PCIe SSD. Pole je konfigurováno v RAID0 pro maximální výkon a kapacitu. Existují některé aplikace, které si s takovými systémy poradí, ale pro tradiční úlohy je třeba zdůraznit, že toto pole není univerzální.

Při pohledu na výkon v našem testu Sysbench OLTP jsme zaznamenali mimořádná čísla. U 4 virtuálních počítačů byl celkový TPS vyšší než většina polí, nebo než kolik mohou nabídnout lokálně připojené NVMe flash disky. Zvýšením této zátěže zvýšením počtu virtuálních počítačů jsme pozorovali další nárůst celkového výkonu, až do doby, než překonal nejbližší řešení sdíleného flash úložiště více než dvojnásobně. Hlavní nevýhodou našeho prostředí je v současné době podpora ovladačů, která brání jeho použití jako sdíleného datového úložiště VMware. To představuje několik výzev, jako je migrace virtuálních počítačů (vázání na virtuální síťové zařízení) nebo podpora hostujících operačních systémů, která je v současné době zaměřena na Linux. Pro uživatele, kteří dokáží tato omezení obejít, však Mangstor NX6325 otevírá dveře k úrovním výkonu, kterým se může vyrovnat jen málokteré, pokud vůbec nějaké, konkurenční řešení.

Klady