Loni jsme publikovali podrobnou sérii recenzí VSAN 6.0 v hybridní konfiguraci. V únoru letošního roku společnost VMware uvedla na trh VSAN 6.2 , který na trh přinesl redukci dat pomocí deduplikace a komprese a také řadu dalších funkcí. Redukce dat je pro VSAN významným krokem vpřed, protože se opírá o masivní nárůst využívání flash paměti, a to z velké části díky klesajícím cenám a vysoce kvalitním možnostem. Pokud je VSAN povolen v konfiguraci all-flash, uživatelé využívající redukci dat mohou efektivně ztrojnásobit (nebo více) svou kapacitu v závislosti na pracovním zatížení, což skutečně přináší hodnotu flash paměti všem, od ROBO až po podniky.
V naší recenzi VSAN jsme využili stejný cluster Dell PowerEdge R730xd, jaký jsme použili v předchozí recenzi hybridního systému. Provedli jsme aktualizace platformy, včetně BIOSu, firmwaru a ESXi, aby byla kompatibilní s VSAN 6.2. Jednou z největších změn je však nahrazení stávajících pevných disků a SSD disků novou all-flash konfigurací, kterou provedla společnost Toshiba. Díky využití některých z nejrychlejších SAS3 SSD disků na trhu se můžeme veškerou naši pozornost soustředit na samotnou síť VSAN, aniž by ji brzdil hardware.
Specifikace serveru Dell PowerEdge R730xd VMware All-Flash VSAN
- Servery Dell PowerEdge R730xd (4 ks)
- CPU: Osm Intel Xeon E5-2697 v3 2.6 GHz (14C/28T)
- Paměť: 64 x 16GB DDR4 RDIMM
- SSD
- Mezipaměť: 16 x 400GB Toshiba PX04 Write-Intensive SAS3
- Kapacita: 80 x 960GB Toshiba PX04 Read-Intensive SAS3
- Síť: 4 x Intel X520 DP 10Gb DA/SFP+, + I350 DP 1Gb Ethernet
- Kapacita úložiště: 69.86 TB
V této recenzi jsme použili disky Toshiba modely Toshiba PX04S . V naší předchozí recenzi jsme zjistili, že modely PX04S byly nejrychlejšími podnikovými SAS disky, které jsme dosud testovali. PX04S byl v době recenze také dvouportovým SAS SSD diskem s nejvyšší kapacitou. Řada PX04S se dodává v několika úrovních odolnosti, od vysoké po nízkou, a také modely se střední a cenově dostupnou odolností. Pro tuto recenzi jsme server Dell PowerEdge R730xd osadili šestnácti disky s kapacitou 400 GB pro náročný zápis (PX04SHB040) a osmdesáti disky s kapacitou 960 GB pro úsporný zápis (PX04SVB096). Disky s náročným zápisem se mohou pochlubit rychlostí až 25 DWPD a disky s cenově dostupnou odolností až 3 DWPD. Pro srovnání, v hybridní konfiguraci se stejnými servery se vrstva mezipaměti skládala ze čtyř SSD disků Toshiba PX02 s kapacitou 800 GB na hostitele, což v konečném důsledku znamenalo dvojnásobek kapacity mezipaměti.
Specifikace disku PX04SHB040 s kapacitou 400 GB a náročnými parametry zápisu:
- Výkon
- Trvalé sekvenční čtení 64KiB: 1 900 MiB/s
- Trvalý sekvenční zápis 64KiB: 850MiB/s
- Trvalé náhodné čtení 4KiB: 270K IOPS
- Trvalý 4KiB náhodný zápis: 125K IOPS
- DWPD: 25
Specifikace cenově dostupného a odolného disku PX04SVB096 s kapacitou 960 GB:
- Výkon
- Trvalé sekvenční čtení 64KiB: 1 900 MiB/s
- Trvalý sekvenční zápis 64KiB: 850MiB/s
- Trvalé náhodné čtení 4KiB: 270K IOPS
- Trvalý 4KiB náhodný zápis: 60K IOPS
- DWPD: 3
Analýza pracovní zátěže aplikací
Pro tuto recenzi jsme znovu naplnili server Dell PowerEdge R730xd VMware VSAN všemi disky SAS3 od Toshiby PX04. První benchmarky zahrnují výkon MySQL OLTP pomocí SysBench a výkon Microsoft SQL Server OLTP se simulovanou pracovní zátěží TPC-C.
Každý virtuální počítač s SQL Serverem je nakonfigurován se dvěma virtuálními disky (vDisky), jedním 100GB pro bootování a jedním 500GB pro databázi a soubory protokolů. Z hlediska systémových prostředků jsme každý virtuální počítač nakonfigurovali s 16 virtuálními procesory (vCPU), 64 GB paměti DRAM a využili jsme řadič LSI Logic SAS SCSI. Tyto testy jsou navrženy tak, aby monitorovaly, jak si aplikace citlivá na latenci vede v clusteru s mírným, ale ne nadměrným, výpočetním a úložným zatížením.
Konfigurace testování SQL Serveru (na virtuální počítač)
- Windows Server 2012 R2
- Úložná stopa: 600 GB přiděleno, 500 GB využito
- SQL Server 2014
- Velikost databáze: škálování 1 500
- Zatížení virtuálních klientů: 15 000
- Vyrovnávací paměť RAM: 48 GB
- Délka testu: 3 hodiny
- 2.5 hodiny předběžné přípravy
- 30minutový vzorek
V testu SQL Server TPC-C na hyperkonvergovaných platformách se zaměřujeme na vyrovnání pracovní zátěže v clusteru v hybridním režimu, režimu all-flash (AF) a režimu all-flash data reduction (AF DR). Verze AF poskytla o něco lepší výkon než hybridní verze, přičemž jednotlivé virtuální počítače běžely od 3 112,4 TPS do 3 130,4 TPS s celkovým skóre 12 472,8 TPS, což je celkově nejvyšší skóre. Konfigurace DR se nacházela na spodní hranici testovacích konfigurací, přičemž jednotlivé virtuální počítače běžely od 2 982,1 TPS do 3 009,6 TPS s celkovým skóre 11 969,1 TPS.
V testu SQL Server TPC-C věnujeme největší pozornost průměrné latenci. Malé rozdíly v transakčním výkonu neukážou celý příběh. V našem testu průměrné latence jsme zjistili, že nejvyšší skóre verze AF, 64 ms, bylo stejné jako nejhorší skóre hybridní verze. AF dosáhla také průměrného skóre 53 ms. Konfigurace DR se opět umístila na spodních příčkách s nejnižší hodnotou 236 ms, nejvyšší hodnotou 278 ms a průměrnou hodnotou 261 ms.
Výkon Sysbench
Každý virtuální počítač Sysbench je nakonfigurován se třemi virtuálními disky: jedním pro bootování (~92 GB), jedním s předpřipravenou databází (~447 GB) a třetím pro testovanou databázi (400 GB). Z hlediska systémových zdrojů jsme každý virtuální počítač nakonfigurovali s 16 virtuálními procesory (vCPU), 64 GB paměti DRAM a využili jsme řadič LSI Logic SAS SCSI.
Konfigurace testování Sysbench (na virtuální počítač)
- CentOS 6.3 64bitový
- Úložná kapacita: 1 TB, z toho 800 GB použito
- Percona XtraDB 5.5.30-rel30.1
- Databázové tabulky: 100
- Velikost databáze: 10 000 000
- Vlákna databáze: 32
- Vyrovnávací paměť RAM: 24 GB
- Délka testu: 12 hodiny
- 6 hodiny předběžné přípravy 32 vláken
- 1 hodina 32 vláken
- 1 hodina 16 vláken
- 1 hodina 8 vláken
- 1 hodina 4 vláken
- 1 hodina 2 vláken
V testu Sysbench OLTP se podíváme na konfiguraci 8VM pro každou z nich. AF mírně překonal hybrid s výkonem 4 273 až 4 259 TPS. Konfigurace DR dosáhla skóre 3 625 TPS.
Při pohledu na průměrnou latenci je trochu překvapivé, že AF nebyl výrazně vyšší než u hybridního modelu, 60.1 ms, respektive 60.3 ms. DR dosáhl mnohem vyššího skóre s latencí 71 ms.
Průměrná latence 99. percentilu opět vykazovala mírný pokles latence u AF oproti hybridu, a to o 126 ms oproti 131 ms. DR měl mnohem vyšší latenci, a to 212 ms.
Analýza výkonu VMmark
Stejně jako u všech našich analýz výkonu aplikací se snažíme ukázat, jak si produkty vedou v živém produkčním prostředí ve srovnání s tvrzeními společnosti o výkonu. Chápeme důležitost vyhodnocení úložiště jako součásti větších systémů, a především to, jak rychle úložiště reaguje při interakci s klíčovými podnikovými aplikacemi. V tomto testu používáme virtualizační benchmark VMmark od společnosti VMware v prostředí s více servery.
VMmark je již ze své podstaty vysoce náročný benchmark s širokou škálou úloh aplikací založených na virtuálních strojích, které zatěžují úložiště, síť a výpočetní aktivitu. Pokud jde o testování výkonu virtualizace, neexistuje téměř žádný lepší benchmark, protože VMmark se zaměřuje na tolik aspektů, včetně úložných I/O operací, CPU a dokonce i síťového výkonu v prostředích VMware.
Zde se podíváme na průlom celkového a aplikačního výkonu VMmark v našich hybridních i all-flash konfiguracích VSAN s redukcí dat.
VSAN, který dokáže zpracovat 18 dlaždic s povolenou kompresí a deduplikací, je dosud nejvýkonnějším úložným systémem s redukcí dat, který jsme testovali. V minulých benchmarkech jsme dosáhli maxima 8 dlaždic s vyhrazeným zařízením pro deduplikaci před all-flashovým polem.
Při pohledu na zdroje CPU na jednom z hostitelů během tohoto běhu 18-dlaždicové All-Flash VSAN se systém pohyboval kolem 80-85 % využití CPU. Takže i když úložiště nemohlo být vytíženo více, clusteru stále zbývaly nějaké zdroje.
Konfigurace testu HCIbench
- 16 VM
- 10 VMDK na virtuální počítač
- 10GB VMDK (1.6TB kapacita)
- 50GB VMDK (8TB kapacita)
- 100GB VMDK (16TB kapacita)
- Inicializace úložiště s úplným zápisem
- 1.5hodinové zkušební intervaly (30 minut předběžné úpravy, 60 minut období odběru vzorků)
Pro testování hybridní a AF DR konfigurace naší sítě VMware VSAN jsme pro naše profily pracovní zátěže nasadili dvě různé konfigurace. Ty zahrnovaly 1.6 TB (plně v mezipaměti pro hybridní konfiguraci), 800 GB (plně v mezipaměti pro AF DR) a 16 TB (rozptyl mimo mezipaměť), abychom ukázali, jak platforma reaguje na růst objemu aktivních dat. Tyto velikosti lze pro každou platformu upravit v závislosti na tom, kolik flash paměti je vyhrazeno pro mezipaměť nebo vrstvení.
Profily pracovní zátěže HCIbench od StorageReview
- 4K Náhodné 100% čtení
- 4K Náhodný 100% zápis
- 8K Náhodné 70% čtení / 30% zápis
- 32K sekvenční čtení 100%
- 32K sekvenční 100% zápis
První test HCIbench se zaměřil na maximální náhodnou propustnost z platformy VMware VSAN s plně náhodným profilem pracovní zátěže 4K. Po plném zahřátí s daty přesunutými do mezipaměti nám hybridní systém nabídl rychlost čtení 888 MB/s a zápis 249 MB/s s kapacitou mezipaměti 1.6 TB. AF DR s kapacitou mezipaměti 800 GB nám nabídl rychlost čtení 1 414 MB/s a zápis 160 MB/s. S datovou sadou až 16 TB (přetékající mimo mezipaměť) nám hybrid nabídl rychlost čtení 26 MB/s a zápis 56 MB/s, zatímco AF DR měl nepřekvapivě lepší výkon 423 MB/s pro čtení a 151 MB/s pro zápis.
Dále se podíváme na špičkové I/O operace ve stejném 4k profilu a zde jsme zaznamenali podobné výsledky. Datová sada o velikosti 1.6 TB v mezipaměti měla u hybridního modelu výsledky 227 342 IOPS pro čtení a 63 868 IOPS pro zápis, zatímco 800GB datová sada pro AF DR v mezipaměti měla výsledky 361 923 IOPS pro čtení a 41 031 IOPS pro zápis. U 16TB datové sady hybridní model zaznamenal 6 747 IOPS pro čtení a 14 404 IOPS pro zápis a AF DR měl 108 365 IOPS pro čtení a 38 778 IOPS pro zápis.
Další metrika se zaměřuje na průměrnou latenci plně náhodného profilu pracovní zátěže 4K. Hybridní datový systém s kapacitou 1.6 TB v mezipaměti měl latenci čtení 1 ms a latenci zápisu 4 ms. 800GB datový systém AF DR měl latenci čtení 0.88 ms a latenci zápisu 8.29 ms. Vzhledem k tomu, že se 16TB datová sada přelévá z mezipaměti, bude zjevně mnohem větší rozdíl ve výsledcích, protože hybrid se bude přelévat na 10K rotující disky, které mají vždy vyšší latenci, oproti AF DR, který zůstane na flash discích. V tomto případě nám hybrid poskytl latenci 47 ms pro čtení a 23 ms pro zápis, zatímco AF DR nám poskytl latenci 1.65 ms pro čtení a 4.66 ms pro zápis.
Náš další test se zaměří na větší 8K datový profil se smíšeným poměrem čtení 70 % a zápisu 30 %. Zde hybridní verze v mezipaměti (s kapacitou 1.6 TB) dosáhla rychlosti 947.9 MB/s. AF DR v mezipaměti (s kapacitou 800 GB) dosáhl výkonu 631.5 MB/s. S využitím větší 16TB datové sady z mezipaměti klesl výkon hybridu na 67 MB/s, zatímco AF DR zaznamenal pokles na 530 MB/s.
Dále se podíváme na výkon I/O u stejné 8k úlohy 70/30. Hybridní 1.6TB systém zaznamenal 121 329 IOPS, zatímco AF DR 80 834 IOPS. Jakmile se 16TB datová sada dostala z mezipaměti, u obou konfigurací došlo k poklesu výkonu, přičemž hybridní systém nyní zaznamenává 8 584 IOPS a AF DR 67 882 IOPS.
Při pohledu na průměrnou latenci 8k 70/30 jsme zaznamenali podobné umístění jako výše. V rámci mezipaměti měl hybrid latenci 2 ms a AF DR 3.94 ms. S velkým objemem dat, který se přeléval z mezipaměti, se hybrid zvýšil na 37 ms, zatímco AF DR se ve skutečnosti snížil na 2.63 ms.
Poslední úloha se přepíná na zaměření na maximální šířku pásma, které se skládá z profilu sekvenčního čtení a zápisu 32K. Výkon hybridního úložiště v mezipaměti vykázal 2 699 MB/s pro čtení a 1 193 MB/s a výkon AF DR v mezipaměti vykázal 1 971 MB/s pro čtení a 1 353 MB/s pro zápis. U větší 16TB datové sady jsme zaznamenali 2 490 MB/s pro čtení a 1 082 MB/s pro zápis u hybridního úložiště a 975 MB/s pro čtení a 495 MB/s pro zápis u AF DR.
Výkon I/O vykazoval podobné výsledky, přičemž hybridní model podával převážně lepší výkon než AF DR. V mezipaměti dosáhl hybridní model výkonu 86 379 IOPS pro čtení a 38 184 IOPS pro zápis, zatímco AF DR dosáhl výkonu 63 068 IOPS pro čtení a 43 302 IOPS pro zápis. S větší datovou sadou mimo mezipaměť jsme zjistili, že hybridní model dosáhl 79 703 IOPS pro čtení a 34 611 IOPS pro zápis, zatímco AF DR dosáhl 31 205 IOPS pro čtení a 15 830 IOPS pro zápis.
S průměrnou latencí nám hybridní čip nabídl 3 ms pro čtení a 8 ms pro zápis v mezipaměti a 4 ms pro čtení a 9 ms pro zápis mimo mezipaměť. AF DR nám na druhou stranu nabídl 5.29 ms pro čtení a 7.46 ms pro zápis v mezipaměti a 5.78 ms a 11.47 ms pro zápis mimo mezipaměť.
Závěr
VMware VSAN 6.2 dává organizacím možnost využívat flash paměť novými a vzrušujícími způsoby, což vede k nárůstu efektivity i výkonu. Mezi hlavní prvky nové verze patří mazací kódování, podpora RAID5, deduplikace a komprese, což vše jednoznačně vede k maximálnímu využití flash paměti z hlediska kapacity. I když se výhody v oblasti snížení objemu dat budou lišit v závislosti na pracovní zátěži a konfiguraci, je rozumné očekávat 3–6násobné zvýšení kapacity. V podstatě to znamená, že relativně cenově dostupný 1TB disk je schopen efektivně poskytnout kapacitu 3–6 TB. Tato samotná výhoda dělá z verze 6.2 hodný upgrade a dává flash paměti skvělé místo k excelenci.
Pokud jde o výkon, all-flash konfigurace potřebuje trochu upřesnění, aby byla správně vysvětlena. VSAN 6.2 neposkytuje exponenciální zisky ve srovnání s hybridní konfigurací, kterou jsme testovali dříve. Existuje pro to několik základních důvodů. Zaprvé, VSAN je jednovláknový na skupinu disků, což omezuje jeho schopnost co nejefektivněji využít všechny flash disky. Jedná se o konstrukční rozhodnutí, protože VMware klade důraz na minimalizaci režie VSAN na úrovni systému; to může být oblast, kterou se VMware v budoucích verzích rozhodne znovu vyvážit. Zadruhé, když povolíme funkce redukce dat, vidíme u all-flash konfigurace nižší výkon než u hybridní. Na první pohled se to může zdát jako problém, ale pro každého, kdo má zkušenosti s redukcí dat, dochází v každém případě, který jsme viděli, k masivnímu snížení výkonu. Mnohokrát jsme u konkurenčních HCI řešení zaznamenali až 80% pokles režie. Tento kontext je důležitý; VSAN all-flash s povolenou redukcí dat si v tomto ohledu ve skutečnosti odvedl velmi dobrou práci a vyrovnal se 18-dlaždicovému skóre VMmark, kterého byla schopna naše starší hybridní konfigurace. Společnost VMware dále uvádí, že většina zákazníků, kteří si kupují all-flash konfigurace, používá funkce pro redukci dat, což činí efektivitu VSAN velmi důležitou.
V současné době je redukce dat nastavením typu „všechno nebo nic“, kdy se vztahuje na celé datové úložiště; VMware to dělá pro maximalizaci efektivity deduplikace. Snížení objemu serverových zdrojů při redukci dat je kompenzováno rozšířením kapacity, což je v tomto případě klíčový prodejní argument. V naší konfiguraci se čtyřmi uzly a 24 disky na server (což je pro VSAN velmi běžné) to znamená, že menší/méně SSD disků lze použít k dosažení stejné nebo vyšší kapacity pevných disků. To je samozřejmě navíc ke všem dalším výhodám, které SSD disky nabízejí, jako je nižší spotřeba energie, snížené nároky na chlazení nebo širší provozní tolerance.
Pro testování jsme provedli řadu aplikačních testů, včetně výkonu MySQL a Microsoft SQL Server OLTP, a také virtualizační benchmark VMmark od VMware a HCIbench. U SQL Serveru dosáhla nejlepších výsledků all-flash verze s celkovým skóre 12 472,8 TPS. All-flash verze (AF) s redukcí dat (AF DR) si také vedla dobře s celkovým skóre 11 969,1 TPS. S latencí SQL Serveru měla AF VSAN nejnižší celkovou latenci s celkovým skóre 53 ms, což je zhruba o 30 % méně než hybridní verze. Není překvapením, že AF DR VSAN měla mnohem vyšší latenci s celkovou latenci 261 ms. V našem testu SysBench je zajímavé poznamenat, že AF si vedl jen o chloupek lépe než hybridní verze (4 273 až 4 259 TPS, škálovaná průměrná latence 60.1 ms až 60.3 ms a latence v nejhorším případě 126 ms až 131 ms). S povolenou redukcí dat zaznamenal AF DR VSAN pokles výkonu, ale stále měl škálovaný počet transakcí za sekundu 3 625, škálovanou průměrnou latenci 71 ms a latenci v nejhorším případě 212 ms.
S povoleným VMmark a redukcí dat dokázal AF DR VSAN zasáhnout 18 dlaždic (předchozí nejlepší systém pro redukci dat zasáhl pouze 8 dlaždic). Díky tomu je AF DR VSAN v našem testu VMmark nejvýkonnějším úložným polem s redukcí dat. Posledním testem, který jsme zkoumali, byl HCIbench, který sice neukazuje maximální možnosti systému, ale poskytuje nám dobrou metriku pro srovnání AF DR VSAN s hybridním VSAN. V našem testu 4k HCIbench překonal AF DR VSAN hybridní verzi jak v testu in-cache, tak v testu spilling-out-of-cache, zejména v testu čtení. AF DR dokázal dosáhnout rychlosti čtení 4k dat až 1 1414 MB/s, 361 923 IOPS a průměrné latence 0.9 ms. Při pohledu na naše testy 8k 70/30 si hybridní systém vedl lépe v mezipaměti a AF DR si vedl dramaticky lépe po uvolnění mezipaměti. V našich 32k sekvenčních testech si hybridní VSAN vedl lépe jak v mezipaměti, tak i mimo ni než VSAN AF DR.
V této recenzi jsme provedli rozsáhlé srovnání mezi naší počáteční hybridní konfigurací VSAN a nasazením založeným výhradně na flash paměti. Hybridní řešení se v počátečním testování obstálo dobře a i dnes stále vykazuje silné stránky. Pokud jsou úrovně mezipaměti v hybridní konfiguraci stejné a veškerá konfigurace flash paměti a pracovní sady zůstanou uvnitř mezipaměti, bude výkon obou relativně podobný. Konfigurace založená výhradně na flash paměti však kromě celkových výhod, které flash paměť nabízí, těží ze všech nových funkcí ve verzi 6.2. Tlak na snižování cen SSD disků v kombinaci se snížením objemu dat může dokonce vést k tomu, že konfigurace založená výhradně na flash paměti bude na TB nákladově efektivnější než hybridní.
Klady
- Nejvýkonnější platforma s redukcí dat, kterou jsme dosud testovali
- VSAN 6.2 přináší sadu nových funkcí, které využívají výhod flash paměti.
- Velmi snadné nastavení; pohodlné pro správu administrátorů virtualizace
Nevýhody
- VSAN odděluje disky pro vrstvy mezipaměti a kapacity; architektura s jednou vrstvou pro flash paměť by mohla být cenná
- Jednovláknové diskové skupiny v rámci VSAN omezují potenciál růstu výkonu.
Závěrem
VMware VSAN 6.2 přidává do platformy řadu funkcí pro efektivitu dat, což umožňuje všem nasazením flash VSAN poskytovat přesvědčivou kombinaci funkcí, výkonu a kapacity a zároveň těžit ze všech periferních výhod, které flash paměť přináší.
Amazon