Mluvili jsme o tom a naznačovali vám to a nyní konečně přinášíme recenzi VMware vSAN s Intel Optane. Toto bude třetí velká recenze vSAN, počínaje vícedílnou recenzí hybridní vSAN 6.0, po níž bude následovat all-flash recenze vSAN 6.2 . V tomto kole místo našeho clusteru Dell PowerEdge R730xd používáme 2U server Supermicro 2029U-TN24R4T+ s 24 pozicemi a vSAN 6.7. Pro úložiště používáme plně NVMe konfiguraci s SSD disky Intel Optane P4800X (375 GB) pro zápisovou vrstvu a SSD disky Intel P4500 (2 TB) pro kapacitní vrstvu.
Pro ty, kteří nejsou s vSAN obeznámeni, jedná se o hyperkonvergovanou infrastrukturu VMware optimalizovanou pro vSphere, která se zaměřuje na úložiště. Jinými slovy, vSAN je krokem na cestě ke softwarově definovaným datovým centrům, jehož cílem je zjednodušit úložiště a jeho správu a zároveň zajistit lepší výkon. vSAN se obvykle prodává prostřednictvím certifikačního programu známého jako VMware vSAN ReadyNodes, což je kombinace certifikovaného hardwaru a softwaru VMware. Většina hlavních dodavatelů serverů nabízí konfigurace ReadyNode a někteří také nabízejí vSAN jako zařízení.
Podobná myšlenka jako ReadyNode je i řešení Intel Select Solutions. Intel Select Solutions jsou ověřené hardwarové a softwarové balíčky, které splňují požadavky stanovené společností Intel. Řešení dodávaná na trh hlavními dodavateli serverů musí být schopna replikovat nebo překonat benchmarkový výkon stanovený společností Intel a musí mít pro zákazníky podrobné návody k nasazení. Nastavení, které používáme pro tuto recenzi, spadá do této kategorie, konkrétně se jedná o řešení Intel Select Solution pro VMware vSAN. Jak název napovídá, toto řešení je speciálně navrženo pro prostředí VMware.
Řešení Intel Select pro VMware vSAN se dodává ve dvou konfiguracích: „Base“ a „Plus“. Naše konfigurace se nachází někde uprostřed mezi těmito konfiguracemi; v podstatě se jedná o základní konfiguraci s upgradovanými procesory. Díky diskům Optane SSD pro zápisovou vrstvu jsou naše systémy navrženy tak, aby splňovaly požadavky na latenci kritických podnikových aplikací.
Specifikace Supermicro 2029U-TN24R4T+:
- Servery Supermicro 2029U-TN24R4T+ (x4)
- CPU: 2x procesor Intel Xeon Gold 6152, 2.10 GHz, 22 jader
- Paměť: 384 GB RAM (12 x 32 GB 2 666 MHz DDR4 DIMM)
- Skupiny disků vSAN, 2x na uzel:
- Úroveň mezipaměti vSAN: 2 x 375GB Intel Optane SSD DC P4800X Series NVMe SSD
- Úroveň kapacity vSAN: 4 x 2TB SSD disky Intel DC řady P4500 NVMe
- Sítě:
- Konvergovaný síťový adaptér Intel Ethernet X710 10/40 GbE (vyhrazený link pro vSAN, vMotion/VM provoz/správu rozdělený do vlastní VLAN).
Paměť Intel Optane P4800X 375 GB
- Výkon
- 4KB náhodné, hloubka fronty 16, R/W: až 550/500K IOPS
- 4KB Náhodné, Hloubka fronty 16, Smíšené 70/30 R/W: až 500K IOPS
- DWPD: 30
- Výkon
- Sekvenční čtení: 3200 MB/s
- Sekvenční zápis: 1050 MB/s
- Náhodné čtení 4K: 490 000 IOPS
- Náhodný zápis 4K: 38 000 IOPS
- DWPD 0.75 náhodné; 4.62 sekvenční
Analýza pracovní zátěže aplikací
První benchmarky zahrnují výkon MySQL OLTP pomocí SysBench a výkon Microsoft SQL Server OLTP se simulovanou pracovní zátěží TPC-C.
Každý virtuální počítač s SQL Serverem je nakonfigurován se dvěma virtuálními disky (vDisky), jedním 100GB pro bootování a jedním 500GB pro databázi a soubory protokolů. Z hlediska systémových prostředků jsme každý virtuální počítač nakonfigurovali s 16 virtuálními procesory (vCPU), 64 GB paměti DRAM a využili jsme řadič LSI Logic SAS SCSI. Tyto testy jsou navrženy tak, aby monitorovaly, jak si aplikace citlivá na latenci vede v clusteru s mírným, ale ne nadměrným, výpočetním a úložným zatížením.
Konfigurace testování SQL Serveru (na virtuální počítač)
- Windows Server 2012 R2
- Úložná stopa: 600 GB přiděleno, 500 GB využito
- SQL Server 2014
- Velikost databáze: škálování 1 500
- Zatížení virtuálních klientů: 15 000
- Vyrovnávací paměť RAM: 48 GB
- Délka testu: 3 hodiny
- 2.5 hodiny předběžné přípravy
- 30minutový vzorek
V testu SQL Server TPC-C na hyperkonvergovaných platformách jsme se podívali na vyrovnání pracovní zátěže v clusteru v hybridním režimu, režimu all-flash (AF) a režimu all-flash data reduction (AF DR). Režim AF pro Optane si, jak se dalo očekávat, vedl jen o něco lépe s celkovým skóre 12 605 TPS, přičemž jednotlivé virtuální počítače se pohybovaly v rozmezí od 3 148,56 TPS do 3 152,66 TPS. To je celkově o něco lépe než verze vSAN bez Optane, která dosáhla celkového skóre 12 472 TPS. Se zapnutým DR jsme viděli, že Optane dosáhl celkového skóre 12 604 TPS (jen o jedno TPS méně než s vypnutým DR), přičemž jednotlivé virtuální počítače se pohybovaly v rozmezí od 3 148,7 TPS do 3 153,5 TPS. To byl docela velký skok oproti verzi bez Optane s celkovým skóre DR 11 969 TPS. Za zmínku stojí, že procesory Gold jsou pravděpodobně limitujícím faktorem a u procesorů Platinum je zde větší výhoda.
V testu SQL Server TPC-C věnujeme největší pozornost průměrné latenci. Malé rozdíly v transakčním výkonu neukážou celý příběh. V našem testu průměrné latence dosáhl AF Optane celkové skóre pouhých 16.5 ms, přičemž jednotlivé virtuální počítače měly latenci v rozmezí od 14 ms do 21 ms. S DR na verzi Optane se souhrnná latence zvýšila pouze na 17 ms, přičemž latence jednotlivých virtuálních počítačů se zvýšila z 13 ms na 21 ms. To je velké zlepšení oproti virtuální síti vSAN bez Optane s celkovým skóre 52.5 ms bez DR a 261 ms se zapnutým DR.
Výkon Sysbench
Každý virtuální počítač Sysbench je nakonfigurován se třemi virtuálními disky: jedním pro bootování (~92 GB), jedním s předpřipravenou databází (~447 GB) a třetím pro testovanou databázi (400 GB). Z hlediska systémových zdrojů jsme každý virtuální počítač nakonfigurovali s 16 virtuálními procesory (vCPU), 64 GB paměti DRAM a využili jsme řadič LSI Logic SAS SCSI.
Konfigurace testování Sysbench (na virtuální počítač)
- CentOS 6.3 64bitový
- Úložná kapacita: 1 TB, z toho 800 GB použito
- Percona XtraDB 5.5.30-rel30.1
- Databázové tabulky: 100
- Velikost databáze: 10 000 000
- Vlákna databáze: 32
- Vyrovnávací paměť RAM: 24 GB
- Délka testu: 12 hodiny
- 6 hodiny předběžné přípravy 32 vláken
- 1 hodina 32 vláken
- 1 hodina 16 vláken
- 1 hodina 8 vláken
- 1 hodina 4 vláken
- 1 hodina 2 vláken
U Sysbench OLTP se podíváme na konfiguraci 8VM pro každý z nich. Optane AF dosáhl celkového skóre 10 699 TPS, což je více než dvojnásobek oproti verzi bez Optane, která dosáhla 4 273 TPS. Se zapnutým DR dosáhl Optane 8 668 TPS ve srovnání s verzí bez Optane s DR 3 625 TPS.
Co se týče průměrné latence v Sysbench, vSAN založená na Optane skutečně zazářila s celkovými skóre 23.95 ms a 29.62 ms se zapnutým DR. V porovnání s 60.05 ms a 71.05 ms se zapnutým DR u bez Optane. V obou případech měla Optane latenci méně než poloviční.
Průměrná latence 99. percentilu opět ukázala, že vSAN založená na Optane je dramaticky rychlejší s celkovými skóre 42.9 ms a 55.63 ms se zapnutým DR ve srovnání se 126.02 ms u bez Optane a 212.42 ms se zapnutým DR.
Analýza pracovní zátěže VDBench
Pokud jde o benchmarking úložných polí, testování aplikací je nejlepší a syntetické testování je na druhém místě. I když syntetické testy nepředstavují dokonalou reprezentaci skutečných pracovních zátěží, pomáhají stanovit základní parametry úložných zařízení s faktorem opakovatelnosti, který usnadňuje porovnávání konkurenčních řešení. Tyto pracovní zátěže nabízejí řadu různých testovacích profilů, od testů „čtyř rohů“, běžných testů velikosti přenosu databáze až po zachycení tras z různých prostředí VDI. Všechny tyto testy využívají společný generátor pracovních zátěží vdBench se skriptovacím enginem pro automatizaci a zachycení výsledků na velkém clusteru výpočetního testování. To nám umožňuje opakovat stejné pracovní zátěže napříč širokou škálou úložných zařízení, včetně flash polí a jednotlivých úložných zařízení.
Profily:
- Náhodné čtení 4K: 100% čtení, 128 vláken, rychlost čtení 0–120 %
- Náhodný zápis 4K: 100% zápis, 64 vláken, rychlost zápisu 0–120 %
- 64K sekvenční čtení: 100% čtení, 16 vláken, rychlost čtení 0–120 %
- 64K sekvenční zápis: 100% zápis, 8 vláken, rychlost zápisu 0–120 %
- Syntetická databáze: SQL a Oracle
- Trasování úplného klonu VDI a propojených klonů
V testu VDBench se budeme zabývat pouze verzí vSAN od Optane Supermicro a budeme se zabývat buď zapnutým (dále jen DR), nebo vypnutým (dále jen Raw). V našem prvním testu špičkového náhodného čtení 4K měl Raw latenci submilisekundovou až do zhruba 440 tisíc IOPS a dosáhl vrcholu 521 599 IOPS s latencí 4.65 ms. DR začal těsně pod 1 ms, než překročil hranici a dosáhl vrcholu 406 322 IOPS s latencí 7.32 ms.
S náhodným zápisem 4K se Raw pohyboval kolem hranice 1 ms, ale pod ní zůstal až do zhruba 150 K IOPS, kde dosáhl vrcholu 202 081 IOPS s latencí 8.4 ms. DR se dostal na zhruba 114 K IOPS s latencí submilisekund a dosáhl vrcholu 183 947 IOPS s latencí 1.43 ms, než prudce poklesl výkon a prudce vzrostla latence.
Dále se podíváme na sekvenční úlohy s 64K. Pro čtení měl Raw výkon s latencí pod milisekundu až do přibližně 54K IOPS neboli 3.5 GB/s a dosáhl vrcholu 85 319 IOPS neboli 5.33 GB/s s latencí 4.69 ms. DR začínal nad 1 ms a dosáhl vrcholu 73 583 IOPS neboli 4.6 GB/s s latencí 4.23 ms.
Při rychlosti 64 tisíc zápisů se Raw podařilo dosáhnout pouze přibližně 12 tisíc IOPS, než překročil hranici 1 ms, a poté dosáhl vrcholu 40 869 IOPS neboli 2.55 GB/s s latencí 5.58 ms. DR sice po celou dobu dosahoval latence pod milisekundu, ale vrcholu dosáhl pouhých 7 303 IOPS neboli 456 MB/s s latencí 623 μs.
Co se týče našich SQL úloh, Raw měl latenci submilisekundovou až do přibližně 330 000 IOPS a dosáhl vrcholu 385 159 IOPS s latencí 2.34 ms. DR se udržel nad 1 ms prakticky po celou dobu s maximální hodnotou 321 504 IOPS s latencí 3.02 ms.
V SQL 90-10 dosáhl Raw přibližně 300 000 IOPS, než překročil hranici 1 ms a dosáhl vrcholu 363 550 IOPS s latencí 2.52 ms. DR dosáhl vrcholu 299 132 IOPS s latencí 3.26 ms.
V našem testu SQL 80-20 dosáhl Raw více než 277 tisíc IOPS s dobou pod 1 ms a maxima 332 949 IOPS s latencí 2.79 ms. DR dosáhl maxima 285 010 IOPS s latencí 3.42 ms.
Další na řadě jsou naše úlohy Oracle. Raw měl latenci submilisekundovou až do přibližně 262 tisíc IOPS a dosáhl vrcholu 323 706 IOPS s latencí 3.27 ms. DR dosáhl vrcholu 211 993 IOPS s latencí 2.07 ms, než opět došlo k poklesu výkonu a prudkému nárůstu latence.
V systému Oracle 90-10 dosahoval Raw latence submilisekund až do přibližně 315 tisíc IOPS a vrcholu dosáhl 354 590 IOPS s latencí 1.67 ms. DR dosáhl vrcholu 279 356 IOPS s latencí 2.24 ms.
V testu Oracle 80-20 běžel Raw pod 1 ms až do zhruba 273 tisíc IOPS a dosáhl vrcholu 322 616 IOPS s latencí 1.85 ms. DR dosáhl vrcholu 263 425 IOPS a latence 2.36 ms.
Dále jsme přešli k našemu testu klonů VDI, Full and Linked. Pro VDI Full Clone Boot dosáhl Raw latence submilisekund až do přibližně 240 000 IOPS, poté dosáhl vrcholu 293 335 IOPS a latence 3.3 ms. DR dosáhl vrcholu 181 527 IOPS a latence 5.31 ms, než došlo k poklesu.
Počáteční přihlášení do VDI FC mělo rychlost Raw spouštění okolo 1 ms a rychle ji překonalo, až dosáhlo vrcholu 153 513 IOPS s latencí 5.6 ms, než došlo k mírnému poklesu. DR dosáhlo vrcholu dříve s přibližně 68 000 IOPS a latencí 5.3 ms, než došlo k poklesu výkonu a prudkému nárůstu latence.
S VDI FC Monday Login měl Raw latenci submilisekundovou až do přibližně 58 tisíc IOPS a poté dosáhl vrcholu 152 660 IOPS s latencí 3.14 ms. DR měl lepší špičkovou latenci (1.64 ms), ale vrcholu dosáhl pouze při výkonu 64 201 IOPS.
U VDI LC Boot měla Raw latenci submilisekundovou až do přibližně 170 000 IOPS a dosáhla vrcholu 209 676 IOPS s latencí 2.21 ms. U DR dosáhla vrcholu 119 036 IOPS a latence 3.99 ms.
V režimu VDI LC Initial Login se Raw udržel pod 1 ms až do 29 tisíc IOPS a dosáhl vrcholu 92 951 IOPS s latencí 2.62 ms. U DR dosáhl vrcholu necelých 64 tisíc IOPS s latencí zhruba 2.3 ms, než došlo k poklesu.
Nakonec, při pohledu na VDI LC Monday Login, Raw dosáhl přibližně 35 000 IOPS, než překonal hranici 1 ms a dosáhl vrcholu 101 997 IOPS s latencí 4.65 ms. S DR byl vrchol přibližně 47 000 IOPS s latencí 1.82 ms, než výkon klesl.
Závěr
Hyperkonvergované úložné řešení od společnosti VMware se dodává v mnoha podobách a formách; tato konkrétní iterace využívá pro výpočetní účely čtyři servery Supermicro 2029U-TN24R4T+. Pro úložiště tato verze vSAN využívá jak Intel Optane v podobě SSD disků Intel Optane P4800X, tak i NVME úložiště v podobě SSD disků Intel P4500. Tato konkrétní sestava je součástí nových řešení Select Solutions od společnosti Intel, konkrétně Intel Select Solutions pro VMware vSAN. Lze ji považovat za vSAN ReadyNode, který je certifikován společnostmi VMware i Intel, aby dosahoval potřebných výkonnostních metrik.
Pokud jde o výkon, v naší analýze pracovní zátěže aplikací (Application Workload Analysis) jsme porovnali verzi vSAN s Optane a naši dříve testovanou all-flash verzí vSAN na zařízeních Dell/Toshiba. Pro SQL Sever dosáhla konfigurace Optane téměř shodných skóre se zapnutou i vypnutou redukcí dat (DR), celkové skóre 12 605 TPS bez DR a 12 604 TPS s DR. To představuje poměrně velký skok oproti all-flash verzi bez Optane se zapnutým DR (11 969 TPS). Pokud jde o latenci, verze s Optane vykázala drastické zlepšení s celkovým skóre pouhých 16.5 ms bez DR a pouhých 17 ms se zapnutým DR, což je méně než polovina latence all-flash verze SAS na vSAN 6.2. V Sysbench měla verze vSAN s Optane více než dvojnásobek TPS než all-flash verze s celkovým skóre 10 699 TPS Raw a 8 668 TPS se zapnutým DR. Tento trend pokračuje s latencí a latencí v nejhorším případě, v obou případech je méně než poloviční, přičemž souhrnné skóre je 24 ms a 30 ms s DR pro průměr a 60 ms a 71 ms s DR pro nejhorší případ.
V našem testu VDBench zaznamenala Optane vSAN několik vrcholů v oblasti výkonu v režimu Raw, včetně 522 tisíc IOPS při čtení 4K dat, 202 tisíc IOPS při zápisu 4K dat, 5.33 GB/s při čtení 64K dat a 2.55 GB/s při zápisu 64K dat. Se zapnutým DR jsme zaznamenali, že vSAN dosáhla 406 tisíc IOPS při čtení 4K dat, 184 tisíc IOPS při zápisu (následovalo prudké snížení), 4.6 GB/s při čtení 64K dat a pouze 456 MB/s při zápisu 64K dat, ale s latencí pod 1 ms. vSAN pokračovala ve silném výkonu v SQL s dosažením 385 tisíc IOPS, 364 tisíc IOPS v 90. pauze/10 a 333 tisíc IOPS v 80. pauze/20 a DR dosáhl 322 tisíc IOPS, 299 tisíc IOPS v 90. pauze/10 a 285 tisíc IOPS v 80. pauze/20. V Oracle dosáhl Raw poměrně silný výkon s 324 tisíci IOPS, 355 tisíci IOPS v 90. pauze/10 a 323 tisíci IOPS v 80. pauze/20. DR byl v Oracle také silný s vrcholy 212 tisíc IOPS (před poklesem), 279 tisíc IOPS v 90. pauze/10 a 263 tisíc IOPS v 80. pauze/20.
Zahrnutí SSD disků Optane má jednoznačně velký vliv na výkon zápisu pro vSAN. A to i za předpokladu, že disky mají pouze 375 GB a vSAN podporuje pro disky na úrovni zápisu kapacitu 600 GB. Je tedy možné, že bychom mohli dosáhnout o něco vyššího výkonu zápisu s většími disky. Tyto konfigurace Intelu mají také značný potenciál růstu, protože jsou kvalifikovány rychlejší propojení a používají se agresivnější konfigurace RAM a CPU, stejně jako u možností Plus. Intel má nyní k dispozici také rychlejší/lepší disky pro úroveň čtení; P4510 byl podstatným vylepšením oproti P4500. Jde o to, že spíše než aby se tato data brala jako to nejlepší, co Optane dokáže, tato data spíše slouží k nastavení základní linie pro konfigurace serverů střední třídy, které mají co nabídnout, pokud by to situace vyžadovala. Je také důležité vzít v úvahu, že vSAN je v dobré pozici k tomu, aby i nadále těžil z nových technologií úložišť a serverů, jakmile se dostanou na trh – což je pro tradiční dodavatele zařízení mnohem obtížnější.
Z toho však jasně vyplývá, že s postupným vývojem sítě vSAN se společnost VMware chytře postavila do popředí nově vznikajících technologií, jako jsou SSD disky Intel Optane. To dává společnosti vSAN značnou výhodu, pokud jde o to, jak může vypadat výkon na trhu HCI. Zatímco mnoho řešení HCI s radostí splňuje potřeby případů užití ROBO s průměrnými výkonnostními profily, vSAN i nadále hledá nejlepší partnery pro vytváření řešení, která jsou stejně tak vhodná i na okraji sítě, protože pokládají základy pro to, jak budou vypadat datová centra nové generace ve světě SDDC. Klastry vSAN založené na technologii Optane se pro to druhé mimořádně dobře hodí a nabízejí nejlepší možnou latenci zápisu pro všechny aplikační úlohy.
Amazon