Společnost VMware nedávno ve verzi vSphere 7.0 přidala jako možnost síťového protokolu pro úložiště NVMe over Fabric (NVMe-oF) . Skutečnost, že nejrychlejší řešení sdíleného úložiště nyní může využívat nejoblíbenější virtualizační software na světě, je převratná a otevírá zcela novou sadu možností použití pro virtualizovaná datová centra. To také znamená, že nyní existují aplikace typu „holé železo“, které mohou běžet na virtuálních strojích (VM) s podporou NVMe-oF ve verzi vSphere. Patří mezi ně umělá inteligence (AI), strojové učení (ML), databáze v paměti, vysoce výkonné výpočty (HPC), vysokofrekvenční obchodování (HFT), online zpracování transakcí (OLTP) a také jakékoli další aplikace, které vyžadují extrémně nízkou latenci a vysokokapacitní úložiště.
Na StorageReview.com se vždy zajímáme o testování nejnovějších technologií, abychom zjistili, jak fungují v reálném světě. Vzhledem k našim předchozím zkušenostem s NVMe-oF plně očekáváme, že výrazně zlepší výkon aplikací pro vSphere. Abychom získali skutečnou představu o tom, jak NVMe-oF ovlivní výkon, porovnáme jej s iSCSI, což je současný standard pro blokové úložiště v datovém centru vSphere. Naše testování však bude mít jedinečný šmrnc, protože nebudeme používat vysoce specializovanou, nišovou technologii. Místo toho budeme používat produkty, které se dnes v datových centrech běžně nacházejí. Naše testování proběhne na serveru Dell R720XD připojeném pomocí dvouportových adaptérů NVIDIA ConnectX-5 s rychlostí 25 GbE k úložišti Pure Storage FlashArray//X , které podporuje NVMe-oF.
Než se dostaneme k výsledkům našeho testování, nejprve vám poskytneme přehled toho, co VMware podporuje v oblasti NVMe-oF, a poté vám poskytneme krátké informace o NVMe a NVMe-oF a vysvětlíme, proč jsou výkonnější než iSCSI. Také se podíváme na některé kroky, které jsme podnikli k nastavení NVMe na vSphere.
Společnost VMware nedávno povolila podporu pro NVMe-oF (duben 2020), ačkoli standard NVMe-oF byl vydán již v roce 2016. Linux jej může používat od roku 2018 a podpora NVMe-oF v úložných polích je k dispozici již několik let. NVMe-oF je považována za nově vznikající, ale stabilní technologii. V dubnu 2020 společnost VMware vydala vSphere 7.0 a tato verze zahrnovala podporu pro NVMe-oF, což umožňuje připojení k polím NVMe buď pomocí NVMe over Fibre Channel (NVMe/FC), nebo NVMe over RDMA Converged Ethernet (NVMe-RoCE, označované také jako NVMe/RDMA).
Přehled NVMe a NVMe-oF
Až donedávna byly SSD disky de facto standardním médiem pro připojená úložiště. Mají však také jedno kritické úzké hrdlo. SSD disky používají konektory SATA nebo SAS, které byly navrženy pro použití s pevnými disky (HDD), což výrazně omezuje jejich výkon. Aby se tento problém vyřešil, konsorcium více než 90 společností se v roce 2011 spojilo a vydalo novou specifikaci pro připojení SSD disků k počítačům, které by tímto úzkým hrdlem SATA netrpěly. Toto řešení se nakonec stalo známým jako NVMe.
Zařízení NVMe jsou rychlá. Zatímco disky SATA/SAS SSD radikálně změnily odvětví úložišť v minulém desetiletí, NVMe jej radikálně mění i v tomto století. Například v našem nedávném testování s využitím 4K čtecí úlohy jsme zjistili, že disk SATA (Kingston DC500M) dokáže dosáhnout necelých 80 000 IOPS, zatímco disk NVMe (Kingston DC1000M) dokáže dosáhnout 580 000 IOPS, což je ohromujících 7.25násobný rozdíl. Existuje mnoho technických důvodů, které vysvětlují, proč je NVMe mnohem výkonnější než disky SATA, ale jedním z nejdůležitějších je kratší datová cesta. Níže uvedený diagram ukazuje zjednodušenou ilustraci toho, jak je datová cesta u NVMe podstatně kratší ve srovnání s úložišti minulé generace, jako je SAS.
Díky vylepšení výkonu a prudkému poklesu ceny se NVMe stalo oblíbeným prvkem moderních datových center.
Krátce poté, co se disky NVMe začaly široce používat v datových centrech, si lidé uvědomili, že potenciál těchto zařízení není využíván naplno a jejich omezení v podobě přímo připojeného úložiště se stalo zřetelnějším. Zařízení NVMe bylo nutné oddělit od serveru, a proto se spojila další skupina společností a vyvinula specifikaci, jak dodávat NVMe po síti. Jakmile byl k dispozici transportní mechanismus pro úložiště NVMe, mohli jsme agregovat, abstrahovat a sdílet zařízení NVMe v úložném systému s mnoha různými systémy, včetně hostitelů ESXi. NVMe-oF používá terminologii cíl/iniciátor.
RoCE umožňuje vzdálený přímý přístup k paměti (RDMA) přes ethernetovou síť. Existují dvě verze RoCE: RoCE v1 a RoCE v2. Zatímco RoCE v1 umožňuje komunikaci mezi libovolnými dvěma hostiteli ve stejné ethernetové vysílací doméně (vrstva 2), RoCE v2 běží nad TCP (vrstva 3) a je proto směrovatelný, což mu umožňuje připojení k hostitelům mimo ethernetovou vysílací doménu. Vzhledem ke svým inherentním výhodám a popularitě v datových centrech VMware podporuje pouze verzi v2. V tomto článku budeme RoCE v2 označovat jednoduše jako RoCE.
RoCE vyžaduje řadiče síťového rozhraní RDMA (rNIC) namísto standardních síťových karet. Sítě RoCE obvykle vyžadují konfiguraci řízení prioritního toku, ale přepínače Spectrum jsou optimalizovány pro řízení přetížení při použití s adaptéry ConnectX, což umožňuje nulovou konfiguraci. RoCE je velmi populární a má prosperující ekosystém, který dodává jak rNIC, tak subsystémy NVMe-oF. V současné době jej používají některá z největších světových hyperscale datových center, což značně snížilo cenu rNIC od doby, kdy byly poprvé uvedeny na trh.
Pomocí RDMA lze data přenášet přímo na hostitele ze zařízení NVMe-oF, aniž by bylo nutné je kopírovat do vyrovnávacích pamětí, jak by tomu bylo v případě použití standardního zásobníku TCP/IP (Transmission Control Protocol/Internet Protocol). Obcházením vyrovnávacích pamětí RDMA snižuje využití CPU na hostiteli a snižuje latenci pro přístup k datům na vzdáleném zařízení NVMe. Existuje mnoho technických důvodů, proč je NVMe-oF výkonnější než technologie síťového úložiště poslední generace. Za zmínku stojí obrovský počet front (64K), které NVMe-oF podporuje, ale asi nejvýmluvnější je datová cesta NVMe-oF. Níže uvedený diagram ukazuje zjednodušenou ilustraci toho, jak je datová cesta pro NVMe-oF podstatně kratší ve srovnání s úložištěm iSCSI.
RoCE používá UDP, což má vliv na výkon, protože UDP vyžaduje menší režijní náklady. RoCE se však spoléhá na kompatibilitu mezi koncovými body, aby zajistil plnou bezztrátovou konektivitu. Ačkoli moderní síťové přepínače podporují bezztrátovou konektivitu, je třeba dbát na to, aby se v síťové cestě NVMe-oF nenacházel starší přepínač, který bezztrátovou konektivitu nepodporuje.
Výsledkem toho všeho je, že NVMe-oF umožňuje přístup k NVMe diskům v síti, jako by byly lokální pro přistupující server. První zprávy ukázaly, že latence pro sdílené úložiště je přibližně 100 μs, namísto 500 μs nebo více u all-flash úložného pole iSCSI.
NVMe-oF s vSphere
Požadavky na NVMe-oF s vSphere jsou jednoduché:
- Pole NVMe podporující přenos RDMA (RoCE).
- Kompatibilní hostitel ESXi
- Ethernetové přepínače podporující bezztrátovou síť
- Síťový adaptér s podporou RoCE
- Softwarový adaptér NVMe přes RDMA
- Řadič NVMe
- Bezztrátová síť na 2. i 3. vrstvě nebo ztrátová síť s řešením ZTR (Zero Touch RoCE) od společnosti NVIDIA
- Vyhrazené linky, VMkernels a adaptéry RDMA pro cílové NVMe
- Vyhrazená VLAN vrstvy 3 nebo konektivita vrstvy 2
Protože je NVMe-oF ve VMware novinkou, nejsou pro něj k dispozici všechny funkce vSphere. Mezi některé z chybějících funkcí patří podpora sdílených VMDK, mapování zařízení Raw Device Maps (RDM), vVols a možnost bootování z NVMe-oF.
Implementace NVMe-oF
Použili jsme rNIC od NVIDIA ConnectX-5, jednu z nejběžnějších karet v datových centrech. Tyto karty jsou jednoportové nebo dvouportové síťové adaptéry s podporou RDMA. Jsou k dispozici pro servery PCIe Gen 3.0 a Gen 4.0 a poskytují podporu pro 1, 10, 25, 40, 50 a 100 Gb. Mají latenci 750 ns a dokáží přenášet až 200 milionů zpráv za sekundu. Při použití s úložnými úlohami podporují širokou škálu technologií akcelerace.
Pro naše testování jsme spustili karty PCIe Gen 3.0 ConnectX-5 s rychlostí 25 GbE v dvojici serverů Dell R720 v síti připojené k flash poli Pure Storage prostřednictvím dvojice přepínačů NVIDIA Spectrum SN2010.
Nejprve jsme ověřili, že používáme ovladač nmlx5_core, zadáním příkazu esxcfg -nics -l |grep -E 'Name|NVIDIA'.
Pokud bychom používali ovladač nmlx4_core, mohli jsme pro něj povolit RoCE z ESXi CLI.
Proces povolení NVMe-oF (podobný procesu nastavení a povolení iSCSI) zahrnoval konfiguraci vSwitchů, skupin portů a portů vmkernel na hostitelích ESXi. Hlavní rozdíl spočíval v tom, že jsme museli ke každému hostiteli ESXi přidat alespoň dva softwarové adaptéry NVMe přes RDMA.
Posledním krokem, který jsme museli dokončit, bylo identifikovat kvalifikovaný název NVMe (NQN) hostitele ESXi zadáním příkazu esxcli nvme info get.
Na poli Pure Storage to bylo podobné jako nastavení pole iSCSI, s jednou velkou výjimkou. Museli jsme vybrat možnost Konfigurovat NQN.
Výsledky testů NVMe-oF s vSphere
Pro toto testování jsme ponechali vše konstantní s výjimkou struktury (fabric). Chceme vyhodnotit dopad přechodu z tradičnějšího iSCSI na RoCE. Aby bylo jasno, nejedná se o benchmarking úložišť; jedná se o test, jehož cílem je zhodnotit výhody NVMe-oF v prostředí VMware, které vyžaduje jen velmi málo změn. Pro backend úložiště jsme použili dva servery Dell EMC PowerEdge a také Pure FlashArray//X R2.
Náš testovací plán zahrnoval měření celkového výkonu 8 virtuálních strojů (4 na každém hostiteli ESXi) a použití nástroje vdBench k měření tradičních čtyřrohových a smíšených úloh. Každý virtuální stroj spotřebovával 64 GB úložného prostoru s celkovou kapacitou 512 GB na úlohu, abychom mohli porovnat změny výkonu se změnou protokolu.
Pro interpretaci těchto výsledků je třeba poznamenat, že u propustnosti je lepší zlepšení, zatímco u latence je lepší snížení.
V naší první pracovní zátěži, která měřila výkon náhodného čtení 4K při 80% zatížení, jsme naměřili zvýšení propustnosti o 14.6 % a pokles latence čtení o 21.4 %.
Dále, při pohledu na šířku pásma čtení v sekvenčním čtení o velikosti 64K jsme zaznamenali ohromující nárůst propustnosti o 81.3 % a také snížení latence o 36.8 % – opět při 80% zátěži.
Největší naměřené zisky byly zaznamenány u úloh čtení, ale zaměřili jsme se i na některé běžné smíšené úlohy, z nichž první byl SQL 90/10. V této úlohě jsme naměřili pokles latence až o 78.2 % při 100% zátěži a pokles latence o 43.4 % při 80% zátěži.
Konečně, v naší zátěži Oracle 90/10 jsme zaznamenali pokles latence o 13.2 % při 100% zátěži a pokles latence o 35.7 % při 80% zátěži.
V tomto testování se ukázalo, že RoCE zaznamenal velké zlepšení v širokém spektru úloh běžných v podniku.
Závěr
Naše testování prokázalo, že NVMe-oF je v reálném světě víc než jen koncept. NVMe-oF dokáže poskytnout vynikající výkon s využitím stávajícího hardwaru vašeho datového centra, jako jsou servery se sloty PCI Gen 3.0, síťové karty NVIDIA ConnectX-5 a úložiště Pure Storage FlashArray//X R2 (Pure se nyní dodává //X R3 s ještě větším vylepšením výkonu).
V našem testování jsme zaznamenali významné zlepšení v úlohách čtení malých i velkých bloků. Abychom se podívali na dopad v reálném světě, zaměřili jsme se na saturaci úloh méně než 100 %, protože většina úloh plně nesaturuje podkladovou úložnou platformu. V našem testu měřícím výkon náhodného čtení 4K se latence snížila o 21.4 % při 80% zátěži. Výkon sekvenčního čtení s úlohou 64K zaznamenal obrovský nárůst propustnosti o 81.3 % při 80% zátěži. Také jsme zaznamenali pokles latence o 43.4 %, respektive 35.7 % u našich úloh SQL 90/10 a Oracle 90/10, opět při 80% zátěži. Tato čísla naznačují, že existuje další příležitost k přechodu náročných úloh z holého kovu do VMware.
Jsme si jisti, že NVMe-oF bude dalším velkým hitem v oblasti úložných technologií a očekáváme, že jeho popularita v datových centrech rychle poroste. V příštích několika letech budeme v popředí vývoje této kategorie a těšíme se na prozkoumání dalších a souvisejících technologií NVMe, jakmile budou uvedeny na trh.
Další informace:
Tuto zprávu sponzoruje společnost NVIDIA. Veškeré názory a stanoviska vyjádřené v této zprávě vycházejí z našeho nezaujatého pohledu na daný produkt (produkty).
Amazon