Fungible FS1600 posouvá hyperškálovatelné úložiště do datového centra

Společnost Fungible mění způsob návrhu úložných platforem tím, že odstraňuje omezení stávajících úložných architektur s vydáním vysoce výkonného úložného uzlu Fungible Storage Cluster, FSC 1600. Fungible Storage Cluster nabízí vysoce výkonné, nízkolatenční desagregované úložné řešení NVMe/TCP, které je plně transparentní pro aplikace na vysoké úrovni. Fungible Storage Cluster (FSC), poháněný technologií Fungible DPU™, je vysoce výkonná, bezpečná a škálovatelná desagregovaná úložná platforma typu all-flash.

Datová procesorová jednotka (DPU) je v podstatě systém na čipu. DPU se obvykle skládá z vícejádrového mikroprocesoru, síťového rozhraní a akceleračních modulů, které odlehčují úkoly zaměřené na data, jako jsou síťové, úložné, virtualizační, bezpečnostní a analytické funkce. DPU a SmartNIC si nadále získávají na popularitě v podnikových datových centrech a datových centrech poskytovatelů cloudových služeb.

Jedno Zaměnitelný FSC1600 Úložný cluster

FS1600 je poháněn dvěma datovými procesorovými jednotkami Fungible. DPU, unikátní inovace Fungible, představuje novou třídu mikroprocesorů navržených od základu tak, aby poskytovaly bezkonkurenční výkon a efektivitu při provozování infrastrukturních služeb.

Zatímco většina úložných platforem je založena na architektuře x86, FS1600 je založen na základní technologii Fungible DPU. DPU, navržený speciálně pro efektivnější zvládání datově orientovaných úloh než CPU, umožňuje FS1600 dosahovat vyššího výkonu. FS1600 se vyznačuje rychlostí náhodného čtení 13 milionů IOPS při čtení surových bloků (4KB), propustností 75 GB/s na uzel a latencí čtení +10 μs pro výkon mnohem efektivnější než systémy DAS (direct-attached storage), a dosahuje tak 96.5% efektivity výkonu (PEP).

Hardwarové akcelerátory DPU zahrnují kompresi, erasure coding, šifrování, regulární výrazy, hloubkovou inspekci paketů a DMA a pracují s rychlostí linky 800 Gb/s. Díky erasure codingu se v případě selhání uzlu data znovu sestaví pomocí parity a datových bloků z jiných uzlů, zatímco hostitel poskytuje alternativní cestu pro přístup k datům prostřednictvím vícecestného přístupu. FS1600, kompatibilní s NVMe/TCP a softwarem pro správu prostřednictvím Container Storage Interface (CSI) pro Kubernetes a Openstack pro virtuální počítače, může být náhradou za stávající úložné systémy. Neexistují žádné požadavky na speciální agenty, kteří využívají prostředky hostitelského procesoru; je vyžadován pouze standardní ovladač NVMe/TCP. A stávající aplikace nevyžadují žádné změny.

Modely DPU S1 a F1

Existují dva modely Fungible DPU: S1 DPU a F1 DPU. Řada procesorů Fungible využívá stejný hardwarový a softwarový design a sdílí stejný programovací model. Zatímco F1 DPU je navržen pro vysoce výkonná samostatná zařízení, jako jsou úložné, bezpečnostní, AI a analytické servery, S1 DPU maximalizuje výkon v rámci rozměrů a spotřeby standardního adaptéru PCIe.

DPU Fungible S1 je optimalizován pro kombinaci datově orientovaných výpočtů v rámci serverových uzlů a efektivní přesun dat mezi uzly. Datově orientované výpočty se vyznačují stavovým zpracováním datových streamů s vysokou rychlostí, obvykle prostřednictvím síťových, bezpečnostních a úložných stacků.

Jednotka S1 DPU usnadňuje výměnu dat mezi serverovými uzly prostřednictvím technologie TrueFabric™. TrueFabric je rozsáhlý fabric protokol IP-over-Ethernet, který poskytuje celkovou šířku pásma sítě s nízkou průměrnou a koncovou latencí, QoS mezi koncovými body, bezproblémovou konektivitou a zabezpečením mezi serverovými uzly. Protokol TrueFabric je plně kompatibilní se standardy a interoperabilní s TCP/IP over Ethernet, což zajišťuje, že síť Spine-Leaf datového centra lze vybudovat se standardními běžně dostupnými ethernetovými přepínači.

FunOS

Datová rovina pro DPU S1 i F1 běží na FunOS™, což je účelový operační systém napsaný ve vyšších programovacích jazycích (ANSI-C). FunOS provozuje síťové, úložné, bezpečnostní, virtualizační a analytické stacky. Řídicí rovina běží na standardním operačním systému (např. Linux) a obsahuje agenty, kteří umožňují správu, řízení a monitorování clusteru DPU S1 i F1 pomocí sady REST API. Tato REST API lze integrovat do standardních nebo orchestračních systémů třetích stran, jako jsou pluginy Kubernetes CSI, OpenStack, OpenShift atd.

Kombinací těchto klíčových funkcí do jediného řešení umožňuje rodina procesorů Fungible DPU hyper-deagregaci a sdružování výpočetních a úložných zdrojů – a tím poskytuje vysoce výkonnou, masivně škálovatelnou kompoziční infrastrukturu pro datová centra nové generace!

Co tvoří klastr

FSC™ se skládá ze dvou nebo více cílových uzlů úložiště Fungible FS1600 a tří uzlů Fungible Composer. Software Fungible Composer spravuje řídicí rovinu, centralizované řešení pro správu, které konfiguruje, spravuje, orchestruje, řídí a nasazuje cluster úložiště Fungible. Uzly Composer poskytují služby, jako je úložiště, správa sítě, telemetrie, správa uzlů pro sběr protokolů a brána API poskytující externí přístup ke službám poskytovaným Fungible Composer.

Cluster Fungible Storage Cluster nabízí vysoce výkonné, nízkolatenční disagregované úložné řešení NVMe/TCP, které je plně transparentní pro aplikace na vysoké úrovni. Každý FS1600 podporuje až 24 U.2 NVMe/TCP SSD disků a výkon se lineárně škáluje od pouhých 70 TB až po více PB.

Případy užití

Cloudové úložiště pro hyperdezagregaci : FSC nabízí poskytovatelům cloudových služeb alternativu ke konvenčnímu úložišti. Díky dezagregaci úložiště umožňuje FSC nezávislé škálování výpočetních a úložných kapacit, zvýšené využití, snížené SKU serveru, sníženou složitost správy a zvýšenou flexibilitu.

Umělá inteligence / Strojové učení: Moderní úlohy s využitím umělé inteligence/strojového učení obvykle vyžadují masivní paralelismus ve výkonu, nízkou latenci a velkou kapacitu. FSC v kombinaci s vysoce škálovatelnými paralelními souborovými systémy eliminuje úzká hrdla úložiště a dosahuje tak bezprecedentního výkonu, latence a efektivity pro tyto moderní úlohy.

Cloudově nativní vysoce výkonné databáze : Mnoho dnešních vysoce výkonných škálovatelných databází nasazují DAS, aby splnily požadavky na latenci. Tyto databáze obvykle nabízejí odolnost díky klastrovaným redundančním schématům, jako jsou sady replik nebo primárně-sekundární konfigurace. Pokud server selže, data se uchovají na jiném serveru. FSC zachovává latence podobné DAS a zároveň nabízí lepší využití úložiště a klastrovanou redundanci, ale s nižšími režijními náklady na kapacitu.

Zjednodušená správa IT

Kromě všech výhod v oblasti výkonu, které přicházejí s DPU FS1600 a Fungible, je zde také zjednodušený přístup ke správě. Fungible nabízí nástroj pro správu zabezpečených datových center s více nájemníky prostřednictvím jednoho rozhraní. Řídicí panel Fungible Composer zvýší produktivitu IT administrátorů a poskytne informace potřebné k efektivní správě každodenních funkcí datového centra.

Zastupitelný skladatel

Řídicí panel Fungible Composer se snadno používá a nabízí spoustu detailů pro sledování, správu, konfiguraci a monitorování výkonu. Horní záložka zobrazuje připojený systém s kompletním zobrazením podrobností o clusteru, IOPS, úložišti a také všech alarmů, které vyžadují pozornost.

Ikony na levé straně displeje poskytují okamžitý přístup ke konkrétním nástrojům pro správu.

V závislosti na podrobnostech poskytnutých při nasazování zaměnitelných zařízení poskytne tabulka hostitelů administrátorovi rychlý přehled o připojených hostitelích s možnostmi prohledání konkrétního hostitele.

Pokud jde o data o výkonu, po výběru ikony analýzy se na obrazovce zobrazí podrobnosti o výkonu clusteru, které poskytují rychlý přehled o IOPS, šířce pásma a latenci.

Podrobnosti o svazcích poskytují rychlý přehled o stavu každého svazku. Odtud se můžete pro podrobnější informace podívat na jednotlivé svazky.

Podrobnosti o nasazení

1 x Zaměnitelný FSC1600

• 8 připojení 100GbE
• 24 zařízení NVME s kapacitou 3.84 TB

4x Dell R740xd

• 1 x Zaměnitelný FC200
  • 1x 100GbE připojení
• 1× NVIDIA ConnectX-5
  • 1x 100GbE připojení
• 2x procesor Intel Xeon Gold 6130 s frekvencí 2.10 GHz
  • 1 256GB DRAM

Objemy

• Celkem 192 objemů RAW po 100 g
• 16 svazků RAW o velikosti 4K na hostitele
• 16 svazků RAW o velikosti 8K na hostitele
• 16 svazků RAW o velikosti 16K na hostitele

Proces testování

Příprava na testování zahrnovala předběžné nastavení všech svazků zápisovou úlohou, aby se před zahájením testovacích úloh naplnily. Velikost svazků byla upravena tak, aby odpovídala velikosti bloku použité úlohy. Pro testování byly použity svazky o velikosti 4K, 8K a 16K pro 4K náhodnou, 8K náhodnou a 64K sekvenční úlohu. Využili jsme protokol NVMe over TCP a s jedním uzlem bylo úložiště testováno bez ochranného schématu.

Každá iterace FIO mezi zaměnitelnými DPU nebo 100GbE síťovými kartami byla vyvážena tak, aby nabízela podobný profil latence. Zátěž 100GbE síťové karty byla následně zvýšena pro dosažení vyššího výkonu, což vedlo k větší latenci a využití CPU.

Během počáteční fáze testování byly úlohy FIO propojeny s uzlem NUMA, kde byly karty nainstalovány. DPU nebo NIC byly mezi jednotlivými testy vyměněny a umístěny do stejného slotu PCIe. Na úrovni serveru nebylo potřeba žádné speciální ladění kromě nastavení profilu BIOS serveru na Performance. Pro každou generaci zátěží jsme nainstalovali Ubuntu 20.04.2 Live Server.

Zaměnitelný FS1600 Souhrnné výsledky výkonnosti

Zaměnitelný FC200 IOPS

Pracovní zátěž	Hostitel 1	Hostitel 2	Hostitel 3	Hostitel 4
4k přečtení	2019	2015	2016	2012
4 tisíc zápisů	2244	2020	2280	2203
64 přečtení	167	166	166	166
64 tisíc zápisů	161	168	164	186
8k 70r/30w	1118k / 479k	1105k / 474k	1075k / 461k	1117k / 479k

Zaměnitelná šířka pásma FC200

Pracovní zátěž	Hostitel 1	Hostitel 2	Hostitel 3	Hostitel 4
4k přečtení	7886 MiB/s	7871 MiB/s	7873 MiB/s	7858 MiB/s
4 tisíc zápisů	8766 MiB/s	7890 MiB/s	8905 MiB/s	8606 MiB/s
64 přečtení	9.80 GiB/s	10.1 GiB/s	10.2 GiB/s	10.1 GiB/s
64 tisíc zápisů	8732 MiB/s	10.2 GiB/s	11.3 GiB/s	11.4 GiB/s
8k 70r/30w	8732 MiB / 3743 MiB/s	8632 MiB/3699 MiB/s	8395 MiB/3598 MiB/s	8729 MiB / 3741 MiB/s

100GbE síťová karta IOPS

Pracovní zátěž	Hostitel 1	Hostitel 1 Zrychlený	Hostitel 2	Hostitel 3	Hostitel 4
4k přečtení	980	2019	1108	1102	1120
4 tisíc zápisů	968	2776	494	1025	1011
64 přečtení	140	118	125	141	140
64 tisíc zápisů	72.5	179	40.1	100	47.0
8k 70r/30w	498k / 213k	1147k / 491k	597k / 256k	567k / 243k	595k / 255k

Šířka pásma síťové karty 100 GbE

Pracovní zátěž	Hostitel 1	Hostitel 1 Zrychlený	Hostitel 2	Hostitel 3	Hostitel 4
4 tisíc přečtení	3828 MiB/s	7887 MiB/s	4330 MiB/s	4303 MiB/s	4374 MiB/s
4K zápis	3783 MiB/s	10.6 GiB/s	1931 MiB/s	4005 MiB/s	3950 MiB/s
64 tisíc přečtení	8761 MiB/s	7269 MiB/s	7804 MiB/s	8832 MiB/s	8753 MiB/s
64K zápis	4529 MiB/s	10.9 GiB/s	2505 MiB/s	6251 MiB/s	3000 MiB/s
8K 70R/30W	3889 MiB/1667 MiB/s	8958 MiB/3839 MiB/s	4663 MiB/1998 MiB/s	4427 MiB/1897 MiB/s	4646 MiB/1991 MiB/s

Jedno Zaměnitelný FS1600 je umělec

Už před touto recenzí jsme věděli, že Fungible FS1600 je rychlý; o tom nebylo pochyb. Přestože jednotlivé karty v každém hostiteli byly přesycené, včetně DPU a NIC, pole stále mělo výkon nazbyt. Hlavním cílem bylo porovnat NIC a DPU v úlohách NVMe/TCP využívajících stejné úložné pole s podobnými testovacími scénáři. DPU přinesly na trh s úložišti neuvěřitelné výhody. Mohou odlehčit aktivitu od CPU a uvolnit ho pro zpracování jiných úkolů, jako jsou úlohy aplikací, s využitím daného I/O nebo šířky pásma. Zúžením našeho zaměření na jeden hostitel vidíme tyto výhody.

Zaměnitelný DPU

Pokud udržíte průměrnou latenci všech úloh podobnou, můžete hned vidět, že DPU dokáže dosáhnout zhruba dvakrát vyššího výkonu než síťová karta. Zde jsme z Fungible DPU naměřili 2.02 milionu IOPS při náhodném čtení 4K dat s průměrnou latencí 0.474 ms. Při pohledu na využití CPU v reálném čase během této úlohy vidíme, že úloha je omezena na jádra CPU specifikovaná v úlohe FIO.

fio –group_reporting –time_based –runtime=10m –rw=randread –bs=4k –iodepth=5 –numjobs=12 –ioengine=libaio –direct=1 –prio=0 –cpus_allowed_policy=split –cpus_allowed=25,27,29,31,33,35,37,39,41,43,45,47,49,51,53,55,57,59,61,63 –randrepeat=0

100GbE síťová karta

Dále jsme se přesunuli k 100GbE síťové kartě (NIC), která je schopna zvládnout 980 tisíc IOPS s průměrnou latencí 0.39 ms. Hloubka I/O operací a počet úloh byly u DPU sníženy, aby se latence udržela pod kontrolou, ale při pohledu na využití CPU rychle uvidíte, kde se projevují výhody DPU. I když byla síťové kartě v úloze FIO přiřazena stejná jádra CPU, měla mnohem širší využití systému. Existuje kompromis mezi využitím CPU pro back-endové procesy (NIC, adaptéry atd.) v produkčním serveru a front-endovými procesy, jako jsou aplikační úlohy. Zde vidíme, jak ovladač síťové karty spotřebovává cykly CPU, zatímco DPU zůstává internalizována.

fio –group_reporting –time_based –runtime=10m –rw=randread –bs=4k –iodepth=4 –numjobs=6 –ioengine=libaio –direct=1 –prio=0 –cpus_allowed_policy=split –cpus_allowed=25,27,29,31,33,35,37,39,41,43,45,47,49,51,53,55,57,59,61,63 –randrepeat=0

100GbE síťová karta s náběhovou rychlostí

Nakonec jsme přešli k vyladěné pracovní zátěži 100GbE síťové karty, která by mohla dosáhnout stejné úrovně výkonu jako DPU, a to kolem 2.02 milionu IOPS. Cenou za tuto vyšší rychlost je však latence, která se výrazně zvýšila na 2.6 ms a vyšší špičkovou latenci. To bylo způsobeno zvýšením hloubky v/v ze 4 na 16 a počtu úloh ze 6 na 20. I když se pozornost může soustředit na zvýšenou latenci, při pohledu na využití CPU je vidět, že téměř všechny systémové prostředky jsou zaměřeny na aktivitu I/O a pro jiné procesy nezbývá mnoho prostoru. Pro firmy, které se snaží zefektivnit a zefektivnit nasazení svých serverů, je snadné vidět, že ne všechny I/O operace jsou si rovny a jak DPU rychle mění trh s úložišti.

fio –group_reporting –time_based –runtime=10m –rw=randread –bs=4k –iodepth=16 –numjobs=20 –ioengine=libaio –direct=1 –prio=0 –cpus_allowed_policy=split –cpus_allowed=14-63 –randrepeat=0

Závěrečná slova

S Fungible FS1600 a jejich DPU pracujeme již několik týdnů. I když samotné pole nevyžaduje žádnou složitou kabeláž ani změny, chtěli jsme být při analýze důkladní, abychom do hloubky pochopili dopad DPU. Nejde o to, že by samotné DPU byly úplně nové, ale konečně se stávají komerčně dostupnými v podnikových řešeních, nejen ve vědeckých projektech. A aby bylo jasno, implementace DPU nejsou všechny stejné, takže pochopení dopadů na infrastrukturu a výkon při rozhodování o návrhu je zásadní.

Ve světě DPU vyniká Fungible jako poměrně unikátní společnost. Od svého založení v roce 2015 se rozhodla pro řešení na míru a koncem roku 2016 investovala značné finanční prostředky do budování společnosti. Zhruba v té době Mellanox oznámila svou první verzi DPU s názvem BlueField. I když by se dalo tvrdit, že by Fungible udělalo dobře, kdyby BlueField přijalo, jejich vlastní cesta vedla k podstatné technologické a vedoucí výhodě. Fungible má plnou kontrolu nad svým stackem a může snadno využít DPU jak u klienta, tak u cíle. Ať už ne, rozhodnutí je na zákaznících. V našem testování však vidíme významné výhody v komplexním využití Fungible.

Fungible přichází s využitím DPU v úložném poli a hostiteli a dotváří celkový obraz, který nabízí obrovskou výhodu z hlediska výkonu. DPU odlehčují prostředky, které by jinak byly přiděleny systémovému procesoru, což představuje zajímavou kombinaci při použití na obou stranách rovnice. Pokud je možné využít Fungible FC200 místo tradiční síťové karty, dosáhnete obrovského a významného zvýšení rychlosti I/O operací a také nižšího využití CPU. Při pohledu pouze na náš náhodný přenos 4K dat dokázala FC200 zvládnout přes 2 miliony IOPS s latencí 0.474 ms, zatímco síťová karta dokázala dosáhnout přibližně 1 milionu IOPS s latencí 0.39 ms. Zvýšení výkonu síťové karty na 2 miliony IOPS bylo možné, ale za značné náklady na latenci a systémové prostředky.

DPU jako třída mají obrovský potenciál, pokud jde o uvolnění nativního výkonu dostupného ve flashových úložištích. I když je to již dnes pravdivé tvrzení, matematika se pro DPU stává ještě příznivější s příchodem technologií, jako jsou SSD disky 5. generace a rychlejší propojení. Platit prémii x86 za správu PCIe linek prostě nedává smysl, pokud jde o aplikace, které mohou tyto komponenty využít, a starší architektury prostě nejsou tak škálovatelné.

Fungible nabízí přesvědčivý hardware i software v podobě úložného uzlu FS1600 a akceleračních karet. Nedávno se také zaměřili na deagregaci grafických procesorů (GPU) , aby zákazníkům nabídli komplexnější řešení pro úlohy HPC a AI. V rychle se rozvíjejícím prostoru DPU bude několik vítězů, ale Fungible je rozhodně ten, na kterého je třeba dát pozor. Organizace, které potřebují ze svého úložiště maximum, by si rozhodně měly FS1600 vyzkoušet.

Zaměnitelný úložný cluster