Když se poprvé objevila perzistentní paměť Intel® Optane™ (PMem), věděli jsme, že radikálně změní způsob podnikání v datových centrech, ale nedokázali jsme plně předpovědět, kolik způsobů se tak stane. Stejně jako u všech nových technologií jsme znali počáteční případy použití perzistentní paměti, ale také jsme chápali, že se objeví další případy použití, jakmile budou široce dostupné.
V našich diskusích s podniky jsme věděli, že potřebují zvýšení výkonu, které systémy s in-memory poskytují, aby si udržely konkurenceschopnost. Použití DRAM pro tyto účely mělo cenová a velikostní omezení, která ztěžovala jeho využití vzhledem k velikosti dat, která chtěly být v paměti ukládána. V tomto článku se podíváme na to, jak společnosti Hazelcast a MemVerge využívají paměť Intel Optane PMem k překonání omezení DRAM a vytvoření infrastruktury, která podporuje rychlé aplikace pracující v reálném čase a využívající velké datové sady.
Spojili jsme síly se společnostmi MemVerge, Hazelcast, Intel a Dell Technologies, abychom demonstrovali, jak lze nasadit infrastrukturu pro analýzu v reálném čase. Konkrétně jsme vytvořili prostředí s rychlým příchozím proudem dat v reálném čase, která byla před uložením do datového skladu v paměti ingestována a transformována. Hlavním cílem bylo ukázat, jak je paměť Intel Optane PMem klíčová pro fungování rozsáhlých systémů v reálném čase a že k tomu, aby Intel Optane PMem mohla plně využít svůj potenciál, je zapotřebí další software.
Než se zdůrazníme v testování , které jsme provedli, zde je krátké zopakování o Intel Optane PMem, Hazelcast a MemVerge.
Paměť Intel Optane PMem
Perzistentní paměť jako koncept existuje již od poloviny 80. let 20. století, ale skutečně použitelným produktem pro komerční datová centra se stala až v roce 2018, kdy společnost Intel začala vydávat své perzistentní paměťové moduly Intel Optane (PMM). Intel Optane PMem představuje v tomto odvětví průlom, protože je o něco pomalejší než DRAM, ale podstatně rychlejší než SSD disky.
I když je paměť Intel Optane PMem pomalejší než DRAM, má oproti ní určité zřetelné výhody, protože je podstatně levnější, má větší paměťovou kapacitu než tradiční DRAM a, jak název napovídá, je při aktivaci přímého režimu v aplikaci perzistentní – to znamená, že data na ní uložená přežijí výpadek napájení nebo restart zařízení, na kterém se nacházejí.
Jedním z tajemství nízké latence paměti Intel Optane PMem je, že se nachází na paměťové sběrnici, což jí umožňuje přístup k datům podobný DRAM.
Zatímco DDR4 má teoretickou maximální kapacitu na modul 128 GB, nejčastěji používané kapacity jsou mezi 4 GB a 64 GB (ale ani 64GB moduly, i když jsou k dispozici, se běžně nepoužívají).
Společnost Intel v současné době dodává paměť Intel Optane PMem v modulech o kapacitě 128 GB, 256 GB a 512 GB. To poskytuje až 16násobek kapacity paměti DRAM.
Z hlediska ceny za GB je paměť Intel Optane PMem zhruba poloviční oproti paměti DRAM. Díky větší kapacitě a nižší ceně může server mít k dispozici více dat s nízkou latencí pro aplikace za nižší cenu než server pouze s pamětí DRAM. A jak je vidět z našich testů, u mnoha aplikací je rozdíl v latenci mezi pamětí DRAM a PMem v reálném provozu zanedbatelný.
Ačkoli název technologie obsahuje slovo „persistence“, perzistence dat uložených v paměti Intel Optane PMem je často přehlížena a v minulosti nebyla plně využívána. Společnost MemVerge však vymyslela způsoby, jak využít perzistence dat k nabízení dalších služeb podnikům.
MemVerge
S velkým výkonem, který Intel Optane PMem poskytuje, přichází i odpovědnost za jeho moudré využívání, a právě zde přichází na řadu MemVerge. Zatímco většina nástrojů pro monitorování a správu serverů se zaměřuje na starší hardware, jako je CPU, disk a síťové metriky, MemVerge® Memory Machine™ se zaměřuje na monitorování, správu a využití DRAM a Intel Optane PMem.
Jednou z prvních výzev, které MemVerge Memory Machine přinesl, bylo zjistit, jak povolit aplikacím její používání. Bez MemVerge Memory Machine můžete Intel Optane PMem používat jako alternativu k DRAM, ale ne jako jeho náhradu, protože Intel Optane PMem používá specializované API. MemVerge toto API abstrahuje, takže Intel Optane PMem se všem aplikacím jeví jako DRAM. Pomocí Memory Machine je Intel Optane PMem prezentována aplikacím stejně jako DRAM. Díky tomu mohou stávající aplikace používat Intel Optane PMem, aniž by musely být přepracovávány, což společnosti šetří náklady na přeprogramování aplikací a, co je důležitější, čas, který by to zabralo. Díky své patentované technologii Memory Machine vytváří paměťový fond a poté vrství Intel Optane PMem a DRAM, aby maximalizoval svůj dopad na aplikace tím, že podle potřeby přesouvá data mezi nimi a optimalizuje tak výkon aplikací.
Inovativní technologie ZeroIO od Memory Machine umožňuje pořizovat snímky z paměti do paměti (tj. snímky dat obsažených v DRAM do paměti Intel Optane PMem), což ve skutečnosti činí DRAM perzistentní.
V minulosti jsme byli nuceni ukládat snapshoty v paměti na tradiční úložiště, což mohl trvat až hodinu. S využitím ZeroIO však může stejná operace proběhnout bez přerušení provozu během několika sekund.
MemVerge využívá ZeroIO k poskytování dalších služeb pro paměťová data. Funkce Time Travel umožňuje aplikaci vrátit se k dříve pořízeným snímkům a s touto funkcí je úzce spjata funkce AutoSave, která automaticky pořizuje snímky v časových intervalech. V případech, kdy je třeba data uložená v paměti přesunout na jiný fyzický server, lze na něj přesunout snímek ZeroIO.
Monitorování paměti a poskytování výše uvedených služeb se provádí prostřednictvím centra správy paměťových strojů MemVerge (M3C).
Ačkoli jsme zmínili, že Memory Machine se používá s databázemi, podporuje také širokou škálu aplikací: od Autodesk Maya 3D pro animaci a renderování až po TensorFlow (framework pro strojové učení) a další aplikace, včetně Hazelcastu, produktu, na který se v tomto článku zaměříme.
hazelcast
Hazelcast je klíčovým inovátorem a lídrem v rostoucí oblasti platforem pro výpočetní výpočty v paměti. Jejich platforma je využívána finančními, e-commerce a dalšími typy organizací, kde jsou informace v reálném čase klíčové, například pro odhalování podvodů a pro pomoc s obchodními rozhodnutími.
Hazelcast podporuje rychlé aplikace na dvou úrovních. Zaprvé nabízí úložiště v paměti, které distribuuje data mezi více serverů v clusteru, a umožňuje tak škálovatelný virtuální fond rychlé paměti. Proces přidávání dalších dat jednoduše zahrnuje přidání dalšího serveru do clusteru. Zadruhé, Hazelcast obsahuje výpočetní engine, který zpracovává aplikační logiku, jež je rozdělena na dílčí úkoly, jež jsou poté distribuovány mezi všechny CPU v clusteru serverů. To nejen využívá kolektivní výpočetní výkon clusteru, ale také umožňuje paralelní zpracování dat efektivním a rychlým způsobem (to zahrnuje transformaci, obohacení, agregaci a analýzu). Vzhledem k tomu, že Hazelcast dokáže zpracovávat data ihned po jejich vytvoření prostřednictvím svých možností streamování dat, je užitečný pro vytváření aplikací v reálném čase nové generace.
Analýza dat v reálném čase
Systémy reálného času jsou primárně poháněny dvěma hlavními charakteristikami: rychlostí a škálovatelností. Zatímco rychlost zajišťuje, že zvládnete držet krok s vytvářenými daty, škálovatelnost zaručuje, že zvládnete objem těchto dat. Aby to ještě více zkomplikovalo, data mohou pocházet z mnoha různých zdrojů. Vyšší rychlosti a větší škálovatelnost samozřejmě znamenají vyšší náklady, pokud se nepoužijí inovativní prostředky, jako je nahrazení drahé paměti DRAM dostupnější pamětí Intel Optane PMem.
Možnosti analýzy dat v reálném čase poskytují okamžitý vhled do různých situací, kterým mohou podniky a organizace čelit, a poskytují jim informace, které potřebují k reakci na ně. Například dodržování iniciativ, jako je Basel III, kde jsou banky povinny udržovat vyšší likviditu než dříve, znamená, že mají méně peněz k využití k generování příjmů. Zároveň musí prokázat, že chápou svá každodenní rizika, aby nebyly auditory a orgány dohledu penalizovány ještě vyššími požadavky na likviditu. Díky systémům pro řízení rizik a dodržování předpisů v reálném čase mohou banky mít okamžitý přehled o svých obchodních pozicích, aby mohly efektivněji porozumět své rizikové expozici a reportovat ji.
Dalším příkladem jsou systémy pro analýzu obchodování s akciemi, které sledují obchody a prezentují je v analyzovatelné podobě v reálném čase. Tyto systémy mohou ospravedlnit své vysoké náklady díky jasné návratnosti investic (ROI) prostřednictvím výnosů z obchodování s akciemi.
Testovací scénář
Aplikace, kterou jsme se rozhodli použít k prozkoumání těchto technologií, je založena na kódové bázi pro monitorování obchodu vytvořené společností Hazelcast, která má ukázat, jak je nákladově efektivní „analytika na vyžádání“ vhodnou alternativou k drahým systémům v reálném čase.
Protože se jednalo o malý výzkumný projekt, udělali jsme určité kompromisy, díky nimž naše testovací prostředí plně neodráželo typické produkční prostředí. Například výpočetní výkon serverů Dell EMC, které jsme použili, byl mnohem vyšší, než potřeboval náš dostupný zdroj dat, takže jsme plně nevyužili dostupný výkon procesorů v nich. Také jsme kvůli jednoduchosti neoptimalizovali externí systém pro doručování dat. V produkčním systému by všechny komponenty byly optimalizovány a vyladěny tak, aby se zlepšil výkon a nákladová efektivita tohoto nastavení.
Testovací cíle
Nejdůležitějším aspektem našeho testování bylo zjistit, zda paměť Intel Optane PMem dokáže zvládat přenos dat v reálném čase.
Testování rychlosti přístupu k agregovaným/indexovaným datům v datovém skladu v paměti, který byl podporován technologií Intel Optane PMem, jsme vynechali. V předchozích testech společností MemVerge a Hazelcast ukázaly benchmarky, že rychlosti přístupu k datům byly velmi blízké rychlostem DRAM (v mnoha případech byly prokázány shodné rychlosti pro čtení i zápis), a tedy mnohem rychlejší než u přístupu k datům z disků nebo SSD. Protože jsme věděli, že rychlosti přístupu k datům poskytují výhodu oproti jiným architektonickým konfiguracím, zaměřili jsme se v našich testech pouze na stranu příjmu dat.
Pro naše testování jsme na serveru zdroje dat vygenerovali fiktivní data. Každý datový prvek v příchozím datovém kanálu představoval obchod s akcií. Nejdůležitějšími hodnotami byly symbol akcie, množství, cena a čas. Každý symbol akcie byl v generované datové sadě použit několikrát k simulaci více obchodů s danou akcií za den. Tyto jednotlivé obchody byly poté agregovány, aby se získal průběžný součet obchodů pro daný symbol akcie.
Vygenerovaná data byla uložena v Apache Kafka kvůli jeho schopnosti zachytit rychlý tok dat. Každý záznam z Kafky vyžadoval 210 bajtů, včetně všech metadat v datové části. Kafka byla nakonfigurována pro spouštění tří samostatných brokerů, všech na jednom zdroji dat, a se čtyřmi oddíly na každém brokeru. Tato konfigurace by samozřejmě nebyla použita v produkčním prostředí, protože je nereálné mít pro distribuovanou technologii stroj s jedním zdrojem; pro účely našeho testování však byla vhodná.
Testovací prostředí
Pro testování jsme použili tři servery Dell EMC PowerEdge R750 a jeden server Dell EMC PowerEdge R74xd; tři z nich provozovaly analytické aplikace s využitím MemVerge Memory Machine a Hazelcast, zatímco čtvrtý vytvářel a ukládal testovací data.
Analytické servery
| Model | Dell EMC PowerEdge R750 |
| procesory | Dva procesory Intel® Xeon® Gold 6330 s frekvencí 2 GHz (Ice Lake)
28 jader v každém procesoru (celkem 56, 112 s technologií Intel® Hyper-Threading) |
| DRAM | 16 modulů DIMM s kapacitou 64 GB DRAM DDR4
1 TB na server |
| Paměť Intel Optane PMem | 16 modulů DIMM s kapacitou 128 GB, rozhraní Intel Optane PMem DDR-T
2 TB na server |
| Síťové rozhraní | 10 GbE |
| Software a licence | Paměťový stroj MemVerge 1.2
Platforma Hazelcast 5.0 |
Server zdroje dat
| Model | Dell EMC PowerEdge R740xd |
| procesory | Dva procesory Intel® Xeon® Gold 6140 s frekvencí 2.3 GHz (Skylake)
18 jader v každém procesoru (celkem 36; 72 s technologií Intel® Hyper-Threading) |
| DRAM | 12 modulů DIMM s kapacitou 32 GB DRAM DDR4 (384 GB)
2 moduly DIMM 16GB NVDIMM DDR4 (32 GB) |
| Paměť Intel Optane PMem | Nepotřebný |
| Síťové rozhraní | 10 GbE |
| Software a licence | Apache Kafka 2.8
Nástroj pro generování dat od společnosti Hazelcast |
Během testování jsme zjistili, že množství paměti DRAM na analytických serverech mohlo být výrazně menší; zatímco paměť DRAM byla využívána převážně operačním systémem, aplikace používala primárně paměť Intel Optane PMem pouze s malým množstvím paměti DRAM. Pro optimalizaci úspor nákladů by rozumnou konfigurací bylo absolutní minimum paměti DRAM na serveru.
Výsledky testů
Vytvořili jsme přibližně 5 miliard záznamů, které byly uloženy v Kafce za účelem vytvoření zdroje dat. Aplikace pro příjem dat běžící na třech aplikačních serverech byly poté spuštěny, aby přijímaly data napříč třemi instancemi Hazelcastu (jeden server Hazelcast na server Dell Technologies).
Aplikaci jsme testovali pouze s pamětí DRAM a porovnali jsme ji s pamětí Intel Optane PMem s technologií MemVerge. Výsledky testování ukázaly, že u úloh, které se převážně zaměřovaly na zápisy, jsme zaznamenali 32% pokles výkonu při použití pouze paměti Intel Optane PMem oproti čisté paměti DRAM (242K vs. 357K). Při použití konfigurace Intel Optane PMem + DRAM jsme však zaznamenali pouze 9% pokles. Tento pokles by se dal dále zúžit zvýšením počtu serverů v clusteru, což by zápisy ještě více rozložilo. Dodatečné náklady na další servery by se daly kompenzovat pořízením méně výkonných CPU, protože daná úloha by nutně nevyužila celý výkon CPU této testované hardwarové konfigurace.
| Konfigurace | Výkon (záznamy za sekundu) |
| Pouze DRAM | 357,000 |
| Paměť Intel Optane PMem s podporou 50GB DRAM + paměťového stroje | 325,000 |
| Pouze paměť Intel Optane PMem + stroj | 242,000 |
Zvažovali jsme stanovení cen pro každou z testovaných konfigurací, ale odmítli jsme to udělat vzhledem k potenciálním výkyvům cen a dalším faktorům, které by mohly tyto odhady brzy zastarat. Bez ohledu na stanovené náklady však bude paměť Intel Optane PMem s podporou DRAM výrazně nižší než server založený pouze na DRAM.
Interpretace testu
Naším klíčovým poznatkem z testování bylo, že cluster serverů s podporou Intel Optane PMem by mohl pracovat téměř stejnou rychlostí jako cluster, který používá pouze DRAM – ale za výrazně nižší náklady.
Dalším důležitým poznatkem pro nás bylo, že pomocí Intel Optane PMem lze zaznamenávat a ukládat data za týdny nebo i měsíce. Tato technologie firmám umožňuje nejen analyzovat data v reálném čase, ale také mít k dispozici data pro vysokorychlostní analýzu historických dat. To otevírá příležitosti k analýze trendů a vzorců, které by mohly odhalit další poznatky pomocí pokročilých analytických nástrojů, jako je strojové učení (ML).
Jinými slovy, firmy mohou nasadit prostředí pro analýzu v reálném čase pokrývající široké časové rozmezí a zkoumat nové formy analytiky, aniž by musely při nasazení datových skladů nebo datových jezer snižovat náklady nebo rychlost.
Jiné testování
Během nastavení prostředí jsme chtěli také otestovat některé další funkce MemVerge Memory Machine, zejména funkce pro vytváření snímků a obnovu dat. Naštěstí má Memory Machine integraci s clusterem Hazelcast, takže snímky a obnovu dat lze spravovat přímo v M3C.
Snímky lze pořizovat kdykoli na vyžádání nebo podle nastaveného plánu a obě metody jsme testovali během špičkového provozu našeho clusteru. Snímky byly dokončeny během několika sekund bez jakýchkoli problémů nebo ovlivnění výkonu analytických nástrojů. Pokud by se s clusterem Hazelcast něco stalo, například výpadek proudu, data by se dala obnovit pomocí jednoho z našich snímků.
Funkce snapshotů není užitečná jen pro ochranu, ale lze ji také použít ke zvýšení míry využití serverů. Ve finančních institucích jsou servery během typické obchodní doby silně využívány, ale mimo ni jsou relativně nečinné. Použitím schématu horkého startu lze výrazně zlepšit míru využití serverů. Například na konci obchodního dne lze pořídit snímek obchodní databáze. Po vypnutí obchodní databáze lze servery nastavit na jiné úlohy zpracování dat, jako je data mining. Na začátku obchodního dne lze obchodní databázi rychle obnovit a obchodní operace obnovit.
Závěr
Intel Optane PMem je vzrušující a transformativní technologie, která začíná měnit datová centra, ale stejně jako všechny ostatní technologie naštěstí neexistuje ve vakuu. Přední, progresivní společnosti, jako jsou Dell Technologies, Intel, MemVerge a Hazelcast, nacházejí synergie a začínají tuto novou technologii využívat k naplnění jejího skutečného potenciálu v datových centrech: Moduly Intel Optane PMem jsou nabízeny za zhruba poloviční cenu oproti DRAM; Dell Technologies má servery, které podporují obrovské množství paměťové kapacity s nízkou latencí, kterou Intel Optane PMem poskytuje; Hazelcast umožňuje aplikacím využívat tyto technologie ve velkém měřítku; a MemVerge poskytuje monitorovací, řídicí a datové služby pro Intel Optane PMem a abstrakcí DRAM API umožňuje, aby se Intel Optane PMem stávajícím aplikacím jevil jako DRAM, což jim umožňuje běžet bez nutnosti úprav nebo přepracování architektury.
Pokud by vše ostatní bylo stejné, firmy by se rozhodly pro aktivity v reálném čase oproti dávkovým aktivitám. Jelikož však není vše stejné, dávkové zpracování je často zvoleným vzorem, aby se zabránilo nákladům spojeným se zpracováním v reálném čase. Vzhledem k tomu, že očekávání zákazníků ve světě, který je stále více orientován na reálný čas, stále rostou, musí firmy najít nové způsoby, jak si vytvořit konkurenční výhodu. Využitím rychlostí v reálném čase bez tradičních nákladů na výpočetní techniku v paměti mohou přední firmy učinit krok vpřed s technologiemi, jako jsou Intel Optane PMem, MemVerge a Hazelcast, a vytvářet řešení, která jim pomohou reagovat na jejich požadavky a požadavky jejich zákazníků rychleji než kdykoli předtím.
Tuto zprávu sponzoruje společnost MemVerge. Veškeré názory a stanoviska vyjádřené v této zprávě vycházejí z našeho nezaujatého pohledu na daný produkt (produkty). Intel, logo Intel a Intel Optane jsou ochranné známky společnosti Intel Corporation nebo jejích dceřiných společností.
Amazon