My w społeczności IT często mamy obsesję na punkcie koni pokazowych — najszybszych i/lub najpotężniejszych urządzeń lub systemów — ponieważ uwielbiamy te duże i małe liczby, które prezentują. Prawda jest jednak taka, że większość użytkowników po prostu nie potrzebuje ostentacyjnej mocy koni pokazowych. Potrzebują koni roboczych , systemów, które mogą obsługiwać rzeczywiste obciążenia na co dzień w przystępnej cenie. Poświęciliśmy sporo czasu na analizę ofert infrastruktury hiperkonwergentnej (HCI) firmy DataON i nawet przyznaliśmy DataON HCI-224 z dyskami SSD Intel® Optane™ nagrodę Editor's Choice w zeszłym roku. W tym artykule przyjrzymy się innemu dwuwęzłowemu klastrowi HCI-224. Jednak ten charakteryzuje się unikalną mieszanką pamięci masowej: dyski SSD Intel Optane front end Intel® SSD D5-P4326 15.36 TB z pamięcią QLC 3D NAND, tworząc system, który optymalizuje pojemność, wydajność i koszty.
Zanim jednak przejdziemy do szczegółów tego klastra, wyjaśnimy, dlaczego firma DataON wybrała QLC jako poziom pojemności pamięci masowej, a także przedstawimy przegląd klastrów Microsoft Azure Stack HCI , DataON i dwuwęzłowych klastrów HCI.
Seria dysków SSD Intel® D5-P4326
Wykorzystanie dysku Intel SSD D5-P4326 z technologią QLC do przechowywania danych w tym klastrze HCI to logiczny wybór, ponieważ zapewnia on solidną, niezawodną i ekonomiczną wydajność. Z pewnością widzieliśmy szybsze dyski SSD, ale dysk SSD D5-P4326 oferuje idealną równowagę między wydajnością a ceną, oferując ogromną pojemność 15.36 TB na dysk. To połączenie wynika z jego architektury. Dzięki technologii Intel® QLC 3D NAND, Intel jest w stanie obniżyć koszt tego urządzenia, jednocześnie zwiększając jego pojemność.
Intel był jednym z pierwszych dostawców pamięci masowej, który wprowadził na rynek dyski oparte na technologii QLC. Technologia QLC, czyli Quad Level Cell, przechowuje cztery bity danych w jednej komórce, podczas gdy starsze technologie, takie jak TLC, MLC i SLC, przechowują tylko trzy, dwa lub jeden bit(y) na komórkę. Dzięki pamięci masowej QLC o wyższej gęstości, koszt na GB pamięci jest niższy. Co więcej, technologia 3D NAND firmy Intel umożliwia poziome układanie tych komórek na chipie, co dodatkowo zwiększa gęstość pamięci masowej. 
Istnieje jednak pewien kompromis. Aby efektywnie wykorzystać możliwości dysku SSD Intel D5-P4326, obciążenia zapisu muszą być buforowane przed przeniesieniem na dysk oparty na technologii QLC. Dyski SSD QLC idealnie nadają się do obciążeń zoptymalizowanych pod kątem pojemności i wymagających dużej liczby odczytów. W związku z tym platformy takie jak klaster HCI muszą korzystać z odpowiedniego urządzenia pamięci podręcznej przed dyskami SSD QLC, aby zapewnić równomierną wydajność. W przypadku dysku DataON HCI-224, Cztery dyski Intel Optane SSD DC P4800X NVMe 750 GB 2.5 cala na węzeł służą do absorbowania zapisów przed przeniesieniem danych do warstwy QLC. Takie podejście zapobiega nadmiernemu zapisowi, powodującemu spadek wydajności warstwy QLC. W rezultacie klienci otrzymują płynne działanie i idealne połączenie wydajności opartej na technologii Intel Optane z pojemnością opartą na technologii QLC.
Microsoft Azure Stack HCI
W skrócie, Microsoft Azure Stack HCI to lokalna implementacja usług Microsoft Azure Cloud Services. Zasadniczo Microsoft wprowadził swoją istniejącą technologię HCI do rodziny Azure Stack, aby jego klienci mogli uruchamiać zwirtualizowane aplikacje lokalnie z bezpośrednim dostępem do usług zarządzania platformą Azure, takich jak tworzenie kopii zapasowych i odzyskiwanie po awarii.
Usługi Azure Stack HCI nie należy mylić z platformą Azure ani Azure Stack Hub. Podczas gdy Azure to usługa chmury publicznej, Azure Stack Hub i Azure Stack HCI to rozwiązania lokalne. Co więcej, Azure Stack Hub działa w systemie operacyjnym Azure z usługami Azure i jest rozwiązaniem typu IaaS i PaaS. Z kolei Azure Stack HCI działa w systemie operacyjnym Windows Server z usługami Azure i umożliwia uruchamianie zwirtualizowanych obciążeń w taki sam sposób, do jakiego jesteś przyzwyczajony, z dodatkową korzyścią w postaci możliwości połączenia się z chmurą Azure w celu uzyskania dostępu do dodatkowych usług. To ogromna różnica, która pozwala administratorom IT korzystać z tych samych narzędzi i stosu zarządzania w Azure Stack HCI, co w Azure.
Platforma Azure Stack HCI wykorzystuje Hyper-V jako hiperwizor, Storage Spaces Direct do przechowywania danych, Microsoft Software Defined Networking (SDN) do obsługi sieci oraz Windows Admin Center (WAC) do zarządzania. Platforma Azure Stack HCI działa na standardowych serwerach x86 i innych powszechnie dostępnych komponentach.
WAC to lokalnie wdrożona, oparta na przeglądarce platforma zarządzania, która umożliwia zarządzanie instancjami systemów Windows 10 i Windows Server zarówno lokalnymi, jak i w chmurze Azure. WAC jest instalowany w systemie Windows i korzysta ze skryptów programu PowerShell. Wykorzystuje również platformę Microsoft Windows Management Framework (WMF) za pośrednictwem usługi WinRM (Windows Remote Management) do monitorowania i zarządzania systemami Windows, w tym klastrami HCI i maszynami wirtualnymi platformy Azure.
Główny panel WAC zapewnia przegląd aktywności procesora, pamięci, sieci i dysków w monitorowanych systemach. Po lewej stronie ekranu WAC zawiera również szereg narzędzi do zarządzania systemem i przeglądania, w tym Certyfikaty, Urządzenia, Zdarzenia, Pliki, Użytkownicy i Grupy Lokalne, Zapora Sieciowa, Procesy, Rejestr, Role i Funkcje, Usługi oraz Pamięć Masowa.
DataON była jedną z pierwszych firm, które wykorzystały otwarte środowisko WAC i przeniosły do WAC swoje rozszerzenie Management Utility Software Tool (MUST). DataON MUST zapewnia widoczność, monitorowanie i zarządzanie infrastrukturą HCI, siecią i pamięcią masową opartą na serwerze Windows.
DataON HCI
Chociaż Azure Stack HCI wykorzystuje powszechnie dostępne komponenty sprzętowe, muszą one zostać zaprojektowane tak, aby ze sobą współdziałać, zapewniając optymalne rezultaty. Pod pewnymi względami łatwiej jest zaprojektować systemy o wysokiej wydajności niż systemy „konie robocze”. W przypadku systemów o wysokiej wydajności można wybrać najlepsze w swojej klasie komponenty i zignorować koszty. Natomiast w przypadku „konie robocze” należy ocenić stosunek kosztów do wydajności komponentów, a następnie dostroić je w celu optymalizacji ich wydajności. Stworzenie systemu zorientowanego na wartość wymaga równie dużego – jeśli nie większego – nakładu pracy inżynieryjnej, a to właśnie inżynieria systemowa wciąż robi na nas wrażenie w DataON.
Firma DataON ściśle współpracuje z firmami Microsoft i Intel, co wykorzystała podczas projektowania systemów dla platformy Azure Stack HCI. Rozwiązania HCI Intel Select firmy DataON można wstępnie skonfigurować i dostarczyć w osobnej szafie, gotowe do natychmiastowego wdrożenia. Ta metoda dostarczania jest przydatna nie tylko w centrach danych, ale także w przypadku systemów wdrażanych na obrzeżach sieci, gdzie istniejąca infrastruktura IT i personel są ograniczone lub nieobecne.
Klastry HCI 2-węzłowe
Niedawno opublikowaliśmy artykuł na temat klastrów 2-węzłowych Microsoft Azure Stack HCI (2NC). Poniżej znajduje się podsumowanie tego artykułu. Stwierdziliśmy, że w wielu przypadkach użycia klastry 2NC mogą zapewnić niezbędną organizacji odporność, a jednocześnie są mniej złożone i kosztowne niż tradycyjne klastry trzy- lub czterowęzłowe. DataON był jednym z pierwszych dostawców, którzy dostrzegli wartość i wdrożyli integrację klastrów 2NC. Jednak klastry 2NC nie są nowością dla DataON, ponieważ we wrześniu 2017 roku firma ogłosiła pierwsze dwa dostępne komercyjnie klastry Kepler-47 HCI dla systemów Windows Server 2016 Storage Spaces Direct (obecnie Azure Stack HCI).
Implementacja 2NC w DataON obsługuje jednoczesną awarię dysku i serwera. Osiąga to poprzez użycie RAID 5 + 1 do zapewnienia odporności na awarie parzystości i jej dublowania na drugim serwerze. Microsoft nazywa tę funkcję „zagnieżdżoną odpornością” i dodał ją do funkcji Storage Spaces Direct w systemie Windows Server 2019. Technologia 2NC nie jest odpowiednim wyborem dla każdego, ale może zapewnić niezawodne i ekonomiczne rozwiązanie dla wielu organizacji.
Budowa i projektowanie
Klaster Azure Stack HCI, z którym pracujemy, został zbudowany na platformie all-flash NVMe DataON HCI-224. Serwery te miały rozmiar 2U i 24 zatoki NVMe z przodu, oferując mnóstwo możliwości rozbudowy z tyłu dla komponentów opartych na PCIe. Znaczne oznaczenia kontrastowały z matowoczarnymi kieszeniami na dyski, co ułatwiało identyfikację konkretnych dysków w przypadku konieczności ich wymiany. Wszystko było oznaczone, co nie jest niczym niezwykłym, ale zakres oznaczeń był niezwykły. W naszym wdrożeniu każdy węzeł (1 i 2) był oznaczony, podobnie jak kilka innych elementów, co ułatwiało wdrażanie i zarządzanie systemami DataON w centrum danych.
Węzły poddane testom obejmowały dwa procesory drugiej generacji Intel® Xeon® Scalable Gold 6248 2.5 GHz, 20-rdzeniowe, z pamięcią podręczną 28 MB, a także osiem modułów pamięci Samsung 32 GB DDR4 2933 MHz ECC-Registered RDIMM (łącznie 256 GB na węzeł) i dwa dyski rozruchowe Intel S4510 480 GB SATA M.2.
W celu przechowywania danych każdy węzeł wyposażono w cztery dyski Intel Optane SSD DC P4800X NVMe 750 GB 2.5” (używane do buforowania) i cztery dyski Intel SSD D5-P4326 15.36 TB 2.5” QLC (warstwa pamięci masowej o dużej pojemności).
Węzły połączono ze sobą za pomocą dwuportowych kart Mellanox ConnectX-4 EN QSFP28 40/56 GbE wykorzystujących pasywne miedziane kable 3M Mellanox LinkX ETH 40GbE, 40Gb/s, QSFP.
Oczywiście, firma DataON poświęciła sporo czasu i uwagi na konfigurację oraz dobór komponentów tego systemu, aby zrównoważyć wydajność i cenę. Byliśmy bardzo ciekawi, jak dyski SSD Intel SSD D5-P4326 sprawdzą się jako warstwa pamięci masowej. Łącząc dyski SSD Intel Optane i Intel QLC 3D NAND, dyski SSD D5-P4326 powinny zapewnić wysoką wydajność i ekonomiczną warstwę pamięci flash, co wcześniej było domeną powolnych, ale dużych dysków twardych.
W laboratorium StorageReview wdrożyliśmy dwa węzły pamięci masowej i przełączniki, jak pokazano na poniższym schemacie.
Testy
Aby przekonać się, jak mały klaster, taki jak ten, może działać w przypadku użycia na brzegu sieci, przeprowadziliśmy kilka testów Microsoft SQL Server. Celem było sprawdzenie wydajności całego klastra, aby upewnić się, że DataON może prawidłowo wykorzystać technologię Intel Optane i dyski SSD Intel QLC. Po drugie, chcieliśmy zbadać możliwości pojedynczego węzła, aby przekonać się, jak to rozwiązanie radzi sobie z utratą węzła, zarówno w przypadku planowanych aktualizacji, jak i w przypadku poważniejszej awarii.
Nasz plan testów wykorzystał Benchmark Factory firmy Quest, wykorzystując profil TPC-C jako generator obciążenia dla wdrożonych maszyn wirtualnych SQL Server. Skonfigurowaliśmy osiem maszyn wirtualnych (cztery na węzeł), co zapewniło dobrą równowagę między obciążeniem procesora i dysku w klastrze. Generatory obciążenia były hostowane w systemie poza tym środowiskiem i połączone z tym klastrem za pośrednictwem sieci 10GbE.
Konfiguracja testowania serwera SQL Server (na maszynę wirtualną)
- Windows Server 2019
- Zajętość pamięci masowej: 800 GB przydzielonych, 620 GB wykorzystanych
- 8 procesory wirtualne
- 60 GB pamięci RAM (55 GB w konfiguracji z trybem awaryjnym)
- SQL Server 2019
- Rozmiar bazy danych: skala 1,500
- Obciążenie wirtualnego klienta: 15 000
- Bufor RAM: 48 GB
- Długość testu: 3 godziny
- 15 minut przygotowania wstępnego
- 45-minutowy okres próbny
W naszych testach skupiliśmy się na wydajności opóźnień, przy czym wydajność transakcji pozostała stała na poziomie Benchmark Factory.
Przy obciążeniu łącznie 4 maszyn wirtualnych (2 na węzeł) zmierzyliśmy średnie opóźnienie wynoszące 2.5 ms i łącznym obciążeniu transakcji wynoszącym 12 649 TPS.
Po zwiększeniu obciążenia do 6 maszyn wirtualnych średnie opóźnienie nieznacznie wzrosło do 4 ms przy łącznym obciążeniu transakcji na poziomie 18 967 TPS.
Przy szczytowym obciążeniu 8 maszyn wirtualnych (4 na węzeł) opóźnienie osiągnęło średnio 6.5 ms, a łączna liczba transakcji wyniosła 25 277.
Podczas testów wyraźnie dostrzegliśmy korzyści z zastosowania dysków SSD Optane w tym zestawie. Przejęły one ciężar zapisów, zwalniając dyski SSD QLC do responsywnych odczytów, stanowiących warstwę o wysokiej przepustowości. Nawet po podwojeniu obciążenia do ośmiu maszyn wirtualnych SQL Server obsługujących ten klaster HCI, opóźnienie wzrosło tylko nieznacznie, co pokazuje, że ta konfiguracja dobrze nadaje się do obsługi obciążeń, które mogą okresowo gwałtownie wzrosnąć.
Chociaż wydajność w pełni operacyjnym środowisku jest istotna, kolejnym czynnikiem jest to, jak obciążenia będą działać, jeśli węzeł w klastrze przejdzie w tryb offline lub obciążenia będą musiały zostać zmigrowane w celu konserwacji systemu. Aby przetestować ten scenariusz, zachowaliśmy pełne obciążenie 8 maszyn wirtualnych i przenieśliśmy je do jednego węzła. W tej konfiguracji zmierzyliśmy średnie opóźnienie na poziomie zaledwie 4.5 ms, co było lepszym wynikiem niż w przypadku obu węzłów online. Wynika to częściowo z wyeliminowania narzutu związanego z pamięcią masową w przypadku działania pojedynczego węzła.
Wniosek
W ramach tego projektu przeprowadziliśmy serię testów SQL w systemie, aby zilustrować obciążenia wydajnościowe, które często występują w zastosowaniach brzegowych i w małych i średnich firmach (SMB). Naszym celem było zrozumienie, jak skutecznie platforma Microsoft Azure Stack HCI w tym klastrze DataON była w stanie wykorzystać możliwości sprzętowe, aby osiągnąć pożądane rezultaty. W szczególności oznacza to dostarczenie rozwiązania oferującego rzadkie połączenie wydajności i wartości.
Nasze testy potwierdzają, że dobór komponentów przez firmę DataON okazał się skuteczny w tworzeniu ekonomicznego rozwiązania Azure Stack HCI SDS, które działa niezwykle wydajnie. Wynika to po części z wyboru dysku Intel SSD D5-P4326 do przechowywania danych o dużej pojemności, który efektywnie wykorzystuje dyski Intel Optane SSD do obsługi warstw.
To kluczowa kwestia, ponieważ dyski SSD QLC zapewniają klastrowi ogromną, gęstą pojemność, a jednocześnie oferują korzyści w zakresie całkowitego kosztu posiadania (TCO) typowe dla pamięci flash. Mówiąc wprost, dyski QLC oferują 15.36 TB pojemności na kieszeń na dysk 2.5 cala. Aby uzyskać taką samą pojemność, konieczne byłoby zastosowanie 8 dysków twardych o pojemności 2 TB w macierzy RAID 0 lub przejście na obudowę 3.5 cala, aby skorzystać z większych, ale jeszcze wolniejszych dysków twardych. Tak czy inaczej, spadek wydajności między dyskiem Intel QLC a dyskami twardymi jest więcej niż znaczący; to wykładnicza różnica, jeśli chodzi o responsywność aplikacji.
Choć chcielibyśmy, aby wszystkie odczyty i zapisy pochodziły z dysków SSD Optane (ponieważ są one najwydajniejszymi nośnikami w tej konfiguracji), czasami może się zdarzyć, że coś pójdzie nie tak. W takim przypadku wydajność dysków SSD QLC przewyższy wydajność dysków twardych, chroniąc klaster HCI przed nierównomiernościami wydajności typowymi dla topologii łączących pamięć flash i dyski twarde. W rzeczywistości zaobserwowaliśmy tu tak zrównoważoną wydajność, że w przyszłości firmy mogą być zmuszone do ponownego przemyślenia konstrukcji dysków HDD/Flash i większego nacisku na konstrukcje QLC/Optane, aby w pełni wykorzystać potencjał technologii HCI.
Innym poważnym problemem w przypadku klastrów dwuwęzłowych jest wydajność w stanie zdegradowanym. Przetestowaliśmy to, powodując awarię węzła i przekazując całe obciążenie SQL pojedynczemu węzłowi. W tym przypadku SQL był bardziej responsywny i działał nieco lepiej niż w klastrze dwuwęzłowym, głównie dzięki mniejszemu obciążeniu wynikającemu z komunikacji między węzłami. Oczywiście nie zaleca się długotrwałej pracy w takim stanie zdegradowanym, ale pocieszające jest to, że można to zrobić bez utraty wydajności.
Podsumowując, klaster HCI HCI-224 z dyskami SSD D5-P4326 QLC był prosty we wdrożeniu, łatwy w obsłudze i wystarczająco wydajny do obsługi szerokiego zakresu obciążeń. Jego cena sprawia, że jest on dostępny dla szerokiego grona użytkowników. Co więcej, system uzyskał certyfikat Microsoft Windows Server 2019 i został zatwierdzony jako rozwiązanie Intel Select.
Niniejszy raport jest sponsorowany przez DataON. Wszystkie poglądy i opinie wyrażone w niniejszym raporcie opierają się na naszej obiektywnej opinii na temat rozpatrywanego produktu/produktów.
Amazon