Nowoczesne serwery wykorzystują rosnący świat kart akceleracyjnych, aby zapewnić nowe lub ulepszone możliwości. Podczas gdy wiele osób myśli od razu o akceleracji, od razu myśli o GPU, istnieje nowa generacja procesorów, które nie tylko koncentrują się na wydajności, ale także na ochronie danych i ekonomii. Pliops Extreme Data Processor (XDP) jest jednym z takich akceleratorów, pomagając klientom wykorzystać unikalne połączenie wydajności, pojemności i ekonomii dzięki korporacyjnym dyskom SSD opartym na technologii QLC.
Krótki przegląd wpływu pamięci Flash na centra danych
Dyski SSD NVMe znacząco wpłynęły na wydajność serwerów i pamięci masowych, zwłaszcza gdy osiągnęły prędkość 4. generacji. Wzrost ten obciążył jednak inne komponenty systemu, co oznaczało, że tradycyjne architektury kart RAID zaczęły stanowić przeszkodę. Rynek pamięci flash ponownie się zmienił wraz z wprowadzeniem pamięci flash QLC. Serwery potrzebują nowych rozwiązań, aby efektywnie wykorzystać te nowoczesne technologie.
Firma Intel, obecnie Solidigm, jako pierwsza wprowadziła na rynek wysokiej jakości dysk SSD QLC. Solidigm P5316 to obecnie standard w kategorii dysków SSD o dużej pojemności i przystępnej cenie dla przedsiębiorstw. W przeszłości poświęciliśmy tym dyskom sporo czasu, nie tylko w naszych recenzjach, ale także we wdrożeniach korporacyjnych i chmurowych, które pozwalają na ich właściwe wykorzystanie.
Co rozumiemy przez prawidłowe użytkowanie? Cóż, dyski SSD QLC tradycyjnie charakteryzują się bardzo dobrą wydajnością odczytu, ale podczas zapisu na dyskach systemy muszą być nieco bardziej inteligentne. W naszej recenzji dysku P5316 omówiliśmy termin „jednostka pośrednia” (IU). Jest to mniej więcej rozmiar bloku, do którego dysk chce zapisać dane. W przypadku dysku P5316, IU wynosi 64 KB. Chociaż można zapisywać dane na dysku w blokach 4 KB, jest to bardzo nieefektywne pod względem wydajności i wzmocnienia zapisu.
Zagłębienie się w szczegóły dotyczące dysków SSD jest ważne dla zrozumienia co najmniej jednego z kluczowych powodów istnienia Pliops XDP. Z jednej strony działa on jako karta RAID dla serwera, agregując i zarządzając dyskami SSD. XDP jest również wspierany przez wbudowaną pamięć DRAM i zabezpieczenie zasilania, dzięki czemu może łączyć dane zapisu na dyskach, zapewniając wydajność i wykorzystanie pojemności lepsze niż w przypadku RAID-u programowego.
Zapotrzebowanie na urządzenia IoT w aplikacjach
Gromadzenie danych stale rośnie w niesamowitym tempie. Potrzeba łatwego dostępu do tych danych i powiązanych z nimi aplikacji jest jeszcze bardziej oczywista, szczególnie biorąc pod uwagę znaczenie gromadzenia informacji na brzegu sieci i rozwoju aplikacji AI/ML.
Przedsiębiorstwa w pełni przyjmują technologię SSD, biorąc pod uwagę ciągły wzrost pojemności i jednocześnie stają się jeszcze bardziej opłacalne. Dyski NVMe cieszą się szerokim uznaniem i mogą działać ponad 1,000 razy szybciej niż dyski twarde (HDD). Centra danych wdrażają sieci o przepustowości 400 Gb/s, aby nadążyć za tymi urządzeniami pamięci masowej, a wydajne protokoły, takie jak NVMe-over-Fabrics (NVMe-oF), poszerzają granice możliwości systemów i infrastruktur.
Aplikacje stały się również bardziej wydajne, ponieważ zapotrzebowanie na urządzenia IoT stale rośnie w niespotykanym dotąd tempie. Więcej serwerów, pamięci masowych i przełączników zwiększa złożoność i tak już złożonego środowiska. Nie zapominajmy też o znaczeniu wydajnego i bezpiecznego tworzenia kopii zapasowych wszystkich tych danych.
Wydawałoby się, że instalacja dysków SSD NVMe rozwiązałaby problemy z wydajnością, z którymi borykają się obecnie przedsiębiorstwa. Jednak dyski te nie są efektywnie wykorzystywane. Prawo Moore'a jest w tyle, a wydajność procesorów ma się podwoić co 20 lat, a nie co dwa lata. Dodanie większej liczby rdzeni nie rozwiązuje problemu wydajności, ponieważ rdzenie te korzystają z tej samej pamięci i wejścia/wyjścia. Dodanie większej liczby serwerów mogłoby sprawdzić się w starym powiedzeniu, że więcej znaczy lepiej, ale jest to bardzo kosztowne i niekorzystne dla środowiska rozwiązanie.
Z powodu dużej ilości danych przechowywanych na szybkich dyskach SSD, przetwarzanie i zarządzanie przeciążeniem procesora zadaniami wymagającymi dużej mocy obliczeniowej stało się koszmarem. Serwery nie są w stanie sprostać wymaganiom społeczności użytkowników ani zapewnić niezawodnej ochrony w przypadku awarii dysku, zwłaszcza w przypadku wyższej wydajności i pojemności.
Procesor danych Pliops Extreme Data Processor (XDP) może spełnić wiele wymagań wydajnościowych w zakresie pamięci masowej i ochrony danych opartych na dyskach SSD. Pliops XDP to nowy standard w zakresie przyspieszania aplikacji, zwiększający efektywność inwestycji w infrastrukturę centrum danych.
Tak jak procesory graficzne pokonują nieefektywność przetwarzania, przyspieszając działanie sztucznej inteligencji i analiz, tak Pliops XDP pokonuje nieefektywność pamięci masowej, znacząco zwiększając wydajność i znacząco obniżając koszty infrastruktury dla współczesnych aplikacji. Pliops XDP upraszcza przetwarzanie danych i zarządzanie pamięcią masową SSD. Dostarczany na łatwej we wdrożeniu karcie PCIe HHHL (połowa wysokości, połowa długości), Pliops XDP radykalnie zwiększa wydajność, niezawodność, pojemność i efektywność w zróżnicowanych obciążeniach wymagających dużej ilości danych.
Architektura procesora danych Pliops Extreme
Pliops XDP został zaprojektowany z dwoma interfejsami umożliwiającymi hostom dostęp do niego, co jest kluczem do zapewnienia wyższej wydajności.
Pierwszym z nich jest standardowy interfejs blokowy, który cieszy się najszerszym uznaniem, a XDP wygląda jak każde inne urządzenie pamięci masowej w systemie. Po zainstalowaniu XDP po prostu się wyświetla.
Drugim interfejsem hosta jest API biblioteki klucz-wartość (KV) kompatybilnej z RocksDB. Obsługiwany jest również rozwijający się standard NVMe-KV. Ten interfejs to najefektywniejszy sposób, aby aplikacje miały bezpośredni dostęp do XDP i zyskały jeszcze wyższą wydajność. XDP traktuje bloki jako specjalny typ pary klucz-wartość, więc wszystko przechodzi przez silnik w ten sam sposób.
Wyższą wydajność w Pliops XDP można przypisać sprzętowemu wykonywaniu większości funkcji. Kompresja z szybkością linii jest realizowana za pomocą szybkiego i wydajnego silnika akcelerowanego sprzętowo. Silnik pamięci klucz-wartość również jest oparty na sprzęcie. Pliops porównuje to do RocksDB na chipie. Silnik klucz-wartość to prawdziwy „koń roboczy” XDP, wykonujący wiele magicznych czynności, aby zapewnić realne korzyści wydajnościowe.
Mówiąc prościej, kompresja bloku tworzy obiekt o dowolnym rozmiarze. Flash ma stałe rozmiary bloków, więc stwarzałoby to problemy z zarządzaniem pojemnością. Problem ten rozwiązuje się poprzez scalanie skompresowanych bloków, pakowanie ich razem, sortowanie i indeksowanie w celu szybkiego pobierania, a następnie odśmiecanie pamięci. W miarę aktualizacji bloki są rozpakowywane, a proces rozpoczyna się od nowa. To właśnie napędza operacje zapisu, odczytu i przestrzeni w rozwiązaniach programowych. Z punktu widzenia procesora, host idzie na kompromis, aby nie zużywać całej mocy obliczeniowej.
Pliops zaimplementował niezwykle wydajne algorytmy i struktury danych, które wymagają dużej mocy obliczeniowej. Na przykład XDP zapewnia wydajność równą pięciuset rdzeniom Xeon Gold w RocksDB.
Niezawodność
Tradycyjne rozwiązania do ochrony danych wymagają kompromisów zarówno pod względem wydajności, jak i pojemności. Jednak Pliops XDP eliminuje
te kompromisy z zaawansowaną ochroną przed awarią dysku, która zapewnia stałą dostępność danych i eliminuje
Utrata danych i przestoje. XDP obsługuje awarie wielu pojedynczych dysków i oferuje wirtualną pojemność (VHC), eliminując potrzebę stosowania dysku zapasowego. Ponieważ XDP zarządza danymi, odbudowywane są tylko rzeczywiste dane, w przeciwieństwie do rozwiązań opartych na RAID. Innymi słowy, użytkownicy otrzymują ochronę danych z prędkością flash bez spadku wydajności.
W przypadku nagłej utraty zasilania, XDP zachowuje metadane i dane użytkowników w trakcie transmisji, automatycznie przenosząc je do pamięci nieulotnej. Odzyskiwanie danych odbywa się automatycznie i rozpoczyna się natychmiast po przywróceniu zasilania, wykorzystując dostępną pojemność pamięci VHC, bez zmniejszania pojemności użytkowej.
Pojemność
Pliops XDP obsługuje wszystkie technologie pamięci flash Command, TLC, QLC, Intel Optane oraz dyski SSD dowolnego producenta. Kompresja liniowa XDP wykorzystuje wiele silników, aby zapobiegać powstawaniu wąskich gardeł, odciążając procesor. Kompresja, minimalne obciążenie związane z awarią dysku i niemal pełne wykorzystanie dysku (95%) zwiększają pojemność użytkową nawet sześciokrotnie. Ten wzrost pojemności użytkowej zapewnia znaczną redukcję kosztu na TB.
Dyski SSD mają skończoną wytrzymałość, co oznacza ilość danych, które można zapisać i usunąć, zanim urządzenie się zużyje i nie będzie już mogło bezpiecznie przechowywać danych. Wraz z upowszechnianiem się dysków SSD QLC i nowszych, poziom wytrzymałości spada. Ponieważ XDP przekształca wszystkie losowe zapisy w sekwencyjne, eliminuje ten problem, co przekłada się na nawet 7-krotnie większą wytrzymałość.
Należy zauważyć, że obecnie Pliops XDP obsługuje 128 TB danych użytkownika na kartę. W przypadkach, gdy potrzeba więcej pamięci, możliwe jest wykorzystanie wielu kart XDP w systemie hosta.
Wydajność:
Kompaktowy, a zarazem wydajny, XDP pozwala w pełni wykorzystać istniejącą infrastrukturę, aby sprostać wzrostowi danych w organizacji i wdrażaniu aplikacji. Co więcej, jest łatwy do wdrożenia w całym centrum danych. Pliops XDP może zapewnić nawet o 80% lepszą ekonomiczność w szerokim zakresie obciążeń.
Obecnie Pliops wykorzystuje interfejs CLI do instalacji oprogramowania XDP.
Interfejs jest przejrzysty i zwięzły. Konfiguracja XDP i nawigacja po stanie macierzy są łatwe, jeśli zajdzie taka potrzeba.
Funkcje zaawansowane
Zaawansowane funkcje Pliops XDP obejmują:
- Standardowe urządzenie blokowe o wysokiej i spójnej wydajności
- Bezkompromisowa ochrona przed awarią dysku (DFP) chroni przed awariami wielu pojedynczych dysków
- Zwiększa użyteczną pojemność dzięki kompresji, wysokiemu wypełnieniu dysku i minimalnemu obciążeniu DFP
- Wirtualna pojemność gorąca eliminuje potrzebę posiadania dedykowanego zapasowego dysku
- Zmniejszony prąd zapisu wydłuża żywotność dysków SSD TLC i QLC
- Szybkie odzyskiwanie poprzez odbudowę wyłącznie danych użytkownika do przydzielonej wirtualnej pojemności gorącej
- Konfigurowalna przez użytkownika szybkość odbudowy w celu zrównoważenia wydajności
- Całkowita ochrona danych i metadanych w przypadku nagłej awarii zasilania
- Równoważy nadmierne alokowanie i poprawia wydajność
Rozwiązanie Pliops XDP pozwala w pełni wykorzystać potencjał pamięci flash, umożliwiając aplikacjom korporacyjnym i chmurowym dostęp do danych nawet 1,000 razy szybciej przy wykorzystaniu zaledwie ułamka tradycyjnego obciążenia i mocy obliczeniowej.
Specyfikacje procesora danych Pliops Extreme
| Wydajność | 3.2 mln IOPS RR, 1.2 mln IOPS RW, 30 GB/s SR, 6.4 GB/s SW |
| Napisz atomowość | Obsługa zapisów atomowych do 64 KB w celu jawnego lub przezroczystego wyeliminowania podwójnego zapisu |
| Pojemność | 128 TB danych użytkownika na 128 TB dysku fizycznego z ochroną parzystości |
| Interfejs API hosta | • Standardowe urządzenie blokowe • Interfejs API biblioteki KV |
| Kompresja | Sprzęt przyspieszony |
| Obsługa dysków SSD | • Interfejs: PCIe Gen 3/4/5 NVMe, NVMe-oF • Typy: dysk SSD TLC, dysk SSD QLC, Intel® Optane™ |
| Dostawcy napędów | Obsługiwane są Samsung, WD, Micron, Intel, Kioxia, Hynix, Seagate i inne |
| Wymiary fizyczne | Niski profil HHHL (6.6” X 2.536”) – wspornik wysoki i krótki |
| Wsparcie OS | Wszystkie warianty Linuksa |
| Obsługiwane serwery | Dell, HPE, Lenovo, Supermicro, Quanta, Wywinn, Inspur, Sugon, Fujitsu, Hitachi – wszystkie standardowe serwery 1U / 2U |
| Ochrona przed awarią zasilania | Wszystkie dane są chronione przed nagłą awarią zasilania |
| temperatura robocza | 10-52°C przy 250 LFM |
| Temperatura przechowywania | 5°C do 35°C, < 90% bez kondensacji |
| Zasilanie | Typowo <25 W, maks. 45 W, +12 V DC przez adapter PCIe |
| Gwarancja | 3 lata, bezpłatne zaawansowane wsparcie techniczne, zaawansowana opcja wymiany |
| Certyfikaty prawne | AS/NZS CISPR 22, ICES -003, Klasa B, EN55022/EN55024, VCCI V-3, RRA nr 2013-24 i 25, Zgodność z RoHS, EN/IEC/UL 60950, CNS 13438, FCC 47 CFR część 15 podczęść B, Klasa B, WEEE |
| MTBF | Do 4.5 mln godzin |
Wydajność
Rozwiązanie Pliops XDP pomoże osiągnąć nawet 10-krotnie wyższą wydajność w przypadku baz danych, analiz, sztucznej inteligencji/uczenia maszynowego i innych zastosowań.
Przełomowe struktury danych i algorytmy zapewniają wydajność równą setkom rdzeni oprogramowania hosta. XDP pojawia się w systemie jako urządzenie blokowe i przyspiesza działanie dowolnej aplikacji. Dzięki bazom danych takim jak MySQL, MongoDB i Cassandra, Pliops XDP zapewnia zwiększoną gęstość instancji, jednocześnie redukując opóźnienia w bazach danych takich jak MySQL, MongoDB i Cassandra.
Przetestowaliśmy wydajność dysku Pliops XDP w naszym laboratorium, w komputerze Dell PowerEdge R750 i czterech dyskach SSD Solidigm P5316 QLC o pojemności 30.72 TB. Porównaliśmy wydajność programowego RAID-u 0 z użyciem programu mdadm z dyskiem XDP w konfiguracji RAID-5, w obu przypadkach z rozmiarem bloku 64 KB. To wymagało więcej pracy na karcie XDP i miało na celu zaprezentowanie konfiguracji RAID-u o najwyższej wydajności. Polecenie mdadm to polecenie służące do budowania, zarządzania i monitorowania urządzeń Linux MD (zwanych również macierzami RAID). Należy pamiętać, że program mdadm nie jest preinstalowany w systemach Linux.
W ramach wstępnego przygotowania, przed pomiarem wydajności sekwencyjnego odczytu i zapisu, wykonano trzy sekwencyjne wypełnienia 128 KB danych o rozmiarze 10 TB. W przypadku testów losowego odczytu i zapisu, wykonano trzy losowe wypełnienia 128 KB danych o rozmiarze 10 TB. Następnie testy przetestowano przy użyciu 10 TB danych dla różnych głębokości kolejek i różnych rozmiarów bloków, z interwałem wynoszącym 120 sekund.
W przypadku losowych transferów 4 KB, Pliops XDP wypadł nieco gorzej niż programowy RAID0, osiągając 2.6 mln IOPS w porównaniu do 3.7 mln IOPS. Patrząc jednak na wydajność losowego zapisu, odnotowano ogromny wzrost o 832%, przechodząc z programowego RAID0 ze 135 tys. IOPS do aż 1.3 mln IOPS w XDP. Zarówno losowe obciążenie odczytu, jak i zapisu zostało przetestowane na poziomie 8 wątków/128 kolejek.
Zwiększając rozmiar bloku do 16 KB, Pliops XDP był w stanie wyprzedzić programowe RAID0 pod względem obciążeń odczytu i zapisu. Zmierzyliśmy 1.9 mln IOPS dla losowego odczytu 16 KB z XDP w porównaniu z 1.7 mln IOPS dla SW RAID0. W przypadku losowego zapisu 16 KB różnica wyniosła 370 tys. IOPS z XDP do 131 tys. IOPS z SW RAID0. Zarówno losowe obciążenie odczytu, jak i zapisu zostało przetestowane na poziomie 8 wątków/128 kolejek.
Łącząc losowe operacje odczytu i zapisu, zwiększyliśmy rozmiary transferów z bloków 4K do 16K. Ogólnie rzecz biorąc, Pliops XDP odnotował ogromne zyski. W przypadku 4K 70/30 oferuje on ogromny wzrost o 561%, mierząc 2.8 mln IOPS do 422 tys. IOPS z SW RAID0. Przy rozmiarze bloku 8K wzrost był nieznacznie mniejszy i wyniósł 348%, mierząc 1.9 mln IOPS do 428 tys. IOPS w SW RAID0. Przy rozmiarze transferu 16K różnica zmniejszyła się, ale nadal była to duża poprawa o 157% w porównaniu z SW RAID0. Tutaj zmierzyliśmy 1.1 mln IOPS z XDP w porównaniu z 427 tys. IOPS z SW RAID0.
Podczas gdy poprzednie obciążenia koncentrowały się na transferach losowych, nasz ostatni test koncentruje się na sekwencyjnych prędkościach transferu dużych bloków. W tym przypadku Pliops XDP nadal wykazywał znaczące wzrosty, szczególnie w wydajności zapisu. Zaczynając od przepustowości odczytu, zmierzyliśmy 48 GB/s z XDP w porównaniu do 27 GB/s z SW RAID0. W zapisie XDP miał 184% przewagę, osiągając 6.3 GB/s w porównaniu do 2.2 GB z SW RAID0.
Chociaż wydajność w optymalnych warunkach jest zawsze mocną stroną każdej platformy pamięci masowej, zrozumienie czasu trwania operacji odbudowy jest ważnym punktem danych wraz ze wzrostem pojemności dysków. W przypadku naszej 4-dyskowej macierzy XDP z dyskami SSD Solidigm P5316 o pojemności 30.72 TB, symulowaliśmy awarię dysku i przeprowadziliśmy odbudowę. Proces odbudowy trwał 450 minut z uwzględnieniem ruchu w tle. Używając funkcji FIO do obsługi obciążenia 8K 70/30 z łącznym ruchem 905 MB/s, prędkość odbudowy macierzy nadal utrzymywała się na poziomie 14.65 min/TB.
Uwagi końcowe
Nowoczesne dyski SSD QLC klasy enterprise, takie jak Solidigm P5316 używany w tym teście, mają potencjał, aby zapewnić znakomite połączenie wydajności i pojemności. Nowoczesne infrastruktury wymagają jednak nowych narzędzi do zarządzania pamięcią flash. Stare karty RAID są nieporęczne, a podstawowy RAID programowy pozostawia wiele do życzenia pod względem wydajności. Ta rzeczywistość otworzyła drzwi dla kreatywnych rozwiązań, takich jak procesor danych Pliops Extreme Data Processor.
Postanowiliśmy ocenić wydajność akceleratora XDP w porównaniu z RAID-em programowym. Włożyliśmy cztery dyski P5316 o pojemności 30.72 TB do serwera Dell PowerEdge R750, porównując wydajność Pliops XDP z RAID-em programowym. Następnie uruchomiliśmy RAID programowy, konfigurując go w trybie RAID0, podczas gdy XDP był ustawiony na RAID5.
Po krótkim przeglądzie wyników zauważyliśmy ogromne korzyści we wszystkich obszarach. W szczególności w przypadku losowego zapisu 4K, odnotowaliśmy 832% poprawę wydajności, chociaż wydajność odczytu przy rozmiarze bloku 4K uległa pogorszeniu. Jednak po zwiększeniu rozmiaru bloku, Pliops XDP pokazał swoją siłę zarówno w scenariuszach transferu losowego, jak i sekwencyjnego. Nawet w naszym losowym, mieszanym obciążeniu z podziałem odczytu/zapisu 70/30, Pliops XDP zanotował poprawę od 560% do 156% w porównaniu z rozmiarami transferu 4K do 16K w porównaniu z SW RAID0.
Ogólnie rzecz biorąc, uruchomienie karty Pliops jest proste. Choć uwielbiamy pracę z dyskami SSD QLC o dużej pojemności, czasami trudno znaleźć systemy, które mogłyby prawidłowo wykorzystać ten nośnik. Dzięki procesorowi danych Pliops Extreme Data Processor, cała matematyka zmienia się, jeśli chodzi o wydajność serwera w przeliczeniu na koszt terabajta. Łatwo jest również samemu spróbować – kliknij poniższy link, aby rozpocząć korzystanie z PoC.
Pliops sponsoruje ten raport. Wszystkie poglądy i opinie wyrażone w tym raporcie opierają się na naszej obiektywnej opinii na temat rozpatrywanego produktu/produktów.
Amazon