W miarę jak centra danych dążą do większej efektywności energetycznej, szczególnie w obliczu obciążeń związanych ze sztuczną inteligencją (AI), wiele z nich decyduje się na chłodzenie cieczą, aby zoptymalizować wydajność i zarządzać zużyciem energii. Chłodzenie cieczą pozwala efektywnie zarządzać ciepłem generowanym przez serwery o wysokiej wydajności, umożliwiając im pracę z maksymalną wydajnością bez wysokich kosztów związanych z energochłonnym chłodzeniem powietrznym. Dyski SSD o wysokiej gęstości firmy Solidigm idealnie nadają się do takich środowisk, oferując wyjątkową wydajność terabajt/wat.
Chociaż sztuczna inteligencja zmusza wielu operatorów centrów danych do rozważenia zastosowania chłodzenia cieczą, jej wpływ sięga znacznie dalej. W poprzednim raporcie przeanalizowaliśmy wpływ chłodzenia cieczą na serwer Dell PowerEdge R760 o wysokości 2U. Bezpośrednie chłodzenie cieczą (DLC) firmy CoolIT znacząco zmniejszyło zużycie energii przez serwer poprzez obniżenie prędkości wentylatorów, co pozwoliło zaoszczędzić 200 watów. Testy te koncentrowały się wyłącznie na wydajności procesora; tym razem chcieliśmy skupić się na pamięci masowej, aby zrozumieć wpływ dysków SSD na zużycie energii przez serwer.
Czym są aktywne stany zasilania NVMe?
Stany zasilania NVMe to predefiniowane stany , w które urządzenie NVMe może przechodzić w celu zarządzania zużyciem energii i wydajnością. Specyfikacja NVMe dopuszcza maksymalnie 32 stany zasilania, z których każdy charakteryzuje się maksymalnym zużyciem energii, opóźnieniem wejścia (ENLAT), opóźnieniem wyjścia (EXLAT) oraz względnymi wartościami wydajności. Stany te dzielą się na operacyjne i nieoperacyjne. Operacyjne stany zasilania, czyli stany P, umożliwiają urządzeniu obsługę operacji wejścia/wyjścia. Stany nieoperacyjne, czyli stany F, są używane, gdy urządzenie jest bezczynne i nie obsługuje operacji wejścia/wyjścia.
Zarządzanie tymi stanami zasilania ma kluczowe znaczenie dla optymalizacji efektywności energetycznej urządzeń NVMe, zwłaszcza w środowiskach, w których zużycie energii jest kwestią priorytetową, takich jak urządzenia brzegowe i specjalistyczne aplikacje, takie jak dyski SSD na Międzynarodowej Stacji Kosmicznej. Specyfikacja NVMe obejmuje na przykład funkcje takie jak Autonomous Power State Transition (APST), która umożliwia urządzeniu automatyczne przełączanie między stanami zasilania w zależności od bieżącego obciążenia i warunków termicznych. Pomaga to zrównoważyć wydajność z poborem energii, zapewniając niezawodną pracę w środowiskach odległych lub o ograniczonej dostępności. Obsługa Runtime D3 (RTD3) pozwala urządzeniu przejść w stan bezczynności z zerowym poborem mocy, co dodatkowo oszczędza energię, gdy urządzenie nie jest używane.
Stany zasilania NVMe są szczególnie przydatne, gdy priorytetem jest efektywność energetyczna i zarządzanie temperaturą. Na przykład w urządzeniach brzegowych możliwość szybkiego przejścia do stanów niskiego poboru mocy w stanie bezczynności może znacznie zmniejszyć zużycie energii, co jest kluczowe dla urządzeń pracujących w odległych lub trudnych warunkach o ograniczonej dostępności zasilania. Osiąga się to dzięki takim funkcjom, jak zarządzanie energią w stanie aktywnym PCIe (ASPM) oraz stanom niskiego poboru mocy, takim jak L1.1 i L1.2, które redukują zużycie energii do minimum. Zarządzanie mocą i wydzielaniem ciepła na ISS ma kluczowe znaczenie ze względu na ograniczone i kontrolowane środowisko. Stany zasilania NVMe mogą pomóc w ograniczaniu poboru mocy przez dyski SSD, co pozwala na zarządzanie mocą obliczeniową (TDP) i optymalizację ogólnego budżetu energetycznego, zapewniając wydajną pracę dysków SSD bez przegrzewania się.
W tych wyspecjalizowanych środowiskach stany zasilania NVMe zapewniają elastyczny i efektywny sposób zarządzania zużyciem energii przez urządzenia NVMe. Wykorzystując te stany, urządzenia mogą równoważyć wydajność i energooszczędność, dzięki czemu nadają się do różnych zastosowań, od przetwarzania brzegowego po misje kosmiczne. Możliwość dynamicznej regulacji stanów zasilania w czasie rzeczywistym gwarantuje, że urządzenia NVMe mogą sprostać zróżnicowanym wymaganiom różnych środowisk, jednocześnie optymalizując efektywność energetyczną i zarządzanie temperaturą.
Oprócz stanów zasilania NVMe, koncepcja temperatury kompozytowej i temperatury dotykowej odgrywa kluczową rolę w zarządzaniu wydajnością termiczną dysków SSD NVMe w nowych dyskach SSD klasy korporacyjnej. Temperatura dotykowa reprezentuje zewnętrzną temperaturę obudowy dysku SSD. Firma Solidigm jest liderem we wdrażaniu nowych, wyższych standardów temperatury dotykowej. Na przykład, fabrycznie ustawiona temperatura dotykowa dla Solidigm D5-P5336 wynosi 80°C. Ten wyższy limit temperatury dotykowej pozwala na chłodzenie dysków SSD przy niższym przepływie powietrza lub na pracę w wyższych temperaturach otoczenia. Ta elastyczność umożliwia centrom danych optymalizację strategii chłodzenia i poprawę ogólnego zarządzania temperaturą, co potencjalnie obniża koszty chłodzenia oraz zwiększa niezawodność i żywotność dysków SSD.
Zarządzanie aktywnymi stanami zasilania NVMe
W środowisku testowym Linux z systemem Ubuntu 22.04 możemy użyć zestawu narzędzi NVMe do odpytywania dysku w celu wyświetlenia i zmiany stanów zasilania D5-P5336. Jak widać poniżej, dysk obsługuje stany 0, 1 i 2, przy czym etap 0 jest najmniej restrykcyjny, a etap 2 najbardziej.
W przypadku dysku Solidigm D5-P5336 o pojemności 61.44 TB, PS0 wynosi 25 W, PS1 15 W, a PS2 10 W. Dysk w stanie spoczynku pobiera około 5.5 W, więc wraz ze wzrostem mocy, dysk SSD ma coraz mniej mocy do wykorzystania na operacje odczytu i zapisu w pamięci NAND. Operacje zapisu są najbardziej dotknięte, ponieważ zapis do pamięci NAND zużywa więcej energii niż odczyt z niej.
Poniżej znajduje się polecenie sprawdzające aktualny stan zasilania naszego dysku SSD Solidigm D5-P5336. Aktualna wartość 00000000 oznacza, że dysk znajduje się w trybie PS0, czyli w trybie o najwyższej mocy (25 W).
Podobne polecenie jest wydawane w celu zmiany stanu zasilania, gdzie końcowa liczba reprezentuje tryb zasilania, w którym ma znajdować się dysk SSD. Na przykład, poniższe polecenie ustawia tryb zasilania na PS0 na dysku SSD Soldigim D5-P5336. Jeśli używasz trybu zasilania 1 lub 2, zmień wartość parametru —-value=, aby odpowiadała właściwemu trybowi zasilania.
Wpływ stanów energetycznych na wydajność
Aby zmierzyć wpływ stanów zasilania na pobór mocy i wydajność dysku SSD Solidigm D5-P5336 o pojemności 61.44 TB, wyposażyliśmy serwer Dell PowerEdge R760 w 24 dyski SSD. Korzystając z systemu Ubuntu i generatora obciążenia FIO, mogliśmy z łatwością uruchomić spójne obciążenie na wszystkich dyskach SSD i aktualizować tryb zasilania na bieżąco.
Do monitorowania zużycia energii na poziomie systemu wykorzystaliśmy wbudowany system monitorowania zużycia energii firmy Dell, wbudowany w system zarządzania serwerem iDRAC9.
Skoncentrowaliśmy się na sekwencyjnych obciążeniach przepustowości odczytu i zapisu, używając rozmiaru bloku 128 KB na każdym dysku, a następnie zmierzyliśmy łączną wydajność wszystkich 24 dysków SSD. Należy zauważyć, że ta konkretna konfiguracja Dell PowerEdge R760 z 24 zatokami NVMe wykorzystuje przełącznik PCIe, a nie bezpośrednio podłączone zatoki NVMe. Zatem całkowita zmierzona przepustowość nasyca dostępne linie przełącznika PCIe przed dotarciem do dysków. Ma to wpływ na całkowitą wydajność odczytu, którą zmierzyliśmy w porównaniu ze specyfikacją Soldigim P5536, ale łączne prędkości zapisu były poniżej tego limitu.
| Całkowita moc | Szybkość pisania | Odczyt GB/s | Watts Ponad bazą |
Waty/napęd (z narzutem systemowym) |
|
|---|---|---|---|---|---|
| Bezczynny, brak napędów | 462 | - | - | - | - |
| Zainstalowano napędy bezczynne | 594 | - | - | 132 | 5.5 |
| 24x Sekwencyjny odczyt PS0 | 858 | - | 109GB / s | 396 | 16.5 |
| 24x Sekwencyjny odczyt PS1 | 858 | - | 105GB / s | 396 | 16.5 |
| 24x Sekwencyjny odczyt PS2 | 759 | - | 79.8GB / s | 297 | 12.375 |
| 24x sekwencyjny zapis PS0 | 1089 | 82.5GB / s | - | 627 | 26.125 |
| 24x sekwencyjny zapis PS1 | 825 | 34.4GB / s | - | 363 | 15.125 |
| 24x sekwencyjny zapis PS2 | 726 | 17.3GB / s | - | 264 | 11 |
Wracając do naszego artykułu o korzyściach płynących z przejścia platformy chłodzonej powietrzem na chłodzenie cieczą, zauważyliśmy niewielki wzrost wydajności procesorów, ale zaoszczędziliśmy również 200 W mocy. Moc jest cennym towarem w nowej fali serwerów opartych na sztucznej inteligencji, które często dedykują wszystkie dostępne zasoby procesorom graficznym i procesorom wysokiej klasy. W centrum danych, którego budżet mocy w przypadku chłodzenia powietrzem jest bliski lub bliski limitu, przejście na DLC pozwala na zainstalowanie większej liczby dysków SSD przy takim samym zużyciu energii jak w przypadku serwera chłodzonego powietrzem.
Oszczędność energii rzędu 200 W może znacząco wpłynąć na gęstość pamięci masowej; pozwala to podwoić zajmowaną przestrzeń z 12 do 24 dysków SSD w serwerze chłodzonym cieczą w porównaniu z serwerem chłodzonym powietrzem, jeśli obciążenia są ukierunkowane na intensywne odczyty. Dzięki Solidigm D5-P5336, ten 24-zatokowy serwer zwiększył pojemność pamięci masowej z 737 TB do 1,474 TB dzięki zastosowaniu pętli cieczowej. W przypadku obciążenia intensywnego zapisu, serwer można wyposażyć w około osiem dodatkowych dysków SSD. Podane wartości dotyczą jednak podstawowych trybów zasilania, więc jeśli chcesz obniżyć wydajność zapisu w górnym zakresie, możesz z łatwością wyposażyć serwer w 24 dyski SSD, co pozwoli na obciążenie intensywnego zapisu i obniżoną wydajność.
Wniosek
Testując dyski SSD Solidigm D5-P5336, przekonaliśmy się, jak zarządzanie stanami zasilania NVMe może znacząco wpłynąć na efektywność energetyczną bez drastycznego spadku wydajności. Operatorzy centrów danych, którzy chcą zmaksymalizować efektywność energetyczną, mogą wykorzystać te stany zasilania, aby osiągnąć większą gęstość pamięci masowej lub obniżyć koszty operacyjne, szczególnie w środowiskach zorientowanych na sztuczną inteligencję, gdzie energia jest na wagę złota. Dyski SSD Solidigm o wysokiej gęstości są do tego doskonale przygotowane, oferując doskonałą wydajność terabajt/wat, szczególnie w połączeniu z nowoczesnymi technologiami chłodzenia cieczą.
Nasze odkrycia pokazują, że nawet niewielkie zmiany w stanach zasilania mogą przynieść znaczne oszczędności energii, co może mieć kluczowe znaczenie w środowiskach o ograniczonej dostępności zasilania. Optymalizacja ogólnego zużycia energii przez serwery zwiększa gęstość pamięci masowej i wspiera bardziej zrównoważoną pracę centrów danych.
Zarządzanie energią staje się coraz ważniejsze, ponieważ nowoczesne serwery są eksploatowane do granic możliwości, zwłaszcza w przypadku obciążeń opartych na sztucznej inteligencji. Połączenie chłodzenia cieczą i wydajnych opcji zarządzania dyskami SSD otwiera nowe możliwości dla centrów danych, które chcą skalować wydajność i gęstość pamięci masowej bez przekraczania budżetu energetycznego.
Pełną demonstrację tych technologii można zobaczyć na żywo na konferencji OCP 2024. Pokażemy, w jaki sposób chłodzenie cieczą i dyski SSD firmy Solidigm mogą stać się podstawą efektywności energetycznej w nowoczesnym centrum danych.
Rozwiązania magazynowe Solidigm
Niniejszy raport jest sponsorowany przez firmę Solidigm. Wszystkie poglądy i opinie wyrażone w niniejszym raporcie opierają się na naszej obiektywnej ocenie rozpatrywanego produktu/produktów.
Amazon