Meta projektuje, buduje i wdraża swój sprzęt w największych centrach danych od ponad 14 lat. W 2009 roku, po dynamicznym rozwoju firmy, inżynierowie zostali wezwani do przeprojektowania infrastruktury, aby sprostać ogromnemu wzrostowi danych, personelu i zasobów wewnętrznych. Inżynierowie Facebooka rozpoczęli wówczas prace nad energooszczędnym centrum danych, obejmującym oprogramowanie, serwery, sprzęt, chłodzenie i zasilanie. Wnieśli oni do OCP system pamięci masowej Grand Canyon Storage System, który stał się nowym standardem w zakresie pamięci masowej.
Budowa nowego obiektu była o 38% bardziej energooszczędna, a jego eksploatacja o 24% tańsza niż w przypadku poprzednich obiektów firmy. Facebook postanowił podzielić się swoim sukcesem z globalną społecznością inżynierów. W związku z tym w 2011 roku powołano do życia fundację Open Compute Project Foundation (OCP), której celem było przyspieszenie tempa innowacji w dziedzinie sprzętu sieciowego. Wszystkie rozwiązania, od serwerów ogólnego przeznaczenia, przez serwery GPU, urządzenia pamięci masowej, po projekty szaf rack, wywodzą się z modelu współpracy OCP i są obecnie stosowane poza centrami danych, przyczyniając się do rozwoju branży telekomunikacyjnej i infrastruktury brzegowej.
Dlatego Meta idealnie wykorzystała szczyt OCP Global Summit, aby zaprezentować uczestnikom najnowszy serwer pamięci masowej i JBOD o nazwie Grand Canyon oraz nowy serwer jednogniazdowy o nazwie Barton Springs. Projekt Grand Canyon wynikał z zapotrzebowania na budowę lepszego i szybszego serwera pamięci masowej.
Motywacją do stworzenia nowego serwera były następujące kwestie:
- Wyższa wydajność procesora na gniazdo
- Ulepszona obudowa obsługująca gęste dyski (do około 2025–2026 r.)
- Sprawność energetyczna
- Zachowaj elastyczność (ORv3, modułowa karta procesora)
- Projekt z elementami o dłuższej żywotności
W projekcie Grand Canyon zwiększono modułowość, aby wydłużyć możliwości modernizacji i żywotność nowego podwozia.
| Składnik | OPIS |
| CPU | Procesor Intel Xeon „Cooper Lake” SOC |
| Boot Drive | M.2 Solid state (format 2280) Specyfikacja dysków SSD Hyperscale NVMe Boot) |
| DIMM | 1 moduł DDR4 DIMM na kanał przy 4 kanałach do 3200MT/s |
| PCH | Chipset Intel PCH |
Nowy serwer pamięci masowej składa się z dwóch węzłów pamięci masowej obsługujących 36 dysków twardych 3.5″ w jednej szufladzie. Grand Canyon korzysta z serwera Barton Springs z jednym gniazdem, który charakteryzuje się imponującymi parametrami technicznymi. Nowa obudowa zapewnia dodatkową elastyczność, umożliwiając budowę systemu w trzech konfiguracjach.
Pierwszą opcją konfiguracji jest samodzielny serwer z dwiema pamięciami masowymi, który zawiera dwa węzły obliczeniowe i 72 dyski twarde. Wszystkie dyski są cały czas włączone, co zapewnia szybszy dostęp do danych.
Druga konfiguracja to pojedynczy serwer pamięci masowej z pojedynczym węzłem obliczeniowym, który może być również używany jako węzeł główny. Ta konfiguracja łączy się z dwoma obudowami JBOD, co stanowi trzecią konfigurację i nie zawiera węzła obliczeniowego, a obsługuje do 216 dysków twardych.
Każda konfiguracja ma inną liczbę modułów w systemie, co ilustruje powyższy widok rozstrzelony. Kluczowym elementem tej konstrukcji jest łatwość dostępu do wszystkich komponentów od przodu lub od góry obudowy.
Wielki Kanion kontra Kanion Bryce'a (poprzednia generacja)
| Bryce Canyon | Wielki Kanion | |
| obliczać | Rdzeń 16 | Rdzeń 26 |
| SpecIntRate | 1 | 1.87 (z włączoną turbosprężarką) |
| Pojemność pamięci DRAM, BW na procesor | 2x 32 GB DDR4, 33 GB/s | 4x 16 GB DDR4, 93 GB/s |
| Dysk SSD rozruchowy na obliczenie | 256 GB | 256 GB |
| Dane SSD na obliczenie | 2x2TB m.2 | 2x2TB E1.S 9.5 mm (możliwość rozbudowy pojemności) |
| Napędy na obudowę, Napędy na jednostkę obliczeniową | 72, 36 | 72, 36 |
| NIC | 50 Gb/s, pojedynczy host, OCP2.0 | 50 Gb/s, pojedynczy host, OCP 3.0 (możliwość rozbudowy do 100 Gb/s) |
Ulepszenia konstrukcyjne systemu magazynowania Grand Canyon
Ze względu na liczbę dysków twardych umieszczonych w obudowie i potencjalne drgania generowane przez wentylatory, firma Meta wprowadziła udoskonalenia w zakresie tłumienia drgań, zarówno strukturalnych, jak i akustycznych, co pozwoliło na zastosowanie dużej pojemności dysków twardych i zapobiegło przenoszeniu się drgań wentylatorów na obudowę.
Inżynierowie firmy Meta wykorzystali metodę zastępczą do pomiaru drgań i skontaktowali się z dostawcami dysków twardych, aby porównać korzyści wynikające z zastosowania rozwiązań ograniczających drgania przy projektowaniu podwozia Grand Canyon.
System wentylatorów został zmodyfikowany i wyposażony w żaluzję, która zamyka się w przypadku wyłączenia wentylatora, zapobiegając utracie przepływu powietrza w systemie. Zapewnia to prawidłowe chłodzenie całej obudowy, nawet w przypadku awarii wentylatora.
System Grand Canyon korzysta z najnowszych technologii IOC i ekspanderów firmy Broadcom, które obejmują funkcje SAS Gen4, współpracują z dyskami twardymi SAS i SATA oraz zapewniają zgodność sprzętu i oprogramowania sprzętowego w zakresie limitów czasu trwania poleceń na dyskach twardych SAS/SATA, a także dyskach twardych z podwójnym siłownikiem.
Dokumentacja pomocnicza
Więcej informacji na temat dysków twardych zastępczych stworzonych do odwzorowania Wielkiego Kanionu można znaleźć w tym wystąpieniu.
Aby uzyskać informacje na temat zastępczych dysków twardych, usprawnień i standaryzacji, dołącz do grupy roboczej OCP HDD Dynamics.
Więcej informacji na temat funkcji interesujących Meta znajdziesz w sesji poświęconej funkcjom HDD w przyszłości, dostępnej tutaj.
Specyfikację można przeglądać w repozytorium GitHub (OpenBMC).
Systemy Grand Canyon są dostępne w ofercie firmy Wiwynn i w katalogu produktów tej firmy oznaczone są jako SV/ST7000G4.
Amazon