Podczas dzisiejszego szczytu Open Compute Project Summit Facebook ogłosił swoją elastyczną technologię NVMe JBOF (ang. just a bundle of flash) – Lightning. Facebook wprowadza Lightning jako moduł konstrukcyjny pamięci flash, czyli Flash Sled. Lightning umożliwi centrom danych lepsze skalowanie pojemności pamięci flash w wielu aplikacjach, jednocześnie optymalizując stosunek mocy obliczeniowej do pamięci masowej. Facebook wnosi ten nowy JBOF do projektu Open Compute Project.
Facebook od jakiegoś czasu intensywnie korzysta z technologii Flash. Używają jej do pamięci podręcznej, aplikacji bazodanowych i dysków rozruchowych. Chociaż Flash zapewnia im oczekiwaną wydajność, ma kilka wad, takich jak brak efektywnego skalowania. Gęstość pamięci Flash podwaja się mniej więcej co półtora roku, co utrudnia efektywne skalowanie. Facebook poszukiwał sposobów na minimalizację liczby sprzętowych bloków konstrukcyjnych przy jednoczesnej maksymalizacji całkowitej ilości pamięci Flash dostępnej dla danych aplikacji. Facebook dostrzegł w rozdzieleniu komponentów sprzętowych i programowych potencjalne rozwiązanie poprawiające wydajność operacyjną. Oto ich JBOF – Lightning.
Lightning zapewnia połączenie PCIe gen. 3 od procesora do dysku SSD. Aby zapewnić szybsze wprowadzenie produktu na rynek, zachować jednolity wygląd, umożliwić modułowość rozwiązań przełączników PCIe i zapewnić elastyczność w zakresie formatów dysków SSD, Facebook wykorzystuje istniejącą infrastrukturę Open Vault (Knox) SAS JBOD. Facebook musiał zastosować określoną topologię, aby wdrożyć nową technologię JBOF (pokazaną powyżej) i nowe płyty główne:
- Karta retimera PCIe. Ta karta x16 PCIe gen. 3 jest instalowana w serwerze Leopard, który służy jako węzeł główny dla JBOF. Jest to prosta, tania i energooszczędna konstrukcja do retransmisji sygnałów PCIe przez zewnętrzne kable mini-SAS HD (SFF-8644) o długości co najmniej 2 metrów.
- Karta rozszerzeń PCIe (PEB). Na tej płycie znajduje się przełącznik PCIe, kontroler Lightning BMC oraz wszystkie obwody obsługujące przełącznik. Jedna karta PEB jest instalowana na każdą tackę dysków SSD i zastępuje kartę rozszerzeń SAS (SEB) używaną w systemie Knox. Pozwala to na użycie wspólnej płytki przełącznika dla obu tacek, a także na łatwe projektowanie nowych lub innych wersji (na przykład z przełącznikami nowej generacji) bez konieczności modyfikowania reszty infrastruktury. Każda karta PEB oferuje do 32 linii PCIe jako łącza uplink do retimera w węźle głównym oraz 60 linii PCIe do dysków SSD. W przypadku awarii kartę PEB można wymienić na gorąco, bez wpływu na drugą tackę w systemie.
- Płyta PCIe Drive Plane Board (PDPB). PDPB zawiera 15 złączy SSD SFF-8639 (U.2) i obwody pomocnicze. Każde złącze SSD, czyli slot, jest podłączone do 4 linii PCIe, zegarów PCIe, resetu PCIe oraz dodatkowych sygnałów pasma bocznego z przełącznika lub przełączników PCIe na płycie PEB. Każdy slot SSD można również rozdzielić na 2 porty x2, co pozwala podwoić liczbę dysków SSD w jednej tacce z 15 do 30 (z 30 do 60 na system) bez konieczności stosowania dodatkowej warstwy przełączania PCIe.
Korzyści obejmują:
- Technologia Lightning obsługuje wiele formatów dysków SSD, w tym dyski SSD 2.5", M.2 i 3.5".
- Rozwiązanie Lightning będzie obsługiwać funkcję niespodziewanego dodawania i usuwania dysków SSD podczas pracy, dzięki czemu wymiana w terenie będzie tak prosta i transparentna jak w przypadku rozwiązań SAS JBOD.
- Lightning będzie korzystał z układu ASPEED AST2400 BMC obsługującego OpenBMC.
- Lightning będzie obsługiwać wiele konfiguracji przełączników, co pozwoli nam obsługiwać różne konfiguracje dysków SSD (na przykład 15 dysków SSD x4 w porównaniu do 30 dysków SSD x2) lub różne mapowania węzła głównego na dyski SSD bez konieczności jakiejkolwiek zmiany sprzętu.
- Lightning będzie w stanie obsłużyć do czterech węzłów głównych. Dzięki obsłudze wielu węzłów głównych na tackę, możemy dostosować stosunek mocy obliczeniowej do pamięci masowej w razie potrzeby, po prostu zmieniając konfigurację przełącznika.
Chociaż całkowicie NVMe brzmi jak wspaniały pomysł, istnieją pewne kwestie, które należy rozwiązać, zanim będzie można je wdrożyć w centrach danych na całym świecie. NMVe nie może być podłączany lub dodawany na gorąco w taki sam sposób, jak dyski SAS. Obecnie podłączanie na gorąco PCIe jest skomplikowane. PCIe nie ma schematu zarządzania obudową i obudową w paśmie, jak SAS, co utrudnia zarządzanie. Część układu i nowych płyt zajmuje się zachowaniem integralności sygnału. Zamiast używać zewnętrznych kabli PCIe, Facebook wybrał kable mini-SAS HD (SFF-8644). Kable wykorzystują pełen zestaw sygnałów pasma bocznego PCIe i połączenie USB do połączenia zarządzania poza pasmem. Facebook zajmuje się również zużyciem energii NVMe, 2.5-calowy dysk SSD NVMe może zużywać do 25 W. Lightning ogranicza moc do 14 W na gniazdo.
Technologia Lightning została zaprojektowana jako elastyczne i skalowalne rozwiązanie dla pamięci flash. Obsługuje wiele formatów dysków SSD i wiele węzłów głównych, a jednocześnie zapewnia odpowiedni poziom mocy dla docelowego IOPS/TB. Dodanie tego rozwiązania do OCP powinno wzmocnić ekosystem NVMe i przyspieszyć adopcję dysków SSD NVMe.
Amazon