Na summitu Open Compute Project dnes Facebook oznámil svůj flexibilní NVMe JBOF (jen banda flash) s názvem Lightning. Facebook představuje Lightning jako stavební blok flash paměti neboli flash sled. Lightning umožní datovým centrem lépe škálovat flash kapacitu napříč více aplikacemi a zároveň vyladit poměr výpočetní a úložné kapacity. Facebook přispívá tímto novým JBOF do projektu Open Compute Project.
Facebook už nějakou dobu hojně využívá flash. Používá ho pro mezipaměť, databázové aplikace a bootovací disky. Flash sice poskytuje požadovaný výkon, ale má i několik nevýhod, jako je například neefektivní škálování. Hustota flash paměti se zhruba každý rok a půl zdvojnásobuje, což efektivní škálování představuje problém. Facebook hledá způsoby, jak minimalizovat počet hardwarových stavebních bloků a zároveň maximalizovat celkové množství flash paměti dostupné pro dané aplikace. Facebook viděl rozdělení hardwarových a softwarových komponent jako možné řešení pro zlepšení své provozní efektivity. A tady je jejich JBOF, Lightning.
Lightning poskytuje propojení PCIe gen 3 od začátku do konce (od CPU k SSD). Aby Facebook urychlil uvedení na trh, zachoval jednotný vzhled, umožnil modularitu řešení přepínačů PCIe a flexibilitu ve formových faktorech SSD, využívá stávající infrastrukturu Open Vault (Knox) SAS JBOD. Facebook musel k implementaci nového JBOF (na obrázku výše) a nových základních desek použít určitou topologii:
- Karta PCIe pro retransmiter. Tato karta x16 PCIe gen 3 je nainstalována v serveru Leopard, který slouží jako hlavní uzel pro JBOF. Jedná se o jednoduchý, levný a energeticky úsporný design pro retransmisi signálů PCIe přes externí kabely mini-SAS HD (SFF-8644) o délce alespoň 2 metry.
- Rozšiřující deska PCIe (PEB). Na této desce se nachází přepínač PCIe, Lightning BMC a všechny podpůrné obvody přepínačů. Na každou přihrádku SSD se instaluje jedna deska PEB, která nahrazuje rozšiřující desku SAS (SEB) používanou v systému Knox. To nám umožňuje používat společnou přepínací desku pro obě přihrádky a také nám umožňuje snadno navrhovat nové nebo odlišné verze (například s přepínači nové generace) bez nutnosti úprav zbytku infrastruktury. Každá deska PEB obsahuje až 32 linek PCIe jako uplink(y) k retimeru v hlavním uzlu a 60 linek PCIe k SSD. Desku PEB lze v případě selhání vyměnit za provozu, aniž by to ovlivnilo ostatní přihrádku v systému.
- Deska PCIe Drive Plane Board (PDPB). PDPB obsahuje 15x SFF-8639 (U.2) SSD konektory a podpůrné obvody. Každý konektor nebo slot SSD je připojen ke 4 linkám PCIe, PCIe hodinám, PCIe resetu a dalším signálům postranního pásma z PCIe přepínače nebo přepínačů na PEB. Každý slot SSD lze také rozdělit na 2x x2 porty, což nám umožňuje zdvojnásobit počet SSD na zásuvku z 15x na 30x (z 30x na systém na 60x na systém) bez nutnosti další vrstvy PCIe přepínání.
Mezi výhody patří:
- Lightning podporuje různé formáty SSD, včetně 2.5" a 3.5" SSD.
- Lightning bude podporovat neočekávané přidání a neočekávané odebrání SSD disků za provozu, aby byly výměny v terénu stejně jednoduché a transparentní jako u SAS JBOD.
- Lightning bude používat čip ASPEED AST2400 BMC s OpenBMC.
- Lightning bude podporovat více konfigurací přepínačů, což nám umožní podporovat různé konfigurace SSD (například 15x x4 SSD vs. 30x x2 SSD) nebo různá mapování hlavního uzlu na SSD bez jakékoli změny hardwaru.
- Lightning bude schopen podporovat až čtyři hlavní uzly. Díky podpoře více hlavních uzlů na jednu přihrádku můžeme podle potřeby upravit poměr výpočetní a úložné kapacity pouhou změnou konfigurace přepínače.
I když plně NVMe technologie zní jako skvělý nápad, existují určité obavy, které je třeba řešit, než bude možné je implementovat do datových center kdekoli na světě. NMVe nelze hot-plugovat ani hot-addit stejným způsobem jako disky SAS. V současné době je hot-plugování PCIe komplikované. PCIe nemá schéma správy skříně a šasi v rámci pásma jako SAS, což správu ztěžuje. Část rozvržení a nových desek se zabývá zachováním integrity signálu. Na rozdíl od použití externích kabelů PCIe zvolil Facebook kabely mini-SAS HD (SFF-8644). Kabely používají plný rozsah signálů postranního pásma PCIe a USB připojení pro připojení pro správu mimo pásmo. A Facebook se zabývá spotřebou energie NVMe, 2.5" NVMe SSD může spotřebovat až 25 W. Lightning omezuje výkon na 14 W na slot.
Lightning je navržen jako flexibilní a škálovatelné řešení pro flash disky. Podporuje více tvarových faktorů SSD a více hlavních uzlů a zároveň využívá úroveň výkonu, která dává smysl pro cílové IOPS/TB. Přidání tohoto řešení do OCP by mělo posílit ekosystém NVMe a urychlit přijetí NVMe SSD.
Amazon