Op de Open Compute Project Summit vandaag kondigt Facebook zijn flexibele NVMe JBOF (slechts een hoop flitslicht) Lightning aan. Facebook introduceert Lightning als een flitsbouwsteen of flitsslede. Met Lightning kunnen datacenters de flash-capaciteit beter uitschalen over meerdere applicaties, terwijl de compute-to-storage-verhouding wordt afgestemd. Facebook draagt deze nieuwe JBOF bij aan het Open Compute Project.
Facebook is al een tijdje groot in het gebruik van flash. Ze gebruiken het voor cache, databasetoepassingen en opstartschijven. Hoewel flash hen de prestaties geeft waarnaar ze op zoek zijn, heeft het een aantal nadelen, zoals niet effectief schalen. De flitsdichtheid verdubbelt ongeveer elk anderhalf jaar, waardoor efficiënt schalen een probleem wordt. Facebook heeft gezocht naar manieren om het aantal hardware-bouwstenen te minimaliseren en tegelijkertijd de totale hoeveelheid beschikbare flash voor bepaalde applicaties te maximaliseren. Facebook zag het uit elkaar halen van de hardware- en softwarecomponenten als een mogelijke oplossing om de operationele efficiëntie te verbeteren. Voer hun JBOF, Lightning in.
Lightning biedt een PCIe gen 3-verbinding van begin tot eind (CPU naar SSD). Om een snellere time-to-market te bieden, een gemeenschappelijke look te behouden, modulariteit in PCIe-switchoplossingen mogelijk te maken en flexibiliteit in SSD-vormfactoren mogelijk te maken, maakt Facebook gebruik van de bestaande Open Vault (Knox) SAS JBOD-infrastructuur. Facebook moest een bepaalde topologie gebruiken om de nieuwe JBOF (hierboven afgebeeld) en nieuwe borden te implementeren:
- PCIe retimer-kaart. Deze x16 PCIe gen 3-kaart wordt geïnstalleerd in de Leopard-server, die wordt gebruikt als een hoofdknooppunt voor de JBOF. Het is een eenvoudig, goedkoop ontwerp met laag stroomverbruik om de PCIe-signalen opnieuw te verzenden via externe mini-SAS HD (SFF-8644) kabels van minimaal 2 meter.
- PCIe-uitbreidingskaart (PEB). De PCIe-schakelaar, de Lightning BMC en alle schakelaarondersteunende circuits bevinden zich op dit bord. Er wordt één PEB geïnstalleerd per lade met SSD's en vervangt de SAS Expander Board (SEB) die in Knox wordt gebruikt. Hierdoor kunnen we voor beide trays een gemeenschappelijk schakelbord gebruiken en kunnen we ook eenvoudig nieuwe of andere versies ontwerpen (met bijvoorbeeld next generation switches) zonder de rest van de infrastructuur aan te passen. Elke PEB beschikt over maximaal 32x PCIe-banen als de uplink(s) naar de retimer in het hoofdknooppunt en 60x PCIe-banen naar de SSD's. De PEB kan hot-swapped worden als hij uitvalt zonder dat dit invloed heeft op de andere lade in het systeem.
- PCIe Drive Plane Board (PDPB). De PDPB bevat de 15x SFF-8639 (U.2) SSD-connectoren en ondersteunende circuits. Elke SSD-connector of -sleuf is verbonden met 4x PCIe-banen, PCIe-klokken, PCIe-reset en extra zijbandsignalen van de PCIe-schakelaar of -schakelaars op de PEB. Elke SSD-sleuf kan ook worden gesplitst in 2x x2 poorten, waardoor we het aantal SSD's per lade kunnen verdubbelen van 15x naar 30x (van 30x per systeem naar 60x per systeem) zonder dat een extra laag PCIe-switching nodig is.
Voordelen zijn onder andere:
- Lightning ondersteunt verschillende SSD-vormfactoren, waaronder 2.5-inch M.2 en 3.5-inch SSD's.
- Lightning ondersteunt verrassende hot-add en verrassende hot-verwijdering van SSD's om veldvervangingen net zo eenvoudig en transparant te maken als SAS JBOD's.
- Lightning gebruikt een ASPEED AST2400 BMC-chip met OpenBMC.
- Lightning ondersteunt meerdere switchconfiguraties, waardoor we verschillende SSD-configuraties kunnen ondersteunen (bijvoorbeeld 15x x4 SSD's vs. 30x x2 SSD's) of verschillende head node naar SSD-toewijzingen zonder HW op enigerlei wijze te wijzigen.
- Lightning kan maximaal vier hoofdknooppunten ondersteunen. Door meerdere head-nodes per tray te ondersteunen, kunnen we de compute-to-storage-ratio naar behoefte aanpassen door simpelweg de switchconfiguratie te wijzigen.
Hoewel een volledig NVMe klinkt als een geweldig idee, zijn er enkele zorgen die moeten worden aangepakt voordat ze overal in datacenters kunnen worden geïmplementeerd. NMVe kan niet hot-plugged of hot-added worden op dezelfde manier als SAS-drives dat kunnen zijn. Momenteel is PCIe hot-plugging gecompliceerd. PCIe heeft geen in-band behuizing en chassisbeheerschema zoals de SAS, waardoor beheer lastig wordt. Een deel van de lay-out en nieuwe borden gaat over het behouden van de signaalintegriteit. In tegenstelling tot het gebruik van externe PCIe-kabels, koos Facebook voor mini-SAS HD-kabels (SFF-8644). De kabels gebruiken een volledige aanvulling van PCIe-zijbandsignalen en een USB-aansluiting voor een out-of-band beheerverbinding. En Facebook heeft te maken met stroomverbruik van NVMe, een 2.5” NVMe SSD kan maar liefst 25W verbruiken. Bliksem beperkt het vermogen tot 14W per slot.
Lightning is ontworpen als een flexibele, schaalbare oplossing voor flash. Het ondersteunt meerdere SSD-vormfactoren en meerdere hoofdknooppunten terwijl het een vermogensniveau gebruikt dat logisch is voor de beoogde IOPS/TB. Het toevoegen van deze oplossing aan OCP zou het NVMe-ecosysteem moeten versterken en de acceptatie van NVMe SSD's moeten versnellen.
Amazon