På Open Compute Project Summit idag tillkännager Facebook sin flexibla NVMe JBOF (bara ett gäng blixt), Lightning. Facebook introducerar Lightning som en blixtbyggsten, eller blixtsläde. Lightning gör det möjligt för datacenter att bättre skala ut flashkapaciteten över flera applikationer samtidigt som förhållandet mellan beräkning och lagring justeras. Facebook bidrar med denna nya JBOF till Open Compute Project.
Facebook har varit stora på att använda flash under en tid nu. De använder det för cache, databasapplikationer och startenheter. Medan flash ger dem den prestanda de letar efter har den några nackdelar som att inte skala effektivt. Blixtdensiteten fördubblas ungefär varje och ett halvt år vilket gör effektiv skalning ett problem. Facebook har letat efter sätt att minimera antalet hårdvarubyggstenar och samtidigt maximera den totala mängden flash som är tillgänglig för givna applikationer. Facebook såg att dela upp hårdvaru- och mjukvarukomponenterna som en möjlig lösning för att förbättra dess operativa effektivitet. Ange deras JBOF, Lightning.
Lightning tillhandahåller en PCIe gen 3-anslutning från ände till ände (CPU till SSD). För att ge en snabbare tid till marknaden, behålla ett gemensamt utseende, möjliggöra modularitet i PCIe-switchlösningar och möjliggöra flexibilitet i SSD-formfaktorer använder Facebook den befintliga Open Vault (Knox) SAS JBOD-infrastrukturen. Facebook var tvungen att använda en viss topologi för att implementera den nya JBOF (bilden ovan) och nya styrelser:
- PCIe retimer-kort. Detta x16 PCIe gen 3-kort är installerat i Leopard-servern, som används som en huvudnod för JBOF. Det är en enkel, billig design med låg effekt för att återsända PCIe-signaler över externa mini-SAS HD (SFF-8644) kablar på minst 2 meter.
- PCIe Expansion Board (PEB). PCIe-switchen, Lightning BMC och alla switchstödkretsar finns på detta kort. En PEB installeras per bricka med SSD:er och ersätter SAS Expander Board (SEB) som används i Knox. Detta gör att vi kan använda ett gemensamt växelkort för båda brickorna och gör att vi också enkelt kan designa nya eller olika versioner (med nästa generations switchar till exempel) utan att modifiera resten av infrastrukturen. Varje PEB har upp till 32x banor av PCIe som upplänk(ar) till retimern i huvudnoden och 60x banor av PCIe till SSD:erna. PEB kan hot-swaps om den misslyckas utan att påverka den andra facket i systemet.
- PCIe Drive Plane Board (PDPB). PDPB innehåller 15x SFF-8639 (U.2) SSD-kontakter och stödkretsar. Varje SSD-kontakt, eller kortplats, är ansluten till 4x körfält med PCIe, PCIe-klockor, PCIe-återställning och ytterligare sidobandssignaler från PCIe-switchen eller -omkopplarna på PEB. Varje SSD-kortplats kan också delas upp i 2x x2-portar, vilket gör att vi kan fördubbla antalet SSD:er per fack från 15x till 30x (från 30x per system till 60x per system) utan att behöva ett extra lager av PCIe-växling.
Fördelarna inkluderar:
- Lightning kan stödja en mängd olika SSD-formfaktorer, inklusive 2.5", M.2 och 3.5" SSD.
- Lightning kommer att stödja surprise hot-add och surprise hot-borttagning av SSD:er för att göra fältbyten lika enkla och transparenta som SAS JBODs.
- Lightning kommer att använda ett ASPEED AST2400 BMC-chip som kör OpenBMC.
- Lightning kommer att stödja flera switchkonfigurationer, vilket gör att vi kan stödja olika SSD-konfigurationer (till exempel 15x x4 SSDs vs. 30x x2 SSDs) eller olika huvudnod till SSD-mappningar utan att ändra HW på något sätt.
- Lightning kommer att kunna stödja upp till fyra huvudnoder. Genom att stödja flera huvudnoder per bricka kan vi justera förhållandet beräkning till lagring efter behov genom att helt enkelt ändra switchkonfigurationen.
Även om en all NVMe låter som en underbar idé, finns det några problem som måste åtgärdas innan de kan implementeras i datacenter överallt. NMVe kan inte vara hot-plugged eller hot-added på samma sätt som SAS-enheter kan vara. För närvarande är PCIe hot-plugging komplicerat. PCIe har inget in-band-hölje och chassihanteringssystem som SAS har, vilket gör hanteringen svår. En del av layouten och nya tavlor handlar om att bibehålla signalintegriteten. I motsats till att använda externa PCIe-kablar, valde Facebook mini-SAS HD-kablar (SFF-8644). Kablarna använder ett komplett komplement av PCIe sidbandssignaler och en USB-anslutning för en hanteringsanslutning utanför bandet. Och Facebook hanterar strömförbrukningen för NVMe, en 2.5” NVMe SSD kan använda så mycket som 25W. Lightning begränsar effekten till 14W per kortplats.
Lightning är designad för att vara en flexibel, skalbar lösning för blixt. Den stöder flera SSD-formfaktorer och flera huvudnoder samtidigt som den använder en effektnivå som är vettig för dess riktade IOPS/TB. Att lägga till denna lösning till OCP bör stärka NVMe-ekosystemet och påskynda införandet av NVMe SSD:er.
Amazon