All'Open Compute Project Summit di oggi Facebook annuncia il suo flessibile NVMe JBOF (solo un mucchio di flash), Lightning. Facebook sta introducendo Lightning come un elemento flash o una slitta flash. Lightning consentirà ai data center di scalare meglio la capacità flash su più applicazioni ottimizzando al tempo stesso il rapporto calcolo-storage. Facebook sta contribuendo con questo nuovo JBOF all'Open Compute Project.
Facebook è molto impegnato nell'uso del flash ormai da qualche tempo. Lo usano per cache, applicazioni di database e unità di avvio. Sebbene Flash offra loro le prestazioni che cercano, presenta alcuni inconvenienti come la mancata scalabilità in modo efficace. La densità del flash raddoppia all’incirca ogni anno e mezzo, rendendo il ridimensionamento efficiente un problema. Facebook è alla ricerca di modi per ridurre al minimo il numero di componenti hardware massimizzando al contempo la quantità totale di flash disponibile per determinate applicazioni. Facebook ha visto la disaggregazione dei componenti hardware e software come una possibile soluzione per migliorare la propria efficienza operativa. Inserisci il loro JBOF, Lightning.
Lightning fornisce una connessione PCIe gen 3 da un capo all'altro (da CPU a SSD). Per fornire un time-to-market più rapido, mantenere un aspetto comune, abilitare la modularità nelle soluzioni switch PCIe e consentire la flessibilità nei fattori di forma SSD, Facebook sta sfruttando l'infrastruttura SAS JBOD esistente di Open Vault (Knox). Facebook ha dovuto utilizzare una certa topologia per implementare il nuovo JBOF (nella foto sopra) e le nuove schede:
- Scheda timer PCIe. Questa scheda x16 PCIe gen 3 è installata nel server Leopard, che viene utilizzato come nodo principale per JBOF. Si tratta di un design semplice, economico e a basso consumo per ritrasmettere i segnali PCIe su cavi esterni mini-SAS HD (SFF-8644) di almeno 2 metri.
- Scheda di espansione PCIe (PEB). Lo switch PCIe, il Lightning BMC e tutti i circuiti di supporto dello switch si trovano su questa scheda. Viene installato un PEB per vassoio di SSD e sostituisce la scheda di espansione SAS (SEB) utilizzata in Knox. Ciò ci consente di utilizzare un quadro elettrico comune per entrambi i vassoi e ci permette anche di progettare facilmente versioni nuove o diverse (con interruttori di prossima generazione, ad esempio) senza modificare il resto dell'infrastruttura. Ogni PEB presenta fino a 32 linee PCIe come uplink al retimer nel nodo principale e 60 linee PCIe agli SSD. Il PEB può essere sostituito a caldo in caso di guasto senza influenzare l'altro vassoio nel sistema.
- Scheda del piano di unità PCIe (PDPB). Il PDPB contiene i 15 connettori SSD SFF-8639 (U.2) e i circuiti di supporto. Ogni connettore, o slot, SSD è collegato a 4 linee di PCIe, clock PCIe, reset PCIe e segnali di banda laterale aggiuntivi dallo switch PCIe o dagli switch sul PEB. Ogni slot SSD può anche essere biforcato in 2 porte x2, il che ci consente di raddoppiare il numero di SSD per vassoio da 15x a 30x (da 30x per sistema a 60x per sistema) senza richiedere un ulteriore livello di commutazione PCIe.
I vantaggi includono:
- Lightning può supportare una varietà di fattori di forma SSD, inclusi SSD da 2.5", M.2 e 3.5".
- Lightning supporterà l'aggiunta e la rimozione a caldo a sorpresa degli SSD per rendere le sostituzioni sul campo semplici e trasparenti come i JBOD SAS.
- Lightning utilizzerà un chip BMC ASPEED AST2400 con OpenBMC.
- Lightning supporterà più configurazioni di switch, il che ci consente di supportare diverse configurazioni SSD (ad esempio, 15 SSD x4 contro 30 SSD x2) o diverse mappature tra nodo head e SSD senza modificare in alcun modo l'hardware.
- Lightning sarà in grado di supportare fino a quattro nodi principali. Supportando più nodi head per vassoio, possiamo regolare il rapporto calcolo-storage secondo necessità semplicemente modificando la configurazione dello switch.
Anche se un'idea completamente NVMe sembra un'idea meravigliosa, ci sono alcune preoccupazioni che devono essere affrontate prima che possano essere implementate nei data center di tutto il mondo. NMVe non può essere collegato o aggiunto a caldo nello stesso modo in cui lo possono essere le unità SAS. Attualmente l'hot plug PCIe è complicato. PCIe non dispone di un contenitore in banda e di uno schema di gestione dello chassis come il SAS, rendendo la gestione complicata. Parte del layout e delle nuove schede si occupano del mantenimento dell'integrità del segnale. Invece di utilizzare cavi PCIe esterni, Facebook ha scelto cavi mini-SAS HD (SFF-8644). I cavi utilizzano una serie completa di segnali PCIe in banda laterale e una connessione USB per una connessione di gestione fuori banda. E Facebook si occupa del consumo energetico di NVMe, un SSD NVMe da 2.5 pollici può utilizzare fino a 25 W. Lightning limita la potenza a 14 W per slot.
Lightning è progettato per essere una soluzione flessibile e scalabile per Flash. Supporta più fattori di forma SSD e più nodi head utilizzando un livello di potenza adeguato per gli IOPS/TB target. L'aggiunta di questa soluzione a OCP dovrebbe rafforzare l'ecosistema NVMe e accelerare l'adozione degli SSD NVMe.
Amazon