Lors de l'Open Compute Project Summit aujourd'hui, Facebook annonce son JBOF NVMe flexible (juste un tas de flash), Lightning. Facebook présente Lightning en tant que bloc de construction flash ou flash sled. Lightning permettra aux centres de données de mieux faire évoluer la capacité flash sur plusieurs applications tout en ajustant le rapport calcul/stockage. Facebook contribue ce nouveau JBOF au projet Open Compute.
Facebook utilise le flash depuis un certain temps déjà. Ils l'utilisent pour le cache, les applications de base de données et les lecteurs de démarrage. Bien que le flash leur offre les performances qu'ils recherchent, il présente quelques inconvénients, tels qu'une mauvaise mise à l'échelle. La densité de flash double environ tous les ans et demi, ce qui rend difficile une mise à l'échelle efficace. Facebook a cherché des moyens de minimiser le nombre de blocs de construction matériels tout en maximisant la quantité totale de flash disponible pour des applications données. Facebook a vu la désagrégation des composants matériels et logiciels comme une solution possible pour améliorer son efficacité opérationnelle. Entrez leur JBOF, Lightning.
Lightning fournit une connexion PCIe gen 3 de bout en bout (CPU vers SSD). Afin d'accélérer la mise sur le marché, de conserver une apparence commune, de permettre la modularité des solutions de commutateurs PCIe et de permettre la flexibilité des facteurs de forme SSD, Facebook tire parti de l'infrastructure JBOD Open Vault (Knox) SAS existante. Facebook a dû utiliser une certaine topologie pour implémenter le nouveau JBOF (photo ci-dessus) et les nouveaux tableaux :
- Carte de resynchronisation PCIe. Cette carte x16 PCIe gen 3 est installée dans le serveur Leopard, qui est utilisé comme nœud principal pour le JBOF. Il s'agit d'une conception simple, peu coûteuse et à faible consommation d'énergie pour retransmettre les signaux PCIe sur des câbles mini-SAS HD externes (SFF-8644) d'au moins 2 mètres.
- Carte d'extension PCIe (PEB). Le commutateur PCIe, le Lightning BMC et tous les circuits de prise en charge du commutateur sont situés sur cette carte. Un PEB est installé par plateau de SSD et remplace la carte d'extension SAS (SEB) utilisée dans Knox. Cela nous permet d'utiliser une carte de commutation commune pour les deux plateaux et nous permet également de concevoir facilement des versions nouvelles ou différentes (avec des commutateurs de nouvelle génération, par exemple) sans modifier le reste de l'infrastructure. Chaque PEB comporte jusqu'à 32x voies de PCIe comme liaison(s) montante(s) vers le resynchroniseur dans le nœud principal et 60x voies de PCIe vers les SSD. Le PEB peut être remplacé à chaud en cas de défaillance sans affecter l'autre plateau du système.
- Carte de plan de lecteur PCIe (PDPB). Le PDPB contient les 15 connecteurs SSD SFF-8639 (U.2) et les circuits de support. Chaque connecteur SSD, ou emplacement, est connecté à 4 voies PCIe, horloges PCIe, réinitialisation PCIe et signaux de bande latérale supplémentaires provenant du ou des commutateurs PCIe sur le PEB. Chaque emplacement SSD peut également être divisé en 2x x2 ports, ce qui nous permet de doubler le nombre de SSD par plateau de 15x à 30x (de 30x par système à 60x par système) sans nécessiter une couche supplémentaire de commutation PCIe.
Les avantages comprennent:
- Lightning peut prendre en charge une variété de facteurs de forme SSD, y compris les SSD 2.5", M.2 et 3.5".
- Lightning prendra en charge l'ajout à chaud surprise et le retrait à chaud surprise des SSD pour rendre les remplacements sur le terrain aussi simples et transparents que les JBOD SAS.
- Lightning utilisera une puce ASPEED AST2400 BMC exécutant OpenBMC.
- Lightning prendra en charge plusieurs configurations de commutateurs, ce qui nous permet de prendre en charge différentes configurations SSD (par exemple, 15x x4 SSD contre 30x x2 SSD) ou différents nœuds principaux vers des mappages SSD sans modifier le matériel de quelque manière que ce soit.
- Lightning sera capable de prendre en charge jusqu'à quatre nœuds principaux. En prenant en charge plusieurs nœuds principaux par plateau, nous pouvons ajuster le rapport calcul/stockage selon les besoins en modifiant simplement la configuration du commutateur.
Bien qu'un tout NVMe semble être une idée merveilleuse, il y a certaines préoccupations qui doivent être résolues avant de pouvoir être implémentées dans des centres de données partout. NMVe ne peut pas être branché ou ajouté à chaud de la même manière que les disques SAS. Actuellement, le branchement à chaud PCIe est compliqué. PCIe n'a pas de schéma de gestion de boîtier et de châssis intrabande comme le SAS, ce qui rend la gestion délicate. Une partie de la mise en page et des nouvelles cartes traite du maintien de l'intégrité du signal. Au lieu d'utiliser des câbles PCIe externes, Facebook a choisi des câbles mini-SAS HD (SFF-8644). Les câbles utilisent une gamme complète de signaux de bande latérale PCIe et une connexion USB pour une connexion de gestion hors bande. Et Facebook s'occupe de la consommation d'énergie de NVMe, un SSD NVMe de 2.5 pouces peut utiliser jusqu'à 25W. Lightning limite la puissance à 14W par emplacement.
Lightning est conçu pour être une solution flexible et évolutive pour le flash. Il prend en charge plusieurs facteurs de forme SSD et plusieurs nœuds principaux tout en utilisant un niveau de puissance qui a du sens pour ses IOPS/TB ciblés. L'ajout de cette solution à OCP devrait renforcer l'écosystème NVMe et accélérer l'adoption des SSD NVMe.
Amazon