Meta conçoit, construit et déploie son matériel dans certains des plus grands centres de données depuis plus de 14 ans. En 2009, suite à une croissance rapide, les ingénieurs ont été appelés à repenser leur infrastructure pour soutenir la croissance interne massive des données, des personnes et des ressources alors que les ingénieurs de Facebook entamaient la conception d'un centre de données économe en énergie avec des logiciels, des serveurs, du matériel, des systèmes de refroidissement. , et puissance. Ils ont maintenant apporté le système de stockage Grand Canyon à OCP en tant que prochaine norme pour le stockage en vrac.
La nouvelle installation était 38 % plus économe en énergie à construire et 24 % moins chère à exploiter que les installations précédentes de l'entreprise. Facebook a décidé de partager son succès avec la communauté mondiale des ingénieurs. Ainsi, en 2011, l'Open Compute Project Foundation (OCP) a été lancée pour accélérer le rythme d'innovation des équipements réseau. Tout, depuis les serveurs à usage général, les serveurs GPU, les appareils de stockage et les conceptions de rack, est issu du modèle de collaboration OCP et est appliqué au-delà du centre de données, contribuant à faire progresser l'industrie des télécommunications et l'infrastructure de pointe.
Il était donc normal que Meta utilise le Sommet mondial OCP pour faire découvrir aux participants le dernier serveur de stockage et JBOD appelé Grand Canyon, et un nouveau serveur à socket unique appelé Barton Springs. La conception du Grand Canyon est née de la demande de construire un serveur de stockage meilleur et plus rapide.
La motivation derrière le nouveau serveur était basée sur les éléments suivants :
- Performances CPU supérieures par slot
- Châssis amélioré pour prendre en charge les disques denses (jusqu'à 2025-2026)
- Efficacité énergétique
- Maintenir la flexibilité (ORv3, carte CPU modulaire)
- Conception avec des composants à plus longue durée de vie
La conception du Grand Canyon a augmenté la modularité pour prolonger l'évolutivité et la durée de vie du nouveau châssis.
| Composant | Description |
| Processeur | SoC Intel Xeon "Cooper Lake" |
| Boot Drive | M.2 Solid state (facteur de forme 2280 Spécification du SSD de démarrage NVMe hyperscale) |
| DIMM | 1 DIMM DDR4 par canal à 4 canaux jusqu'à 3200MT/s |
| PCH | Jeu de puces Intel PCH |
Le nouveau serveur de stockage se compose de deux nœuds de stockage prenant en charge 36 disques durs de 3.5 pouces dans un seul tiroir. Le Grand Canyon utilise le serveur à 1 socket Barton Springs avec des spécifications impressionnantes. Une flexibilité supplémentaire a été intégrée dans le nouveau châssis, permettant au système d'être construit en trois configurations.
La première option de configuration est un serveur de stockage double autonome qui comprend deux nœuds de calcul et 72 disques durs où tous les disques sont sous tension en permanence pour un accès plus rapide aux données.
La deuxième configuration est un serveur de stockage unique avec un seul nœud de calcul qui peut également être utilisé comme nœud principal. Cette configuration se connecte à deux des châssis JBOD, qui est la troisième configuration et ne comporte pas de nœud de calcul, et prend en charge jusqu'à 216 disques durs.
Chaque configuration a des populations différentes pour les modules du système, comme illustré dans la vue éclatée ci-dessus. Un élément clé de cette conception est la facilité d'accès à tous les composants depuis l'avant ou le haut du châssis.
Grand Canyon contre Bryce Canyon (génération antérieure)
| Bryce Canyon | Grand Canyon | |
| calcul | 16 Core | 26 Core |
| TauxIntSpécifié | 1 | 1.87 (turbo activé) |
| Capacité DRAM, BW par CPU | 2x 32 Go DDR4, 33 Go/s | 4x 16 Go DDR4, 93 Go/s |
| Démarrage du SSD par calcul | 256 GB | 256 GB |
| SSD de données par calcul | 2x2 To m.2 | 2x2 To E1.S 9.5 mm (capacité évolutive |
| Disques par châssis, disques par ordinateur | 72, 36 | 72, 36 |
| NIC | 50 Gbit/s, hôte unique, OCP2.0 | 50 Gbit/s, hôte unique, OCP 3.0 (extensible à 100 Gbit/s) |
Améliorations de la conception structurelle du système de stockage du Grand Canyon
Avec le nombre de disques durs dans ce châssis et le potentiel de vibration des ventilateurs, Meta a apporté des améliorations à l'utilisation de fonctions d'amortissement des vibrations, à la fois structurelles et acoustiques, pour permettre l'adoption d'une capacité de disque dur dense et empêcher les vibrations du ventilateur de traverser le boîtier.
Les ingénieurs de Meta ont utilisé un substitut pour mesurer les vibrations et ont contacté les fournisseurs de disques durs pour comparer les avantages de l'atténuation des vibrations utilisée dans la conception du châssis du Grand Canyon.
Le système de ventilateur a été modifié pour inclure un store qui se fermera si un ventilateur s'arrête, empêchant la perte de flux d'air à travers le système. Cela garantit un refroidissement correct dans tout le châssis, même en cas de panne de ventilateur.
Le système Grand Canyon utilise les derniers IOC et Expanders de Broadcom qui incluent des capacités SAS Gen4, sont interopérables avec les disques durs SAS et SATA et offrent une compatibilité matérielle et logicielle pour les limites de durée de commande sur les disques durs SAS/SATA, ainsi que sur les disques durs à double actionneur.
Documentation à l'appui
Pour plus d'informations sur les disques durs de substitution construits pour la caractérisation du Grand Canyon, reportez-vous à cette présentation.
Pour plus d'informations sur les disques durs de substitution, les améliorations et la normalisation, rejoignez le groupe de travail OCP HDD Dynamics.
Pour plus d'informations sur les fonctionnalités qui intéressent Meta, consultez la section « Fonctionnalités du disque dur pour la prochaine session » ici.
Les spécifications peuvent être consultées sur le dépôt GitHub (OpenBMC).
Les systèmes Grand Canyon sont disponibles auprès de Wiwynn, surnommés SV/ST7000G4 dans leur guide produit.
Amazon