Dell a certifié les SSD NVMe KIOXIA de 245.76 To pour la technologie ObjectScale définie par logiciel, intégrant ainsi 9.83 Po de mémoire flash brute dans un seul serveur 2U. Cette avancée majeure en matière de densité s'ajoute aux améliorations apportées au chemin de données par Dell en début d'année pour ObjectScale 4.2 et 4.3. Ces améliorations visent un entraînement IA à haut débit, une efficacité accrue des pipelines pour les petits objets et une accélération de l'inférence grâce à la prise en charge native de S3 sur RDMA, au déchargement du cache clé-valeur (KV) pour les LLM , à un moteur de stockage par blocs repensé et à la prise en charge directe d'Apache Iceberg via les tables S3.
Étape importante en matière de densité : 9.83 Po dans un format 2U grâce à des SSD KIOXIA de 245 To
À mesure que les lacs de données d'IA d'entreprise s'étendent aux différentes étapes d'entraînement, d'optimisation et de conservation des modèles pour garantir la conformité, la densité des racks, la gestion thermique et les contraintes d'espace au sol deviennent des variables de conception essentielles. Afin d'optimiser la capacité brute par unité de rack, Dell a qualifié les SSD NVMe de 245.76 To de KIOXIA pour la technologie ObjectScale logicielle exécutée sur les serveurs Dell PowerEdge R7725.
En intégrant 40 disques de 245.76 To dans un seul châssis 2U, ObjectScale atteint une capacité de stockage flash brute de 9.83 Po ; nous avons testé cette plateforme l'été dernier. Cette densité est conçue pour les plateformes d'IA d'entreprise, les bases de données vectorielles, les grands référentiels analytiques et les plateformes de cyber-résilience qui nécessitent des capacités de stockage non structuré de plusieurs pétaoctets, tout en minimisant la consommation d'énergie, les besoins en refroidissement et la complexité du câblage. Pour des données chiffrées sur l'impact du stockage flash de 245 To sur la consommation d'énergie et le nombre de disques en rack par rapport aux disques durs, consultez notre rapport sur le Micron 6600 ION.
Gains de débit et architecture pour petits objets
Dans les déploiements logiciels sur les serveurs Dell PowerEdge compatibles, les tests internes de Dell indiquent un débit de lecture par nœud pouvant atteindre 40 Go/s, soit huit fois plus que les plateformes objets 8 % flash de génération précédente. Dell cite également un client britannique spécialisé dans le trading haute fréquence qui maintient un débit de lecture agrégé d'environ 280 Go/s en production. Ces chiffres correspondent à nos mesures effectuées sur le matériel lui-même : lors de nos tests du R7725xd en novembre dernier , la plateforme a maintenu plus de 300 Go/s sur le pool NVMe interne et 160 Go/s sur NVMe-oF RDMA. Ces tests ont caractérisé directement le serveur, sans exécuter ObjectScale par-dessus, mais ils établissent la limite de performance du logiciel.
Pour éliminer les goulots d'étranglement liés aux métadonnées, fréquents dans les pipelines traitant des millions de petits ensembles de caractéristiques, de fragments vectoriels et de journaux de télémétrie, ObjectScale utilise un moteur de stockage par fragments optimisé. L'architecture agrège les petites charges utiles en fragments unifiés de 128 Mo avant d'appliquer un codage d'effacement sur l'ensemble des nœuds. Pour des fichiers classiques de 10 Ko, plus de 10 000 objets tiennent dans un seul fragment, réduisant considérablement la surcharge liée aux métadonnées.
Cette approche de segmentation simplifie également la reconstruction des disques en cas de panne, en réduisant le nombre total de fragments à recréer de milliards à millions, ce qui diminue le temps de récupération des disques NVMe haute densité de plusieurs semaines à quelques heures. Les sommes de contrôle intégrées, vérifiées au niveau des bandes, réduisent la charge du processeur hôte consacrée aux analyses d'intégrité en arrière-plan. De plus, le magasin de clés-valeurs repensé dans ObjectScale 4.2 offre une efficacité mémoire environ quatre fois supérieure et réduit l'espace disque occupé par les métadonnées de 30 % à 60 %.
S3 sur RDMA et accélération de l'inférence
ObjectScale 4.3 étend la prise en charge de S3 sur RDMA à l'ensemble de la gamme de serveurs 100 % flash de Dell, notamment les XF960 , EXF900 et les déploiements PowerEdge R7725xd définis par logiciel. Grâce à la technologie réseau RoCEv2 et au kit de développement logiciel (SDK) S3 sur RDMA de Dell, la plateforme contourne la surcharge TCP du noyau et les interruptions du processeur pour établir des chemins mémoire directs entre les GPU hôtes et le support NVMe. Des tests internes ont démontré une augmentation du débit jusqu'à 230 %, une réduction de la latence de 80 % et une réduction de l'utilisation du processeur client jusqu'à 98 % par rapport à la prise en charge standard de S3 sur TCP.
Pour les architectures d'inférence, ObjectScale fonctionne comme une couche externe pour le déchargement du cache KV . L'inférence à contexte long sature rapidement la mémoire HBM et VRAM du GPU ; l'intégration avec vLLM, LMCache et la bibliothèque NIXL de NVIDIA permet aux frameworks d'inférence de transférer directement les états d'attention actifs vers ObjectScale via S3 accéléré par RDMA. Dell annonce une amélioration jusqu'à 19 fois du temps d'obtention du premier jeton (TTFT) par rapport à vLLM standard sans déchargement du cache, ainsi qu'un débit de jetons jusqu'à 5.3 fois supérieur et un débit multi-tours près de 3 fois supérieur. Par ailleurs, Dell indique un TTFT d'environ 0.86 seconde lors de ses propres tests comparatifs avec une plateforme objet concurrente.
Tables S3 natives et efficacité de mise à l'échelle horizontale
ObjectScale 4.3 introduit également les tables S3 natives (une fonctionnalité proposée par Dell en avant-première technique), intégrant les formats de tables ouvertes Apache Iceberg directement au sein de la couche de stockage. Les moteurs de requêtes tels que Trino, Starburst , Spark et Flink peuvent exécuter des analyses natives sur les compartiments S3 sans nécessiter de zone de transit dédiée ni de transfert de données ETL vers des entrepôts de données distincts. Dell indique que cette architecture offre une ingestion jusqu'à deux fois plus rapide et des requêtes jusqu'à 4.5 fois plus rapides que les configurations d'entrepôt de données traditionnelles.
L'efficacité du stockage sous-jacent repose sur des profils de codage d'effacement 24+2 et 24+4 qui, selon Dell, réduisent l'amplification d'écriture jusqu'à 75 %. Sur les plateformes de disques durs haute capacité comme l'EX500, l'entreprise annonce une ingestion des objets volumineux jusqu'à 25 % plus rapide et des performances d'écriture des objets de taille moyenne jusqu'à deux fois supérieures. La compression des buckets, adaptée à la charge de travail, prend en charge les algorithmes Snappy, LZ4, ZSTD et Deflate, avec télémétrie pour le suivi des coûts FinOps. Le provisionnement et l'orchestration s'intègrent nativement aux outils cloud-native, notamment l'interface COSI (Container Object Storage Interface) de Kubernetes et les fournisseurs Terraform.
Amazon