Dell hat die 245.76 TB großen NVMe-SSDs von KIOXIA für softwaredefiniertes ObjectScale qualifiziert und damit 9.83 PB Flash-Speicher in einem einzigen 2U-Server integriert. Dieser Meilenstein in puncto Speicherdichte ergänzt die Datenpfadoptimierungen, die Dell Anfang des Jahres für ObjectScale 4.2 und 4.3 vorgestellt hat. Diese zielen auf KI-Training mit hohem Durchsatz, effiziente Verarbeitung kleiner Objekte und beschleunigte Inferenz durch natives S3 über RDMA, Key-Value-Cache-Offloading für LLMs , eine überarbeitete Chunk-Store-Engine und direkte Apache-Iceberg-Unterstützung über S3-Tabellen ab.
Meilenstein bei der Speicherdichte: 9.83 PB auf 2 HE dank 245 TB KIOXIA SSDs
Mit der zunehmenden Verbreitung von KI-Datenspeichern in Unternehmen – von Modelltraining über Feinabstimmung bis hin zur Einhaltung von Compliance-Vorgaben – rücken Rackdichte, Wärmemanagement und Platzbedarf in den Fokus der Designentscheidung. Um die Speicherkapazität pro Rackeinheit zu optimieren, hat Dell die 245.76 TB großen NVMe-SSDs von KIOXIA für softwaredefiniertes ObjectScale auf Dell PowerEdge R7725- Servern qualifiziert.
Durch die Bestückung eines einzigen 2U-Gehäuses mit 40 der 245.76 TB großen Flash-Laufwerke erreicht ObjectScale eine Rohkapazität von 9.83 PB. Wir haben die Plattform im letzten Sommer getestet. Diese Speicherdichte ist speziell auf KI-Systeme in Unternehmen, Vektordatenbanken, große Analyse-Repositories und Cybersicherheitsplattformen ausgerichtet, die unstrukturierte Speicherkapazitäten im Petabyte-Bereich benötigen und gleichzeitig Stromverbrauch, Kühlbedarf und Verkabelungskomplexität minimieren. Konkrete Daten zum Stromverbrauch und zur Anzahl der benötigten Rackplätze im Vergleich zu Festplatten finden Sie in unserem Bericht zum Micron 6600 ION.
Durchsatzsteigerungen und Architektur für kleine Objekte
In softwaredefinierten Umgebungen auf qualifizierten Dell PowerEdge-Servern ergaben interne Tests von Dell einen Lesedurchsatz von bis zu 40 GB/s pro Knoten – eine achtfache Steigerung gegenüber All-Flash-Objektplattformen der vorherigen Generation. Dell verweist zudem auf einen britischen Hochfrequenzhandelskunden, der im Produktivbetrieb einen Gesamtlesedurchsatz von rund 280 GB/s erreicht. Diese Werte decken sich mit unseren Hardware-Messungen: In unseren Tests des R7725xd im vergangenen November erzielte die Plattform über 300 GB/s im internen NVMe-Pool und 160 GB/s über NVMe-oF RDMA. Diese Tests charakterisierten den Server direkt, ohne ObjectScale darauf auszuführen, und zeigen die maximale Leistungsfähigkeit der Software auf.
Um die in Pipelines mit Millionen kleiner Merkmalsmengen, Vektorblöcken und Telemetrieprotokollen häufig auftretenden Metadatenengpässe zu beseitigen, verwendet ObjectScale eine optimierte Chunk-Speicher-Engine. Die Architektur aggregiert kleine Nutzdaten zu einheitlichen 128-MB-Blöcken, bevor die Erasure Coding-Verfahren knotenübergreifend angewendet werden. Bei typischen 10-KB-Dateien passen mehr als 10,000 Objekte in einen einzigen Block, wodurch der Metadaten-Overhead erheblich reduziert wird.
Dieser Chunking-Ansatz optimiert zudem die Wiederherstellung nach einem Festplattenausfall, indem die Anzahl der wiederherzustellenden Shards von Milliarden auf Millionen reduziert wird. Dadurch verkürzen sich die Wiederherstellungszeiten für NVMe-Laufwerke mit hoher Speicherdichte von Wochen auf Stunden. Inline-Prüfsummen auf Stripe-Ebene reduzieren den CPU-Verbrauch des Hosts für Integritätsprüfungen im Hintergrund. Darüber hinaus bietet der überarbeitete Key-Value-Speicher in ObjectScale 4.2 eine etwa viermal höhere Speichereffizienz und reduziert den Speicherbedarf für Metadaten um 30 bis 60 %.
S3 über RDMA und Inferenzbeschleunigung
ObjectScale 4.3 erweitert S3 over RDMA auf das gesamte All-Flash-Portfolio von Dell, einschließlich der XF960- , EXF900- und softwaredefinierten PowerEdge R7725xd-Systeme. Durch die Nutzung von RoCEv2-Netzwerktechnologie und dem Dell S3-over-RDMA SDK umgeht die Plattform den Kernel-TCP-Overhead und CPU-Interrupts, um direkte Speicherpfade zwischen Host-GPUs und Backend-NVMe-Medien herzustellen. Interne Tests zeigen, dass dies im Vergleich zu Standard-S3 over TCP einen bis zu 230 % höheren Durchsatz, eine um 80 % reduzierte Latenz und eine bis zu 98 % geringere CPU-Auslastung auf Client-Ebene ermöglicht.
Für Inferenzarchitekturen fungiert ObjectScale als externe Ebene für die Auslagerung des KV-Caches . Da Inferenz mit langem Kontext den On-GPU-HBM und VRAM schnell erschöpft, ermöglicht die Integration mit vLLM, LMCache und NVIDIAs NIXL-Bibliothek Inferenz-Frameworks, aktive Aufmerksamkeitszustände direkt über RDMA-beschleunigtes S3 an ObjectScale auszulagern. Dell berichtet von einer bis zu 19-fachen Verbesserung der Time to First Token (TTFT) gegenüber Standard-vLLM ohne Cache-Auslagerung, sowie von einem bis zu 5.3-fach höheren Token-Durchsatz und einem fast 3-fach höheren Multi-Turn-Durchsatz. Unabhängig davon gibt Dell in eigenen Vergleichstests mit einer konkurrierenden Objektplattform eine TTFT von etwa 0.86 Sekunden an.
Native S3-Tabellen und Skalierungseffizienz
ObjectScale 4.3 bietet außerdem native S3-Tabellen, die Dell als Tech Preview angibt. Dabei werden die offenen Tabellenformate von Apache Iceberg direkt in die Speicherschicht (Storage Bucket) integriert. Abfrage-Engines wie Trino, Starburst , Spark und Flink können Analysen nativ auf S3-Buckets ausführen, ohne dass ein dediziertes Staging oder die ETL-Datenmigration in separate Data Warehouses erforderlich ist. Laut Dell ermöglicht diese Architektur eine bis zu doppelt so schnelle Datenaufnahme und bis zu 4.5-mal schnellere Abfragen im Vergleich zu herkömmlichen Data-Warehouse-Konfigurationen.
Die zugrundeliegende Speichereffizienz basiert auf 24+2- und 24+4-Erasure-Coding-Profilen, die laut Dell die Schreibverstärkung um bis zu 75 % reduzieren. Auf HDD-Plattformen mit hoher Kapazität wie der EX500 berichtet das Unternehmen von bis zu 25 % schnellerer Aufnahme großer Objekte und einer bis zu doppelt so hohen Schreibleistung mittelgroßer Objekte. Die workload-spezifische Bucket-Komprimierung unterstützt die Algorithmen Snappy, LZ4, ZSTD und Deflate mit Telemetrie zur Kostenverfolgung im Bereich FinOps. Bereitstellung und Orchestrierung sind nativ in Cloud-native Tools integriert, darunter Kubernetes Container Object Storage Interface (COSI) und Terraform-Provider.
Amazon