Dellは、KIOXIAの245.76TB NVMe SSDをソフトウェア定義のObjectScaleに対応させ、単一の2Uサーバーに9.83PBの生フラッシュを搭載しました。この高密度化のマイルストーンは、Dellが今年初めにObjectScale 4.2および4.3で詳細を発表したデータパスの取り組みの上に達成されたものです。ObjectScale 4.2および4.3では、ハイスループットAIトレーニング、小オブジェクトパイプラインの効率化、ネイティブS3 over RDMAによる推論の高速化、LLM向けキーバリュー（KV）キャッシュのオフロード、改良されたチャンクストアエンジン、S3テーブルを介したApache Icebergの直接サポートなど、様々な機能強化が図られています。
密度における画期的な成果：2Uサイズの筐体に245TBのKIOXIA製SSDを搭載し、9.83PBの容量を実現
エンタープライズAIデータレイクがモデルトレーニング、ファインチューニング、コンプライアンス保持の各階層に拡大するにつれ、ラック密度、熱管理、設置面積の制約が主要な設計変数となっています。ラックユニットあたりの生容量に対応するため、デルはKIOXIAの245.76TB NVMe SSDを、Dell PowerEdge R7725サーバー上で動作するソフトウェア定義型ObjectScale向けに認定しました。
ObjectScaleは、2Uシャーシ1台に245.76TBのドライブを40台搭載することで、9.83PBのオールフラッシュ容量を実現しました。弊社は昨年夏にこのプラットフォームをレビューしました。この高密度構成は、消費電力、冷却負荷、ケーブル配線の複雑さを最小限に抑えつつ、マルチペタバイト規模の非構造化ストレージを必要とするエンタープライズAIファクトリー、ベクトルデータベース、大規模分析リポジトリ、サイバーレジリエンスプラットフォームを直接ターゲットとしています。245TBのフラッシュがハードドライブと比較して消費電力とラック数にどのような影響を与えるかについての具体的な数値については、弊社のMicron 6600 IONレポートをご覧ください。
スループットの向上と小型オブジェクトアーキテクチャ
認定済みの Dell PowerEdge サーバーでのソフトウェア定義展開では、Dell の社内テストによると、ノードあたりの読み取りスループットは最大 40 GB/s で、前世代のオールフラッシュオブジェクトプラットフォームの 8 倍の増加となっています。Dell はまた、英国の高頻度取引顧客が本番環境で合計読み取りスループットが約 280 GB/s を維持していることを指摘しています。これらの数値は、ハードウェア自体で測定した値と一致しています。昨年 11 月に実施した R7725xd のテストでは、プラットフォームは内部 NVMe プール全体で 300 GB/s 以上、NVMe-oF RDMA で 160 GB/s を維持しました。このテストでは、ObjectScale をサーバー上で実行するのではなく、サーバーを直接特性評価しましたが、ソフトウェアが直面する上限を確立しました。
ObjectScaleは、数百万もの小さなフィーチャセット、ベクターチャンク、テレメトリログを扱うパイプラインでよく発生するメタデータのボトルネックを解消するため、最適化されたチャンクストアエンジンを採用しています。このアーキテクチャでは、小さなペイロードを128MBのチャンクに集約してから、ノード間でイレイジャーコーディングを適用します。一般的な10KBのファイルの場合、10,000個以上のオブジェクトが1つのチャンクに収まるため、メタデータのオーバーヘッドを大幅に削減できます。
このチャンキング方式では、ドライブ障害時の再構築プロセスも再構築され、再作成が必要なシャードの総数が数十億から数百万に削減されるため、高密度NVMeドライブの復旧時間が数週間から数時間に短縮されます。ストライプレベルで検証されるインラインチェックサムにより、バックグラウンドでの整合性スキャンに費やすホストCPUサイクルが削減されます。さらに、ObjectScale 4.2で再設計されたキーバリューストアは、メモリ効率を約4倍向上させ、メタデータディスクのフットプリントを30%～60%削減します。
RDMA経由のS3と推論アクセラレーション
ObjectScale 4.3は、 XF960 、EXF900、ソフトウェア定義型PowerEdge R7725xdを含むDellのオールフラッシュ製品群全体にS3 over RDMAを拡張します。RoCEv2ネットワークとDellのS3-over-RDMA SDKを活用することで、このプラットフォームはカーネルTCPオーバーヘッドとCPU割り込みをバイパスし、ホストGPUとバックエンドNVMeメディア間の直接メモリパスを確立します。社内テストでは、標準のS3 over TCPと比較して、スループットが最大230%向上し、レイテンシが80%削減され、クライアントCPU使用率が最大98%削減されることが示されています。
推論アーキテクチャの場合、ObjectScale はKV キャッシュのオフロードのための外部層として機能します。長コンテキスト推論では、GPU 上の HBM と VRAM がすぐに枯渇するため、vLLM、LMCache、および NVIDIA の NIXL ライブラリと統合することで、推論フレームワークは、アクティブなアテンション状態を RDMA アクセラレーションされた S3 を介して ObjectScale に直接スピルすることができます。Dell は、キャッシュ オフロードなしの標準 vLLM と比較して、最初のトークンまでの時間が最大 19 倍改善され、トークン スループットが最大 5.3 倍、マルチターン スループットがほぼ 3 倍向上したと報告しています。また、Dell は、競合するオブジェクト プラットフォームとの直接比較テストで、TTFT が約 0.86 秒であったと述べています。
ネイティブS3テーブルとスケールアウト効率
ObjectScale 4.3では、Dellがテクニカルプレビューとして提供しているネイティブS3テーブルも搭載され、Apache Icebergのオープンテーブル形式がストレージバケットレイヤーに直接組み込まれます。Trino、Starburst、Spark、Flinkなどのクエリエンジンは、専用のステージングやETLデータ転送を必要とせずに、S3バケットに対してネイティブに分析を実行できます。Dellによると、このアーキテクチャは、従来のウェアハウス構成と比較して、データ取り込み速度が最大2倍、クエリ速度が最大4.5倍向上するとのことです。
基盤となるストレージ効率には、24+2 および 24+4 のイレイジャーコーディング プロファイルが含まれており、デルによれば、これにより書き込み増幅が最大 75% 削減されます。EX500 のような大容量 HDD プラットフォームでは、同社は、ラージ オブジェクトの取り込みが最大 25% 高速化され、ミッドサイズ オブジェクトの書き込みパフォーマンスが最大 2 倍向上したと報告しています。ワークロード固有のバケット圧縮は、Snappy、LZ4、ZSTD、および Deflate アルゴリズムをサポートし、FinOps コスト追跡のためのテレメトリを提供します。プロビジョニングとオーケストレーションは、Kubernetes Container Object Storage Interface (COSI) や Terraform プロバイダーなどのクラウド ネイティブ ツールとネイティブに統合されます。
Amazon