QuantumはActiveScaleオブジェクトストレージ・プラットフォームをアップデートし、Glacierクラスのアーカイブ層におけるコールドデータへのアクセスを大幅に改善しました。このアップデートでは、Quantumの特許取得済み消去符号化オブジェクト・オン・テープ設計を活用し、テープベースのコールドストレージ向けに独自のRanged Restore機能を搭載しています。
これらの変更により、小さなオブジェクトのパフォーマンスに最適化された新しい復元エンジンとともに、テープ アーカイブは低速のオフライン ストレージから、AI、分析、高性能コンピューティングに対応した応答性の高い API アクセス可能なデータ レイクへと変化します。
ActiveScaleでは、ファイル全体を復元するのではなく、大容量オブジェクトから必要なバイト範囲のみを取得できるようになりました。この選択的な復元により、コールドストレージの経済性とエクスペリエンスが一変します。AIトレーニング、データ検証、コンプライアンスクエリなどの作業を行うチームは、オブジェクト全体の取得に伴う遅延やリソースコストを回避し、タスク完了に必要なセグメントのみにアクセスできるようになります。待機時間と出力への影響が軽減されることで、ワークフローが高速化され、コンピューティングクラスターとネットワーク全体のインフラストラクチャ効率が向上します。Quantum社によると、これはActiveScale独自のテープベースのコールドストレージ向けカスタムS3 Glacier拡張機能であり、アーカイブの使いやすさに関する長年の課題を解決します。
Ranged Restore をサポートする新しい復元エンジンは、インテリジェントなバッチ処理とリクエスト順序付けにより、小さなオブジェクト操作のスループットを 5 倍以上向上させます。多くの AI および分析タスクでは、ラベルシャード、特徴量インデックス、コンプライアンスメタデータスキャンなど、小さなファイルへの大量のアクセスが必要です。従来、コールド層はこれらのタスクの遅延を引き起こしていました。ActiveScale のパフォーマンス向上により、小さなオブジェクトの復元がより迅速に行われ、反復サイクルの高速化、ジョブの同時実行性の向上、GPU および CPU リソースの有効活用が可能になります。全体的な効果として、コールド層は、ターゲットを絞った取得のためのウォーム分析層のように機能します。
クアンタムの経営陣は、今回のアップデートをアーカイブからの価値抽出を強化するための手段として位置付けています。クアンタムのCEOであるヒューグ・メイラス氏は、重要な問題はアーカイブの規模が大きくなるかどうかではなく、組織がトレーニングと分析に必要な適切なデータにどれだけ早くアクセスできるかだと強調しています。メイラス氏は、データの取得に数時間、あるいは数日もかかると生産性が低下し、コストが増加する可能性があると指摘しています。新しいActiveScale機能により、大規模で長期にわたるアーカイブへのアクセスが容易になり、エクサバイトレベルでAI対応が可能になります。
最高製品責任者のジェフ・バラル氏は、コールドデータをオフラインと見なすべきではないと付け加えています。ActiveScaleは、従来のGlacierクラスのストレージの限界を取り除くことで、テープストレージを高速で標準準拠の資産へと変貌させ、プログラムによるクエリ実行や高スループットのデータワークフローへの統合を可能にします。
差別化は主に次の 3 つの側面に依存します。
- バイト範囲レベルでの選択的な取得により、大きなオブジェクトの最初のバイトまでの時間が短縮され、不要なデータの移動が最小限に抑えられるため、出力、コンピューティング、エネルギーのコストが削減されます。
- 小さなオブジェクトのパフォーマンスの向上は、これまで何百万もの小さなファイルへのアクセスがアーカイブ層ストレージのレイテンシと競合していた AI および HPC パイプラインの大きな問題点に対処します。
- この設計では、S3 の互換性を維持しながら、Quantum のオブジェクト オン テープ アプローチに固有の方法で Glacier のセマンティクスを拡張し、顧客がアプリケーションを再設計することなくコールド層アクセスを最新化できるようにします。
ActiveScaleのイレージャーコーディングされたオブジェクト・オン・テープ設計の中核は極めて重要です。イレージャーコーディングは、メディア間のデータ耐久性を保護しながら、リストア操作中の並列処理を可能にします。ActiveScaleは、読み取りと要求の順序付けをインテリジェントに管理してテープの動きを最適化することで、機械的なオーバーヘッドを削減し、シーケンシャルメディアを選択的かつ高スループットな取得に使用可能なレイヤーへと変換します。その結果、リアルタイムまたはほぼリアルタイムのパイプラインに参加できるコールド層が実現し、トレーニングジョブのサポート、機能ストアへのデータ投入、そしてターゲットを絞ったeDiscoveryやコンプライアンス要求への対応を、テープに伴う従来の運用コストなしで実現します。
これらのアップデートは、データエンジニアリングとMLOps全体の生産性向上を目指しています。より高速でターゲットを絞ったリストアにより、チームはデータセットの検証、更新されたサンプルを使ったトレーニングの再実行、進行中のジョブへの影響を最小限に抑えた監査の実行が可能になります。以前はウォーム層へのデータのステージングを必要としていたワークフローは、多くのシナリオで中間ステップを省略できるようになり、パイプラインを効率化し、インフラストラクチャの煩雑さを軽減します。数ペタバイトからエクサバイト規模のアーカイブを管理する組織にとって、この統合は総所有コストの削減と長期的なデータ保持コストの抑制につながります。
ガバナンスとリスクの観点から、アーカイブを「クエリ対応」にすることで、データの可用性、リネージ、再現性に対する高まる期待に応えることができます。選択的なアクセスとスループットの向上により、企業はコスト効率の高いコールド層にデータを保存しながら、社内の締め切り、規制要件、AIテストスケジュールに求められる応答性を維持できます。このアプローチは、アクセスされるデータ量を制限することでデータ取得のリスクを軽減し、出力時の露出を低減し、アクセス制御を簡素化します。
クアンタムは、これらの機能により、ActiveScaleがコールドデータ向けの汎用性が高く、将来性も備えたプラットフォームとしての地位を強化すると考えています。アーカイブ層ストレージを高速で選択的にアクセス可能なレイヤーに変換することで、ActiveScaleは企業がデータの古さや量に関わらず、その価値を最大限に引き出すことを可能にします。このプラットフォームのGlacier互換APIと独自のテープ対応拡張機能により、異なるプラットフォームへの切り替えを必要とせずに、コールドストレージをAIやアナリティクスに統合する実用的な方法を提供します。
これらの機能強化は現在利用可能です。
Amazon