BackblazeとWEKAは、AIパイプライン向けに両プラットフォームを連携させて検証しました。 WEKAニューラルメッシュ GPUに供給するパフォーマンス層として BackblazeB2クラウドストレージ as the capacity tier that holds everything else. The integration, sizing, tuning, and testing are already done, so an AI infrastructure team can deploy a proven two-tier layout without building and qualifying its own. Certification of B2 for NeuralMesh is underway, and both companies say customers can contact either one to get started now.
2つの階層、1つのデータライフサイクル
Raw, unstructured data, meaning the training sets, media libraries, and source files, lives in B2. When a dataset becomes part of a performance-sensitive job, it’s made available to NeuralMesh and served to the accelerators from there. Once a checkpoint, an output, or any other asset no longer needs high-performance access, it goes back to B2, where it can be reused in a later run or pulled back if a job has to recover to an earlier stage. The companies frame it as speed where the GPUs are and capacity everywhere else, with the data moving between the two as its access pattern changes.
「AIチームは、GPUに十分なデータを供給する必要があり、AIデータワークフロー全体をサポートするパフォーマンスと容量を備えたインフラストラクチャが必要です。WEKAはパフォーマンス層を極めました。私たちは容量ストレージについても20年近く同じことをしてきました」とBackblazeのCEO、Gleb Budman氏は述べています。WEKAの最高戦略責任者であるNilesh Patel氏は、逆方向からの同様のプレッシャーについて次のように述べています。「AIワークロードは、ストレージを2つの方向で同時に拡張しています。GPUはデータ供給を維持するためにマイクロ秒単位のデータアクセスを必要としますが、データセットとチェックポイントはエクサバイト規模にまで拡大しています。Backblazeとの協業により、お客様は、統合の構築とテストにコストをかけることなく、両方に対する検証済みのパスを得ることができます。」
オブジェクトへのスナップ機能はB2に対してテスト済みです。
Another interesting piece is NeuralMesh’s Snap-to-Object, which the companies say they’ve tested with Backblaze. Snap-to-Object writes a consistent snapshot of a NeuralMesh file system out to an object store, and with B2 as the target, that store is the same capacity tier the raw data and retired checkpoints already end up in. For a training run, that means a team can revert to a checkpoint or recover saved inference data from B2 without improvising a fix in the middle of the job, and without maintaining a separate destination for snapshots. The economic effect is a cloud object tier behind NeuralMesh that’s priced as capacity, holding the snapshots alongside the data they protect.
Backblazeは、ネオクラウドプラットフォーム向けのB2 Neoの提供からパフォーマンスベンチマークプログラムに至るまで、B2をAI向けのキャパシティレイヤーとして位置づける取り組みを年間を通して行ってきたが、WEKAはGPU側でパフォーマンスティアのパートナーとなる。




Amazon