IT ベンダーから、自社のソリューションが人工知能、ディープラーニング、機械学習、またはエッジ インテリジェンスに関わる組織に与える影響について聞かない週はほとんどありません。しかし、問題は、これらのソリューションがこれらの各タスクのパフォーマンスにどのような影響を与えるかについての重要な洞察が欠けていることです。私たちは最近、ポーランドに拠点を置く AI および HPC ソリューション ビルダーである byteLAKE と提携することで、この問題について何かできないか検討することにしました。主な目的は、AI ワークロードに対するストレージと GPU の影響を評価することです。
ストレージが AI に与える影響
当初、ローカルストレージがAIモデルのパフォーマンスに影響を与えるという一般的な考え方を検証したいと考えました。ラボにあるDell EMC PowerEdge R740xdサーバーの1台を使用し、256GBのDRAMを搭載したIntel Xeon Gold 6130 CPUを2基搭載しました。そして、3種類の異なるローカルストレージ構成でbyteLAKE AIテストを実行しました。テストには、従来のKIOXIA PX04S SSDに加え、はるかに高速なSamsung 983 ZETとIntel Optane 900Pを使用しました。
ベンチマークテストでは、AI学習プロセスのパフォーマンスを分析しました。テストでは、実際のシナリオに基づいて学習プロセスを実行しました。この場合、テストはbyteLAKE製品の一つであるEWA Guardのトレーニング手順の一部でした。EWA Guardは、最新のリアルタイム検出モデルであるYOLO（You Only Look Once）に基づいています。このモデルは、単一の入力層、22の畳み込み層、5つのプーリング層、2つのルーター層、単一の再編成層、および単一の検出層で構成されています。
パフォーマンスの基本的な指標として、5000 エポックのトレーニングの実行時間を使用しました。ベンチマークはストレージ構成ごとに XNUMX 回繰り返され、平均値が以下に示されています。
結果について
- キオクシア 98時間24分
- サムスン 98h 44
- インテル 98h 42
データから明らかなように、ローカル ストレージはパフォーマンスに影響を与えませんでした。テストは SATA SSD から最新かつ最高の Optane まで多岐にわたりましたが、まったく影響はありませんでした。そうは言っても、データの出入りに関してはストレージがより重要な役割を果たす可能性がありますが、AI の計算に関しては、この場合は影響はありませんでした。
GPU とストレージが AI に与える影響
ストレージ データを入手したので、AI に対する GPU の影響を測定するために、PowerEdge に 4 つの NVIDIA TXNUMX を追加しました。このテストでは、同じ XNUMX つのストレージ構成も実行しました。
結果について
- キオクシア 4時間30分
- サムスン 4 時間 28 分
- インテル 4 時間 27 分
予想通り、GPU は効果をもたらし、実際には指数関数的な効果をもたらし、22 倍の改善をもたらしました。 GPU によって AI の全体的なパフォーマンスが向上するため、ストレージの高速化が影響を与えるのではないかと考えられていました。ただし、SATA ドライブが高速 NVMe に適合しているため、そうではありませんでした。
結論
このテストでは、より高速なストレージ デバイスを使用しても学習パフォーマンスが向上しないことがわかりました。この主な理由は、AI モデルの複雑な構造です。学習時間はデータの読み取り時間よりも長くなります。別の言い方をすると、現在の画像バッチを使用して学習する時間は、次の画像を読み取るのに必要な時間よりも長くなります。その結果、ストレージ操作は AI 計算の背後に隠されます。
NVIDIA T4 を追加する場合、AI による処理の高速化により、ストレージのパフォーマンスに影響が生じるのではないかという考えもありました。これは、T4 であっても AI モデルには依然として重い学習コンポーネントがあり、特に高速なストレージを必要としていなかったため、このテストには当てはまりませんでした。
特定のコンポーネントやシステムが AI に及ぼす影響をさらにテストするにはさらなる作業が必要ですが、この初期データは有用であり、会話の良い出発点になると考えています。 IT の観点から適切な手段がどこにあるのか、また予算支出が最も効果的な結果を生み出すことができるのはどこなのかをより深く理解するには、アプリケーション データが必要です。もちろん、これは、このアクティビティがどこで行われるか (データセンターかエッジか) にも大きく依存します。現時点では、これらの差し迫った質問に答えるのに役立つ有用なデータを提供するために、AI の槍の先端にある byteLAKE やその他の企業による関与を歓迎します。
これは当社にとって最初のAIテストですが、最後ではありません。byteLAKEの共同創設者であるマリウス・コランコ氏は、CFD Suite（計算流体力学「CFD」ソルバーを高速化するためのAI）という製品に取り組んでいることを明らかにしました。この製品では、深層学習プロセスにおいて、トレーニングの各エポックごとに大量のデータが必要となります。このモデルは、ビッグデータ領域でモデルをトレーニングするためにストレージに大きな負荷をかける可能性があり、深層学習プロセス自体のパフォーマンスにも影響を与える可能性があります。最終的には、あらゆるアプリケーションと同様に、適切なデータセンターリソースを割り当てるには、アプリケーションのニーズを理解することが重要です。AIは明らかに、万能なアプリケーションではありません。
Amazon