AI 推論パフォーマンスに対する DRAM チャネルの影響の評価

AI システムにおける DRAM の利点を検証するために、56 つの Kingston KSM46R4BD64PMI-5HAI DDRXNUMX メモリ モジュールを使用して一連のテストを実施しました。

システム DRAM は、AI、特に CPU 推論において重要な役割を果たします。 AI アプリケーションがより複雑になるにつれて、より高速で効率的なメモリ ソリューションに対する需要がますます重要になっています。私たちは、CPU 推論と複数のメモリ チャネルを利用する重要な役割に焦点を当てて、AI におけるシステム DRAM の重要性を検討したいと考えました。

AI におけるシステム DRAM の重要性

システム DRAM は、AI システムのデータの中心ハブです。 CPU による迅速なアクセスのためにデータが一時的に保存されるため、迅速なデータ処理が可能になります。

これは、大規模なデータセットを迅速かつ効率的に処理することが利点であるだけでなく必須である AI アプリケーションでは特に重要です。ここでは、AI 機能の強化におけるシステム DRAM の多面的な役割を詳しく見ていきます。

• 速度と効率: AI アルゴリズム、特に推論では、膨大な量のデータを処理するために高速メモリが必要です。システム DRAM はこの速度を提供し、レイテンシを短縮し、システム全体のパフォーマンスを向上させます。
• 容量: 最新の AI アプリケーションは大容量のメモリを必要とします。大容量 DRAM により、より大きなデータセットをメモリ内で処理できるようになり、ストレージ デバイスからデータをフェッチするプロセスが遅くなることがなくなります。
• 信頼性: AI では、データの整合性が最も重要です。システム DRAM はエラー訂正機能を備えており、データの破損を最小限に抑えます。これは、精度が重要なアプリケーションでは不可欠です。
• スケーラビリティ: AI モデルがますます複雑になるにつれて、メモリ リソースを拡張する機能が非常に重要になります。システム DRAM は、進化する AI アプリケーションの増大する要求と、増大するデータ要件に対応するために必要な拡張性を提供します。
• 帯域幅: システム DRAM の高い帯域幅により、より高速なデータ転送速度が可能になり、データへの迅速なアクセスが可能になります。これは、複雑なニューラル ネットワークのトレーニングや大規模なデータ処理タスクの管理に特に役立ちます。

CPU 推論と DRAM

人工知能では、CPU 推論 (トレーニングされたモデルを使用して予測や意思決定を行うプロセス) と DRAM の役割は、AI アプリケーションの効率と速度に大きな影響を与える重要なコンポーネントです。このフェーズでは、大規模なデータセットに迅速にアクセスして処理する必要があるため、メモリを大量に消費します。関係するデータの性質とサイズが複雑なため、システム メモリに特に負荷がかかります。

DRAM は、いくつかの重要な機能強化を通じて AI 操作の CPU 推論を最適化する上で極めて重要です。まず、高いデータ スループットを達成するために必要な帯域幅を提供します。これは、CPU 推論における迅速なデータ処理と意思決定に不可欠です。このスループットの向上は、複雑なタスクのパフォーマンスの向上に直接つながります。

さらに、システム DRAM はデータを CPU の近くに保存することにより、データへのアクセス時間を大幅に短縮し、全体的な推論遅延を最小限に抑えます。この近接性は、迅速で応答性の高いシステムを維持するために非常に重要です。最後に、データが高速に処理され、アクセス時間が短縮されるため、CPU 推論タスクに必要な全体的な電力が大幅に削減されます。これにより、よりエネルギー効率の高い運用が実現され、AI アプリケーションにとってより持続可能でコスト効率の高い環境が確保されます。

複数のメモリチャネルの役割

システム メモリ アーキテクチャは、AI アプリケーションのパフォーマンスを定義する上で不可欠な要素です。複数のメモリ チャネルを使用することは、高速道路を拡張するようなものです。これにより、データ トラフィックの同時フローが促進され、システム全体のパフォーマンスが大幅に向上します。複数のチャネルを採用して AI の運用を最適化する方法は次のとおりです。

• 帯域幅の増加: 複数のチャネルによりメモリ帯域幅が増加します。これは、より多くのデータを同時に処理および分析できるため、AI アプリケーションにとって非常に重要であり、推論時間の短縮につながります。
• 並列処理: 複数のチャネルを使用すると、データを並列処理できるため、大規模なデータセットを含む AI 計算が大幅に高速化されます。
• ボトルネックの軽減: 複数のメモリ チャネルは、システムのボトルネックの軽減に役立ちます。メモリ負荷を分散することで、各チャネルがより効率的に動作できるようになり、システム全体のパフォーマンスが向上します。

テストデータ

AI システム、特に CPU 推論における DRAM の利点を検証するために、さまざまなチャネル構成にわたって 56 つの Kingston KSM46R4BD64PMI-5HAI DDRXNUMX メモリ モジュールを使用して一連のテストを実施しました。

ベースラインを確立するために、集中的な CPU ベンチマークと Geekbench テストを開始し、CPU の個別の機能を測定しました。メモリやストレージを含むシステム全体に大きな負荷をかけるため、厳しい要求を満たす y-cruncher を選択しました。このアプローチにより、極端な条件下でシステム全体の凝集性と耐久性を評価することができ、全体的なパフォーマンスと安定性を明確に把握できます。

最終的に、これらの結果は、システム DRAM とメモリ チャネルの数が AI アプリケーションの計算速度、効率、全体的なシステム パフォーマンスにどのように直接影響するかについての具体的なデータを提供します。

Geekbench 6

最初のアップです Geekbench 6、システム全体のパフォーマンスを測定するクロスプラットフォームのベンチマーク。必要なシステムとの比較を次の場所で見つけることができます。 Geekbenchブラウザ。スコアが高いほど良いです。

Kingston DDR6 の Geekbench 5 の結果では、2、4、および 8 チャネルのセットアップを比較すると、さまざまな変動が示されます。シングルコア テストでは、スコアは 2,083 チャネルの 2,317 から 14,404 チャネルの 19,752 まで、緩やかではありますが一貫して増加しており、チャネル数が増加するにつれて個々のコア操作の効率とスループットが向上していることを示しています。ただし、最も劇的なパフォーマンスの向上はマルチコア テストで観察され、スコアは XNUMX チャネルの XNUMX から XNUMX チャネルの大幅な XNUMX に跳ね上がりました。

yクランチャー

マルチスレッドのスケーラブルなプログラムである y-cruncher は、円周率やその他の数学定数を数兆桁まで計算できます。 2009 年の発売以来、y-cruncher はオーバークロッカーやハードウェア愛好家の間で人気のベンチマークおよびストレス テスト アプリケーションとなっています。このテストでは速いほど優れています。

2、4、および 8 チャネルにわたる y-cruncher ベンチマークは、チャネル数が増加するにつれて計算速度が明確かつ一貫して向上していることを示しています。 1 億桁の円周率を計算する場合、合計計算時間は 18.117 チャネルの場合の 7.552 秒から、XNUMX チャネルの場合のわずか XNUMX 秒に大幅に短縮されます。

この計算時間の短縮傾向はテスト済みのすべてのスケールで継続しており、25 チャネルから 693.835 チャネルに移行すると、396.997 億桁の計算時間が 2 秒から 4 秒に減少しました。

3DMark – CPU プロファイル

3DMark の CPU プロファイル テストでは、さまざまなスレッド数にわたるプロセッサのパフォーマンスを特に測定し、DDR5 RAM チャネルのさまざまな構成が CPU のワークロード処理と効率にどのような影響を与えるかを詳細に調べます。このテストは、さまざまな DDR5 RAM チャネル設定を使用する場合の、メモリを大量に使用する操作やマルチスレッド アプリケーションにおけるパフォーマンスの微妙な違いを理解するのに役立ちます。

Kingston DDR3 RAM の 5DMark CPU プロファイル スコアはやや複雑な状況を示しており、最適なチャネル数はスレッド数と特定のワークロードに応じて異なる可能性があることを示しています。

最大スレッド数では、スコアは 15,822 チャネル (4) で最も高く、チャネルが増えるとわずかに減少します。これは、追加のチャネルが高度な並列タスクにメリットを提供しないことを示唆しています。ただし、6,019 スレッドでは、4 チャネル構成のスコアが最高 (2) であり、追加のチャネルによって中間レベルの並列処理の処理が改善されるスイート スポットを示しています。スコアは、スレッド数が低い場合 (1、XNUMX、XNUMX スレッド)、すべてのチャネル構成で同様です。

これらの結果は、より多くのチャネルが特定のマルチスレッド操作に恩恵をもたらす可能性がある一方で、その影響はタスクの性質やシステムのアーキテクチャによって異なることを示唆しています。つまり、あらゆるユースケースにおいて、多ければ多いほど良いというわけではありません。

AI 推論に対する DRAM チャネルの影響

すべてのテストは、UL Labs Procyon Benchmark を通じて Intel OpenVINO API を利用して、Intel Xeon w9-3475X CPU で実行されました。

UL Procyon AI Inference Benchmark は、一流ベンダーの一連の AI 推論エンジンを搭載し、幅広いハードウェアのセットアップと要件に対応します。ベンチマーク スコアは、オンデバイス推論パフォーマンスの便利で標準化された概要を提供します。これにより、社内ソリューションを必要とせずに、現実の状況でさまざまなハードウェア設定を比較対照することができます。

FP32 では結果は誤差の範囲内ですが、INT に移行すると、全体的なスコアではなく粒度の高いスコアを見ると、事態は興味深いものになります。

全体的なスコアでは数値が大きいほど優れており、時間では数値が小さいほど優れています。

まずはFP32プレシジョン

次はFP16 Precisionです

そして最後にINT

DRAMのスループットとレイテンシ

まず、2 チャネルおよび 8 チャネル DRAM 構成のレイテンシーを調べます。 CPU とメモリ全体のプロファイリングを行いましたが、唯一の焦点は CPU キャッシュから DRAM への移行でした。 Xeon W9-3475X CPU には 82.50MB の L3 キャッシュしかないため、その移行の開始時にグラフを取り出しました。

ここでは、チャネルを追加することでレイテンシーがわずかに改善されたことがわかります。

AVX512 命令の帯域幅に移ると、2 チャネルと 8 チャネルの間で帯域幅に劇的な違いがあることがわかります。ここでのデルタは、2 チャネルと 8 チャネルの間のパフォーマンス ヒットです。

まとめ：

要約すると、システム DRAM は、AI システム、特に CPU 推論のアーキテクチャの基礎となります。高速で信頼性が高く、大容量のメモリを提供する機能は不可欠です。さらに、複数のメモリ チャネルを活用すると、帯域幅が増加し、並列処理が可能になり、ボトルネックが最小限に抑えられるため、AI アプリケーションのパフォーマンスが大幅に向上します。 AI が進化し続けるにつれて、最高レベルのパフォーマンスと効率を確保するには、システム DRAM の最適化が今後も重要な焦点となります。

さらに、テスト データはこの概念を強化し、強化されたメモリ構成の具体的な利点を示しています。 AI とデータ処理の限界を押し上げるにつれて、システム メモリの戦略的な強化は、次世代の AI イノベーションと現実世界のアプリケーションをサポートする上で非常に重要になります。

StorageReview と連携する

ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード