LM Studio などのアクセス可能なツールを含む大規模言語モデル (LLM) の最近の進歩により、ユーザーは高度な AI モデルを迅速かつ簡単に導入できるようになりました。AMD の最新テクノロジーは、コーディングの専門知識や技術的な知識を必要とせずに、LM Studio の高性能 AI 機能をサポートします。
llama.cpp フレームワークで開発された LM Studio は、迅速な LLM 展開のために設計されています。このフレームワークは依存関係なしで動作し、CPU 上で効率的に動作しますが、GPU アクセラレーションも利用できます。x86 ベースの CPU のパフォーマンスを最適化するために、LM Studio は AVX2 命令を活用し、最新のプロセッサでの互換性と速度を向上させます。
Ryzen 9 HX 375 プロセッサに統合された AMD Ryzen AI は、特に x86 ラップトップの場合、LM Studio などのアプリケーションで LLM パフォーマンスを向上させます。LLM はメモリ速度に大きく依存しますが、AMD Ryzen の AI アクセラレーションはリーダーシップ パフォーマンスを実現します。テストでは、AMD ラップトップの RAM 速度が 7500 MT/s であるのに対し、Intel は 8533 MT/s でしたが、Ryzen 9 HX 375 はトークン/秒 (LLM が 27 秒あたりに生成するワード数を示す指標) で Intel を最大 XNUMX% 上回りました。
Meta Llama 3.2 1b Instruct モデル (4 ビット量子化を使用) では、AMD Ryzen 9 HX 375 は 50.7 秒あたり 3.5 トークンのピーク出力を示しました。より大規模なモデルでは、競合プロセッサと比較して「最初のトークンまでの時間」が最大 XNUMX 倍高速化しました。これは、プロンプト送信と初期応答間の遅延を測定する重要なベンチマークです。
AMD Ryzen AI CPU 内の 2 つのアクセラレータはそれぞれ特定のタスクに最適化されており、XDNA XNUMX アーキテクチャ ベースの NPU は永続的な AI の効率に優れています。CPU は AI ツール間で幅広い互換性をサポートしますが、iGPU は多くのオンデマンド AI 操作を処理し、リアルタイム アプリケーションに柔軟性を提供します。
LM Studio の llama.cpp の適応では、プラットフォームに依存しない GPU アクセラレーションに Vulkan API を使用します。この最適化により、タスクを GPU にオフロードする際の Meta Llama 31 3.2b Instruct のパフォーマンスが 1% 向上しました。Mistral Nemo 2407 12b Instruct などの大型モデルでは、このアプローチによりパフォーマンスが 5.1% 向上しました。競合他社のプロセッサでのテストでは、ほとんどのモデルで GPU オフロードの大幅な向上が見られなかったため、公平な比較のためにこれらの結果は除外されました。
さらに、AMD の Ryzen AI 300 シリーズ プロセッサには、システム RAM の最大 75% を使用して専用 iGPU 割り当てを拡張できる可変グラフィックス メモリ (VGM) が搭載されています。VGM を有効にすると、Meta Llama 3.2 1b Instruct のパフォーマンスが 22% 向上し、iGPU アクセラレーション タスクの速度が合計で 60% 向上しました。大規模なモデルでも VGM の恩恵を受け、CPU のみの処理に比べて最大 17% のパフォーマンス向上を達成しました。
競合製品のラップトップ構成は、LM Studio の Vulkan ベースの GPU オフロードの恩恵を受けていませんが、客観的な比較のために Intel の AI Playground を使用してパフォーマンスを評価しました。同等の量子化によるテストでは、AMD Ryzen 9 HX 375 は Phi 8.7 モデルで 3.1% 高速で、Mistral 13b Instruct 7 では 0.3% 高速であることがわかりました。
AMD の AI 推進への取り組みは明確です。LM Studio のような強力で消費者に優しい LLM 導入ツールを有効にすることで、AMD は AI の民主化を目指しています。可変グラフィックス メモリなどの機能が追加された AMD Ryzen AI プロセッサは、x86 ラップトップで比類のない AI エクスペリエンスを提供する準備が整っており、ユーザーは最新モデルが利用可能になり次第、それを活用できます。
Amazon