AMD の最新テクノロジーは、コーディングの専門知識や技術的な知識を必要とせずに高性能な AI 機能を実現する LM Studio をサポートします。
LM Studio などのアクセス可能なツールを含む大規模言語モデル (LLM) の最近の進歩により、ユーザーは高度な AI モデルを迅速かつ簡単に導入できるようになりました。AMD の最新テクノロジーは、コーディングの専門知識や技術的な知識を必要とせずに、LM Studio の高性能 AI 機能をサポートします。
llama.cpp フレームワークで開発された LM Studio は、迅速な LLM 展開のために設計されています。このフレームワークは依存関係なしで動作し、CPU 上で効率的に動作しますが、GPU アクセラレーションも利用できます。x86 ベースの CPU のパフォーマンスを最適化するために、LM Studio は AVX2 命令を活用し、最新のプロセッサでの互換性と速度を向上させます。
Ryzen 9 HX 375 プロセッサに統合された AMD Ryzen AI は、特に x86 ラップトップの場合、LM Studio などのアプリケーションで LLM パフォーマンスを向上させます。LLM はメモリ速度に大きく依存しますが、AMD Ryzen の AI アクセラレーションはリーダーシップ パフォーマンスを実現します。テストでは、AMD ラップトップの RAM 速度が 7500 MT/s であるのに対し、Intel は 8533 MT/s でしたが、Ryzen 9 HX 375 はトークン/秒 (LLM が 27 秒あたりに生成するワード数を示す指標) で Intel を最大 XNUMX% 上回りました。
Meta Llama 3.2 1b Instruct モデル (4 ビット量子化を使用) では、AMD Ryzen 9 HX 375 は 50.7 秒あたり 3.5 トークンのピーク出力を示しました。より大規模なモデルでは、競合プロセッサと比較して「最初のトークンまでの時間」が最大 XNUMX 倍高速化しました。これは、プロンプト送信と初期応答間の遅延を測定する重要なベンチマークです。
AMD Ryzen AI CPU 内の 2 つのアクセラレータはそれぞれ特定のタスクに最適化されており、XDNA XNUMX アーキテクチャ ベースの NPU は永続的な AI の効率に優れています。CPU は AI ツール間で幅広い互換性をサポートしますが、iGPU は多くのオンデマンド AI 操作を処理し、リアルタイム アプリケーションに柔軟性を提供します。
LM Studio の llama.cpp の適応では、プラットフォームに依存しない GPU アクセラレーションに Vulkan API を使用します。この最適化により、タスクを GPU にオフロードする際の Meta Llama 31 3.2b Instruct のパフォーマンスが 1% 向上しました。Mistral Nemo 2407 12b Instruct などの大型モデルでは、このアプローチによりパフォーマンスが 5.1% 向上しました。競合他社のプロセッサでのテストでは、ほとんどのモデルで GPU オフロードの大幅な向上が見られなかったため、公平な比較のためにこれらの結果は除外されました。
さらに、AMD の Ryzen AI 300 シリーズ プロセッサには、システム RAM の最大 75% を使用して専用 iGPU 割り当てを拡張できる可変グラフィックス メモリ (VGM) が搭載されています。VGM を有効にすると、Meta Llama 3.2 1b Instruct のパフォーマンスが 22% 向上し、iGPU アクセラレーション タスクの速度が合計で 60% 向上しました。大規模なモデルでも VGM の恩恵を受け、CPU のみの処理に比べて最大 17% のパフォーマンス向上を達成しました。
競合製品のラップトップ構成は、LM Studio の Vulkan ベースの GPU オフロードの恩恵を受けていませんが、客観的な比較のために Intel の AI Playground を使用してパフォーマンスを評価しました。同等の量子化によるテストでは、AMD Ryzen 9 HX 375 は Phi 8.7 モデルで 3.1% 高速で、Mistral 13b Instruct 7 では 0.3% 高速であることがわかりました。
AMD の AI 推進への取り組みは明確です。LM Studio のような強力で消費者に優しい LLM 導入ツールを有効にすることで、AMD は AI の民主化を目指しています。可変グラフィックス メモリなどの機能が追加された AMD Ryzen AI プロセッサは、x86 ラップトップで比類のない AI エクスペリエンスを提供する準備が整っており、ユーザーは最新モデルが利用可能になり次第、それを活用できます。
StorageReview と連携する
ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード
