AMD 的最新技術支援 LM Studio 實現高效能 AI 功能，無需編碼專業知識或技術知識。
大型語言模型 (LLM) 的最新進展，包括 LM Studio 等易於使用的工具，使用戶能夠快速、輕鬆地部署複雜的 AI 模型。 AMD 的最新技術支援 LM Studio 的高效能 AI 功能，無需編碼專業知識或技術知識。
LM Studio 在 llama.cpp 框架上開發，專為快速 LLM 部署而設計。儘管可以使用 GPU 加速，但該框架無需依賴即可運行，並且可以在 CPU 上有效執行。為了優化基於 x86 的 CPU 的效能，LM Studio 利用 AVX2 指令，增強現代處理器的相容性和速度。
AMD Ryzen AI 整合在 Ryzen 9 HX 375 處理器中，可提高 LM Studio 等應用程式中的 LLM 效能，特別是對於 x86 筆記型電腦。儘管法學碩士在很大程度上取決於記憶體速度，但 AMD Ryzen 的 AI 加速可提供領先的效能。在測試中，儘管AMD 筆記型電腦的RAM 速度為7500 MT/s，而英特爾為8533 MT/s，但Ryzen 9 HX 375 在每秒令牌數方面比英特爾高出27%（該指標表示LLM 每秒產生多少個單字） 。
在 Meta Llama 3.2 1b Instruct 模型（使用 4 位元量化）中，AMD Ryzen 9 HX 375 展示了每秒 50.7 個令牌的峰值輸出。對於較大的型號，與競爭處理器相比，它的「首次代幣時間」加快了 3.5 倍。這是衡量及時提交和初始回應之間延遲的重要基準。
AMD Ryzen AI CPU 中的三個加速器均針對特定任務進行了優化，基於 XDNA 2 架構的 NPU 在持久 AI 的效率方面表現出色。雖然 CPU 支援跨 AI 工具的廣泛相容性，但 iGPU 可以處理許多按需 AI 操作，為即時應用程式提供靈活性。
LM Studio 對 llama.cpp 的改編使用 Vulkan API 進行獨立於平台的 GPU 加速。此最佳化顯示，將任務卸載到 GPU 時，Meta Llama 31 3.2b Instruct 效能提高了 1%。在較大的模型中，例如 Mistral Nemo 2407 12b Instruct，這種方法使效能提升了 5.1%。對競爭對手處理器的測試表明，大多數型號的 GPU 卸載沒有顯著提升，因此為了公平比較，這些結果被排除在外。
此外，AMD 的 Ryzen AI 300 系列處理器具有可變圖形記憶體 (VGM)，允許使用高達 75% 的系統 RAM 來擴展專用 iGPU 分配。啟用 VGM 後，Meta Llama 3.2 1b Instruct 的效能提高了 22%，導致 iGPU 加速任務的總速度提高了 60%。即使是大型車型也能受益於 VGM，與僅使用 CPU 的處理相比，效能提高了 17%。
儘管競賽的筆記型電腦配置並未受益於 LM Studio 中基於 Vulkan 的 GPU 卸載，但仍使用英特爾的 AI Playground 評估性能以進行客觀比較。具有可比較量化的測試發現，AMD Ryzen 9 HX 375 在 Phi 8.7 模型中快了 3.1%，在 Mistral 13b Instruct 7 中快了 0.3%。
AMD 對推動人工智慧的承諾非常明確：透過啟用 LM Studio 等功能強大、消費者友善的 LLM 部署工具，AMD 的目標是實現人工智慧的民主化。透過增加可變圖形記憶體等功能，AMD Ryzen AI 處理器預計將在 x86 筆記型電腦上提供無與倫比的 AI 體驗，確保用戶可以在最先進的模型推出後立即使用它們。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱
