AMD 的最新技术支持 LM Studio 实现高性能 AI 功能，而无需编码专业知识或技术知识。
大型语言模型 (LLM) 的最新进展（包括 LM Studio 等易用工具）使用户能够快速轻松地部署复杂的 AI 模型。AMD 的最新技术支持 LM Studio 的高性能 AI 功能，而无需编码专业知识或技术知识。
LM Studio 基于 llama.cpp 框架开发，旨在实现快速的 LLM 部署。此框架无需依赖任何资源即可运行，在 CPU 上也能高效运行，尽管可以使用 GPU 加速。为了优化基于 x86 的 CPU 的性能，LM Studio 利用 AVX2 指令，增强了现代处理器的兼容性和速度。
AMD Ryzen AI 集成在 Ryzen 9 HX 375 处理器中，可提升 LM Studio 等应用程序中的 LLM 性能，尤其是对于 x86 笔记本电脑。尽管 LLM 很大程度上依赖于内存速度，但 AMD Ryzen 的 AI 加速可提供领先的性能。在测试中，尽管 AMD 笔记本电脑的 RAM 速度为 7500 MT/s，而英特尔为 8533 MT/s，但 Ryzen 9 HX 375 在每秒令牌数（表示 LLM 每秒生成多少个单词的指标）方面的表现比英特尔高出 27%。
在 Meta Llama 3.2 1b Instruct 模型（使用 4 位量化）中，AMD Ryzen 9 HX 375 的峰值输出为每秒 50.7 个令牌。对于较大的模型，与竞争处理器相比，它的“第一个令牌时间”快了 3.5 倍。这是衡量快速提交和初始响应之间延迟的重要基准。
AMD Ryzen AI CPU 中的三个加速器均针对特定任务进行了优化，基于 XDNA 2 架构的 NPU 在持久 AI 方面效率卓越。虽然 CPU 支持跨 AI 工具的广泛兼容性，但 iGPU 可处理许多按需 AI 操作，为实时应用程序提供灵活性。
LM Studio 对 llama.cpp 的改编使用 Vulkan API 实现独立于平台的 GPU 加速。这种优化表明，在将任务卸载到 GPU 时，Meta Llama 31 3.2b Instruct 的性能提高了 1%。在较大的模型中，例如 Mistral Nemo 2407 12b Instruct，这种方法使性能提高了 5.1%。在竞争对手的处理器上进行的测试表明，大多数模型的 GPU 卸载没有显著提高，因此为了进行公平比较，这些结果被排除在外。
此外，AMD 的 Ryzen AI 300 系列处理器具有可变图形内存 (VGM)，允许使用高达 75% 的系统 RAM 来扩展专用 iGPU 分配。启用 VGM 后，Meta Llama 3.2 1b Instruct 的性能提高了 22%，从而使 iGPU 加速任务的总速度提高了 60%。即使是大型模型也能从 VGM 中受益，与仅使用 CPU 的处理相比，性能提高了 17%。
虽然竞争对手的笔记本电脑配置并未从 LM Studio 中基于 Vulkan 的 GPU 卸载中受益，但为了进行客观比较，我们还是使用英特尔的 AI Playground 评估了性能。通过可比量化测试发现，AMD Ryzen 9 HX 375 在 Phi 8.7 模型中快 3.1%，在 Mistral 13b Instruct 7 中快 0.3%。
AMD 致力于推动 AI 发展的决心十分明确：通过启用功能强大、消费者友好的 LLM 部署工具（如 LM Studio），AMD 旨在实现 AI 的大众化。通过增加可变图形内存等功能，AMD Ryzen AI 处理器有望在 x86 笔记本电脑上提供无与伦比的 AI 体验，确保用户可以在最先进的模型面世后立即利用它们。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅
