大型语言模型 (LLM) 的最新进展（包括 LM Studio 等易用工具）使用户能够快速轻松地部署复杂的 AI 模型。AMD 的最新技术支持 LM Studio 的高性能 AI 功能，而无需编码专业知识或技术知识。
LM Studio 基于 llama.cpp 框架开发，旨在实现快速的 LLM 部署。此框架无需依赖任何资源即可运行，在 CPU 上也能高效运行，尽管可以使用 GPU 加速。为了优化基于 x86 的 CPU 的性能，LM Studio 利用 AVX2 指令，增强了现代处理器的兼容性和速度。
AMD Ryzen AI 集成在 Ryzen 9 HX 375 处理器中，可提升 LM Studio 等应用程序中的 LLM 性能，尤其是对于 x86 笔记本电脑。尽管 LLM 很大程度上依赖于内存速度，但 AMD Ryzen 的 AI 加速可提供领先的性能。在测试中，尽管 AMD 笔记本电脑的 RAM 速度为 7500 MT/s，而英特尔为 8533 MT/s，但 Ryzen 9 HX 375 在每秒令牌数（表示 LLM 每秒生成多少个单词的指标）方面的表现比英特尔高出 27%。
在 Meta Llama 3.2 1b Instruct 模型（使用 4 位量化）中，AMD Ryzen 9 HX 375 的峰值输出为每秒 50.7 个令牌。对于较大的模型，与竞争处理器相比，它的“第一个令牌时间”快了 3.5 倍。这是衡量快速提交和初始响应之间延迟的重要基准。
AMD Ryzen AI CPU 中的三个加速器均针对特定任务进行了优化，基于 XDNA 2 架构的 NPU 在持久 AI 方面效率卓越。虽然 CPU 支持跨 AI 工具的广泛兼容性，但 iGPU 可处理许多按需 AI 操作，为实时应用程序提供灵活性。
LM Studio 对 llama.cpp 的改编使用 Vulkan API 实现独立于平台的 GPU 加速。这种优化表明，在将任务卸载到 GPU 时，Meta Llama 31 3.2b Instruct 的性能提高了 1%。在较大的模型中，例如 Mistral Nemo 2407 12b Instruct，这种方法使性能提高了 5.1%。在竞争对手的处理器上进行的测试表明，大多数模型的 GPU 卸载没有显著提高，因此为了进行公平比较，这些结果被排除在外。
此外，AMD 的 Ryzen AI 300 系列处理器具有可变图形内存 (VGM)，允许使用高达 75% 的系统 RAM 来扩展专用 iGPU 分配。启用 VGM 后，Meta Llama 3.2 1b Instruct 的性能提高了 22%，从而使 iGPU 加速任务的总速度提高了 60%。即使是大型模型也能从 VGM 中受益，与仅使用 CPU 的处理相比，性能提高了 17%。
虽然竞争对手的笔记本电脑配置并未从 LM Studio 中基于 Vulkan 的 GPU 卸载中受益，但为了进行客观比较，我们还是使用英特尔的 AI Playground 评估了性能。通过可比量化测试发现，AMD Ryzen 9 HX 375 在 Phi 8.7 模型中快 3.1%，在 Mistral 13b Instruct 7 中快 0.3%。
AMD 致力于推动 AI 发展的决心十分明确：通过启用功能强大、消费者友好的 LLM 部署工具（如 LM Studio），AMD 旨在实现 AI 的大众化。通过增加可变图形内存等功能，AMD Ryzen AI 处理器有望在 x86 笔记本电脑上提供无与伦比的 AI 体验，确保用户可以在最先进的模型面世后立即利用它们。
Amazon