Procyon 继续扩充其基准测试套件,并将很快为专业用户提供一系列基准测试和性能测试。其 AI 文本和图像生成基准测试使处理大型语言和图像模型变得更加容易。
Procyon 的 AI 文本和图像生成基准旨在让大型语言和图像模型的使用变得更加简单。这些测试是标准化的、可重复的,并且反映了真实场景,因此您不必担心测量性能的复杂性。
AI 文本和图像生成工作负载会将硬件推向极限,因此拥有一致且实用的基准至关重要。无论您是在高性能 GPU 还是较小的神经处理单元上运行测试,Procyon 都能提供清晰且可操作的见解,帮助您准确了解硬件的性能。
通过弥合先进的 AI 能力与实际性能测量之间的差距,Procyon 为用户提供了一种直观的方式来了解他们的系统如何处理当今最苛刻的 AI 任务。
Procyon AI 文本生成基准
Procyon AI 文本生成基准测试评估计算机或设备运行 AI 模型(例如 ChatGPT 等工具背后的模型)生成文本的效率。它检查系统在收到提示时生成响应、编写内容或总结信息的速度和流畅程度,同时还监控在此过程中使用了多少计算机资源(例如处理器、显卡和内存)。
Procyon 基准测试的独特之处在于,它简化了评估本地大型语言模型 (LLM) 性能的复杂任务,使企业专业人员、硬件审阅人员和工程团队等用户能够轻松使用。传统的基准测试需要大量存储空间、大量下载和精心配置,以管理量化和令牌处理等变量。Procyon 通过结构化的测试框架和预先打包的优化 AI 模型简化了此过程,这些模型无需技术专业知识或手动设置即可提供一致、可重复的结果。
南河三 人工智能文本生成 工作原理及其重要性
Procyon 通过预加载四种广为认可的模型来自动化 LLM 测试,从而实现对推理任务(基于输入提示实时生成文本)的快速可靠性能评估。它在测试期间监控关键指标,例如每秒令牌数、延迟和硬件资源使用情况(CPU、GPU 和内存)。该平台提供实时洞察并生成详细的测试后报告,重点介绍推理速度、潜在资源瓶颈和整体效率。
这些结果可帮助用户优化性能,并允许企业评估其硬件管理苛刻的 AI 工作负载的能力。
真实世界的测试场景
Procyon 的基准测试套件通过七种不同的测试提示模拟了真实的用例,涵盖了两种关键工作负载:
测试类型 | 工作量重点 | 输入格式 | 突出的用例示例 | 独特功能 |
检索增强生成 (RAG) | 高复杂度检索 | 标记化数据 | 生成基于知识的摘要 | 测试检索整合准确度 |
创意非 RAG 文本 | 自由形式生成 | 自然语言文本 | 撰写创意草稿、故事 | 评估生成流畅性 |
- 检索增强生成 (RAG):RAG 任务衡量模型将外部知识整合到其响应中的效率。这些任务可能包括生成摘要或回答需要访问 LLM 训练集之外的数据的问题。
- 创意非 RAG:在自由形式生成任务中,当模型仅依赖于其内部训练时,重点是评估文本的流畅性、连贯性和创造性输出。
Procyon 通过涵盖两项任务来反映现实世界的应用,包括企业 AI 工作流程(知识检索)和创意内容生成(自由形式任务)。
Procyon AI 图像生成基准
与文本版本一样,Procyon AI 图像生成基准测试衡量计算机或设备处理 AI 驱动的图像生成任务的效率,例如将文本提示转换为高质量图像。该测试由行业领导者开发,旨在使用稳定扩散模型评估一系列硬件,从低功耗神经处理单元 (NPU) 到高性能 GPU,该模型被专业人士和日常用户广泛用于文本到图像的生成。
Procyon AI 图像生成基准的由来 独特?
Procyon 的图像基准测试提供了三种不同的测试,每种测试都针对不同的硬件功能进行量身定制,确保对各种设备进行全面的评估:
- 稳定扩散 XL(FP16): 这是专为高端 GPU 设计的最严格的测试。它以 1024 个步骤生成 1024×100 分辨率的图像。
- 稳定扩散 1.5(FP16): 适合中档 GPU 的平衡工作负载,以批次大小为 512 和 512 步生成 4×100 分辨率图像。
- 稳定扩散 1.5(INT8): 针对 NPU 等低功耗设备进行优化的测试,重点关注 512×512 图像,采用 50 步和单个图像批次的较轻设置。
南河三 人工智能图像生成 工作原理及其重要性
Procyon 通过测量图像生成速度、GPU 利用率和整体资源效率等关键因素来评估系统的性能。它跟踪 GPU 温度、时钟速度和内存使用率等实时指标,同时分析生成的图像的质量。Procyon 还支持多种推理引擎,包括 NVIDIA TensorRT、Intel OpenVINO 和带有 DirectML 的 ONNX,使其能够在不同的平台和硬件配置之间无缝运行。
测试结束时,Procyon 会生成详细报告,重点介绍性能得分、资源瓶颈和输出质量,让用户清楚地了解他们的硬件处理文本转图像任务的计算需求的能力。无论您是微调 AI 引擎的开发人员、比较系统的硬件审阅者,还是优化工作流程的企业,这都非常适合各种用例。
该基准测试通过标准化文本提示和稳定扩散模型的使用,确保跨硬件进行可靠的比较。随附的报告允许用户查看整体性能得分和生成的图像质量,从而全面了解他们的系统如何处理文本到图像任务的计算需求。
基准测试
在评估 AI 工作负载的系统时,硬件可能千差万别,从便携式消费级笔记本电脑到专为专业环境设计的高端工作站。每种配置都有优点和局限性,因此必须在不同的平台上进行测试,以了解不同的硬件配置如何处理要求苛刻的 AI 任务。
为了进行此分析,我们在各种系统上使用 Procyon 基准测试,包括游戏笔记本电脑、企业级工作站和两台多功能专业设备。这些设备的多样性使我们能够观察到受 GPU 功能、内存架构、存储解决方案和处理器类型影响的性能差异。
- Alienware 笔记本电脑: Alienware 笔记本电脑运行 Windows 11 Home,是一款消费级笔记本电脑,主要用于游戏,但由于配备了 NVIDIA RTX 4090 GPU,非常适合 AI 工作负载。其英特尔酷睿 i9-14900KF 处理器和 32GB DDR4 内存确保了强大的计算能力,而三星 PM9A1 NVMe SSD 则负责存储。
- Precision 5860 Tower: Precision 5860 Tower 专为企业级性能而打造,配备 NVIDIA RTX 6000 GPU,这是一款专业级的强大 GPU,专为 AI 和 3D 渲染等密集型工作负载而设计。其 Intel Xeon w7-2595X CPU 提供工作站级处理能力,并配备 128GB DDR5 RAM。
- 联想 ThinkPad: 联想 ThinkPad 在便携性和专业级性能之间取得平衡,非常适合需要便携性而又不影响性能的用户。它配备了 NVIDIA RTX A4000 GPU,这是一款专为 AI 和图形工作负载设计的工作站级显卡。该系统由英特尔至强 W-11955M 处理器驱动,支持 32GB DDR4 内存。存储解决方案是三星 980 Pro SSD,这是一款流行的 NVMe 驱动器。
- 联想 ThinkStation: Lenovo ThinkStation 是一款专业级工作站,旨在处理最繁重的计算负载。它采用 NVIDIA RTX A5500 GPU 和 Intel Xeon Gold 5420+ CPU,旨在实现最佳 AI 推理性能。它配备 256GB DDR5 内存,可提供强大的多任务处理和数据处理能力。该系统使用 Kioxia Exceria Pro SSD,这是一种高耐用性、高速驱动器,可满足大规模数据处理的需求。与其他产品一样,它在 Windows 11 Pro 上运行。
使用 Procyon AI 基准测试这些系统,我们可以了解这些工具的实际工作情况,同时展示不同类型的硬件如何处理 AI 任务。无论是配备顶级消费级 GPU 的游戏笔记本电脑,还是专为处理重负荷工作量而打造的专业工作站,每种配置都具有独特的优势。
人工智能文本生成
系统 | 型号 | 总体得分 | 输出代币/秒 |
---|---|---|---|
Alienware Procyon (NVIDIA RTX 4090,ONNXRuntime-DirectML 1.20.0) |
凤凰 | 3031 | 226.56 个代币/秒 |
米斯特拉尔7B | 3507 | 171.9 个代币/秒 | |
美洲驼3.1 | 3487 | 142.26 个代币/秒 | |
美洲驼2 | 3527 | 90.59 个代币/秒 | |
精密5860塔 (NVIDIA RTX 6000,ONNXRuntime-DirectML 1.20.0) |
凤凰 | 2245 | 180.472 个代币/秒 |
米斯特拉尔7B | 2725 | 146.639 个代币/秒 | |
美洲驼3.1 | 2692 | 118.806 个代币/秒 | |
美洲驼2 | 2733 | 77.326 个代币/秒 | |
联想Thinkpad (英特尔超高清显卡 (iGPU)、英特尔 OpenVINO 2024.5.0) |
凤凰 | 133 | 8.98 个代币/秒 |
米斯特拉尔7B | 108 | 5.54 个代币/秒 | |
美洲驼3.1 | 107 | 2.93 个代币/秒 | |
美洲驼2 | 100 | 8.98 个代币/秒 | |
联想 ThinkStation (NVIDIA RTX A5500,ONNXRuntime-DirectML 1.20.0) |
凤凰 | 1551 | 99.43 个代币/秒 |
米斯特拉尔7B | 1556 | 64.18 个代币/秒 | |
美洲驼3.1 | 1580 | 59.55 个代币/秒 | |
美洲驼2 | 1644 | 37.38 个代币/秒 |
人工智能图像生成
系统 | 基准 | 总体得分 | 图像生成速度(/秒) |
---|---|---|---|
Alienware Procyon (NVIDIA RTX 4090、NVIDIA TensorRT) |
稳定扩散 1.5 (FP16) | 5995 | 1.043 秒/图像 |
稳定扩散 1.5 (INT8) | 49692 | 0.629 秒/图像 | |
稳定扩散 XL (FP16) | 4944 | 7.584 秒/图像 | |
精密5860塔 (NVIDIA RTX 6000、NVIDIA TensorRT) |
稳定扩散 1.5 (FP16) | 44169 | 0.708 秒/图像 |
稳定扩散 1.5 (INT8) | 3094 | 12.120 秒/图像 | |
稳定扩散 XL (FP16) | 4182 | 1.494 秒/图像 | |
联想Thinkpad (NVIDIA RTX A4000、TensorRT) |
稳定扩散 1.5 (FP16) | 1308 | 4.778 秒/图像 |
稳定扩散 1.5 (INT8) | 15133 | 2.065 秒/图像 | |
稳定扩散 XL (FP16) | 858 | 43.702 秒/图像 | |
联想 ThinkStation (NVIDIA RTX A5500、NVIDIA TensorRT) |
稳定扩散 1.5 (FP16) | 2401 | 2.603 秒/图像 |
稳定扩散 1.5 (INT8) | 25489 | 1.226 秒/图像 | |
稳定扩散 XL (FP16) | 2000 | 18.747 秒/图像 |
请继续关注此页面,我们将继续在通过 StorageReview 实验室的各种系统上运行这些新测试。
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅