NVIDIA Jetson Orin Nano Super：为边缘的 DeepSeek R1 70B 推理提供动力！

作为边缘 AI 领域的先锋，NVIDIA 的 Jetson Orin Nano 超级开发套件为传统数据中心之外的 AI 应用提供了强大的解决方案。对于 AI 爱好者和专业人士来说，这是一款功能强大且价格实惠的工具。

Jetson Orin Nano Super 是一款紧凑型计算强机，可为边缘设备带来先进的 AI 功能。它兼具性能、经济性和可靠的集成选项，是原型设计和商业产品开发的理想选择。无论是用于机器人套件还是集成到大型机械中，其灵活的设计都使工程师能够在需要效率和低功耗的场景中部署 AI - 仅需 249 美元。

Jetson 平台专为边缘部署而设计，可确保空间或电力有限的环境中的项目仍能发挥高端 AI 性能。凭借可扩展的外形和广泛的连接选项，它为机器人、智能监控甚至野生动物保护领域的创新解决方案提供了途径。

- 杰森·奥林纳米超级 以构建需要边缘 AI 的项目而闻名，无论是使用传统编程的传统机器人套件，还是采用 ROS（机器人操作系统）等框架的更高级设置。它可作为完整的开发套件和独立的 SoC 子板，无缝集成到各种产品和机械中。这种多功能性使其在从小型教育项目到全面工业部署的各种应用中广受欢迎。

Jetson Orin Nano 超级开发者套件规格

Jetson Orin Nano Super 将令人印象深刻的功能融入紧凑的外形中。6 核 Arm Cortex-A78AE CPU 为计算奠定了坚实的基础，而带有 Tensor Cores 的 1024 核 NVIDIA Ampere GPU 可加速各种工作负载，包括深度学习和计算机视觉任务。该平台具有 67 TOPS（每秒万亿次运算）的 AI 性能和高带宽 8GB LPDDR5 内存，旨在在边缘执行复杂的操作。

连接选项丰富，使 Nano Super 适用于众多应用。四个 USB 3.2 Type-A 端口和一个 USB Type-C 端口让您可以轻松连接各种外围设备，从外部存储设备到输入设备或传感器。集成的千兆以太网可确保可靠的网络连接，而双 MIPI CSI 摄像头连接器可集成两个摄像头。此功能对于需要深度感知的应用特别有用，这对于机器人和自主系统至关重要，因为精确的环境测绘至关重要。

存储功能包括 16GB eMMC 5.1、microSD 和双 M.2 NVMe SSD 支持（通过具有 PCIe Gen3 连接的专用插槽）。这为操作系统、软件和数据集提供了充足的存储空间，并支持实时分析和 AI 推理任务所需的高速数据传输。此外，包括 HDMI 和 eDP 1.4 接口使 Nano Super 能够支持显示器，使其成为类似自助服务终端的应用程序或数字标牌的理想选择。

将 Nano Super 推向极限：边缘的 LLM 推理

我们对 Nano Super 的开发工作重点是探索其执行 AI 开发任务的潜力，特别是大型语言模型 (LLM) 推理。我们认识到，板载内存限制对运行具有数十亿个参数的模型构成挑战，因此我们实施了一种创新方法来绕过这些限制。通常，Nano Super 的 8GB 图形内存限制了其只能运行较小的模型，但我们的目标是运行比传统模型大 45 倍的模型。

我们升级了 Nano Super 的存储，整合了新推出的 Solidigm D5-P5336 122.88TB 固态硬盘这是一款专为数据中心环境设计的超高容量 NVMe 硬盘，以支持这项雄心勃勃的任务。

- Solidigm 122TB D5-P5336 SSD 是一款突破性的存储解决方案，适用于数据密集型工作负载，尤其是在人工智能和数据中心。以下是详细规格：

• 容量：122.88TB
• 技术: 四级单元 (QLC) NAND
• 接口：第四代 PCIe x4
• 性能：与之前的型号相比，数据密集型工作负载的处理能力提升高达 15%
• 外形: U.2 大约一副牌的大小
• 使用案例：非常适合 AI 训练、数据收集、媒体捕获和转码

性能指标

• 顺序读取/写入速度：高达 7.1 GB/s（读取）和 3.3 GB/s（写入）
• 随机性能：高达 1,269,000 IOPS

寿命指标

• 耐力：Solidigm 122TB SSD 专为数据密集型工作负载而设计，具有高耐久性。您可以使用 Solidigm SSD 耐久性评估器 根据具体工作量计算预期寿命。

功率指标

• TB 每瓦=122 TB25 W=4.88 TB/WTB 每瓦=25 W122 TB​=4.88 TB/W。根据这些功率指标，该驱动器每消耗一瓦功率可提供约 4.88 TB 的存储空间，凸显了其对数据密集型应用程序的效率。

Nano Super 包含两个 M.2 NVMe 托架，我们在本次评测中对其进行了测试。两个插槽均提供 PCIe Gen3 连接，30 毫米插槽支持 2 个 PCIe 通道，80 毫米插槽支持完整的 4 个 PCIe 通道。我们使用 80 毫米插槽搭配分线电缆，为 Solidigm D5-P5336 122TB QLC SSD 提供最大带宽。我们的 USB-C 电源线尚未准备好进行演示，因此我们使用了为 U.12 驱动器提供 3.3V 和 2V 的 ATX 电源。

最终我们得到了一个功能强大的存储解决方案，它使我们能够管理大量模型，并凸显了强大存储在边缘 AI 工作流中的作用。这种设置使我们能够存储和携带 Hugging Face 的大多数热门模型，同时仍保留充足的额外空间。

我们如何为这样的设备运行 DeepSeek R1 70B Distilled（一个比预期大 45 倍的模型）？为了实现这一壮举，我们使用了 航空法学硕士该项目会根据需要按顺序将模型层加载到内存中，而不是一次加载整个权重集。这种逐层方法使我们能够对远远超出设备 VRAM 限制的模型进行推理。但有一个问题：计算性能。在存储性能方面，通过 4 通道 PCIe 3 连接，NVIDIA Orin Nano 可以从 2.5TB Solidigm D122-P5 QLC SSD 中提取高达约 5336GB/s 的数据。在我们的推理工作负载在 QLC SSD 上运行的情况下，读取速度徘徊在 1.7GB/s 左右。

尽管我们成功绕过了 VRAM 的限制，但我们仍然只能达到 67 TOPS 的性能。此外，随着模型大小的扩大，层大小也会扩大，这意味着每个 token 的时间也会增加。因此，我们使用较小的 LLM（例如 ChatGLM3-6B）从每秒几个 token 增加到使用 DeepSeek R4.5 1B Distilled 每 70 分钟一个 token。

大存储和边缘AI的实际应用

虽然我们的 LLM 实验更像是一个概念验证，但将 Jetson Orin Nano Super 与高容量 Solidigm 驱动器结合起来具有实际应用价值。Jetson 的 SODIMM 式外形使其易于集成到定制 PCB 中，使企业级 U.2 驱动器的连接更加直接和合理。这种配置有利于在远程或敏感环境中进行长期、低功耗的 AI 部署。

人工智能在野生动物保护领域的应用日益广泛。 在之前的一篇文章中，我们讨论了人工智能如何帮助追踪刺猬种群。同样，不列颠哥伦比亚省的原住民也在使用人工智能来监测鱼类种群。这些装置通常需要多年不受干扰地运行，需要大存储容量、低功耗和最小的物理环境干扰。基于 Jetson Orin Nano Super 的解决方案具有高容量驱动器，可以满足这些需求，同时功耗仅为 15W（或最高性能下为 50W）。有了备用电池和一块小型太阳能电池板，这样的装置可以只有标准桌面电话那么大，使其低调而实用，适合长期使用。

另一个有趣的用例是将系统用作模型分发的大型本地存储库。在从 Hugging Face 下载数百个模型时，我们注意到并非所有模型都是相同的。较受欢迎的模型的下载速度比较旧或不太受欢迎的模型更快。但是，即使使用 Starlink，所有下载在边缘通常都非常慢。在这种情况下，像 Nano Super 这样的套件配备了额外的 NIC 和大容量驱动器，可以完美地用作缓存或中间存储器，以有效地在边缘重新分配模型。

丰富的用例

以下是利用具有大量存储容量的 NVIDIA Jetson 设备的引人注目的用例：

• 自主车辆：实时存储和处理大量传感器和摄像头数据，用于导航和障碍物检测。
• 智能监控：出于安全和监控目的管理来自多个摄像机的高分辨率视频源，并能够在本地存储和分析镜头。
• 医疗保健诊断：实时处理和存储医学图像数据，以便在远程或资源有限的环境中立即做出诊断和治疗决策。
• 工业自动化：通过人工智能驱动的质量控制和预测性维护增强工厂自动化，存储大量数据集以供分析和模型训练。
• 零售分析：实时分析客户行为和库存数据，以优化库存水平并增强购物体验。
• 环境监测：使用人工智能跟踪和分析空气和水质量等生态数据，以支持保护工作和公共卫生计划。
• 智慧农业：使用人工智能传感器和摄像头监测作物健康和土壤状况，以优化耕作方式并提高产量。
• 电信：管理和处理手机信号塔的数据，以提高网络性能并减少延迟。

结论：在 Jetson 家族中找到自己的位置

Jetson Orin Nano Super 是 NVIDIA Jetson 系列中的佼佼者，可为边缘 AI 任务提供高性能和能效之间的平衡。Jetson 系列包括入门级型号，例如专为基础 AI 和机器人应用而设计的 Jetson Nano，以及功能强大的 Jetson AGX Orin，后者可为要求苛刻的自主机器工作负载提供高达 275 TOPS 的性能。此外，Jetson Orin Nano Super 提供灵活的性能和功率配置，可满足开发人员对更强大功能的需求，而无需使用整个 AGX 平台。

Solidigm 的 QLC SSD 系列提供一系列专为读取密集型工作负载而设计的高容量存储解决方案。该系列包括 D5-P5336 等型号，存储容量高达 122.88TB，较小的驱动器容量从 7.68TB 开始。这些 SSD 针对性能、密度和成本效益进行了优化，使其成为内容交付网络、AI、数据管道和对象存储等应用的理想选择。借助 QLC 技术，Solidigm SSD 可提供大量存储容量，同时保持强大的读取性能和久经考验的可靠性。

Nano Super 能够将强大的 AI 功能带入紧凑、功率受限的环境，这使其脱颖而出。虽然最初的 Jetson Nano 是业余爱好者和轻量级 AI 任务的最爱，但 Nano Super 通过提供 67 TOPS 提升了这一水平——足以处理复杂的 LLM 推理和其他要求苛刻的 AI 应用程序。这使其成为希望在边缘部署复杂 AI 模型而无需更大、更耗电的系统的开发人员的有力选择。与高容量 QLC 产品（例如 122TB Solidigm D5-P5336 SSD）搭配使用，它允许边缘位置运行各种 AI 模型，并且没有容量限制，无需在配置后更换存储。

Nano Super 售价 249 美元。虽然它比 Raspberry Pi 贵，但它的性能明显更好，并且包含所有必要的组件。配备风扇的散热器让您即使在通风不良的 3D 打印外壳中也能以最大功率运行。它还配有电源适配器，非常适合对 AI 感兴趣的人。

StorageReview 感谢 Solidigm 团队推出的全新 122TB D5-P5336 SSD。这款硬盘的容量和速度让我们能够完成大部分测试。

杰森·奥林纳米超级

Solidigm D5-P5336 SSD

参与 StorageReview

电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅