エッジ AI の最前線に立つ NVIDIA の Jetson Orin Nano Super 開発キットは、従来のデータ センター外での AI アプリケーション向けの堅牢なソリューションを提供します。これは、AI 愛好家や専門家にとって強力で手頃な価格のツールです。
Jetson Orin Nano Super は、エッジ デバイスに高度な AI 機能をもたらすコンパクトなコンピューティング パワーハウスです。パフォーマンスと手頃な価格、そして堅牢な統合オプションが融合されており、プロトタイピングや商用製品の開発に最適です。ロボット キットで使用する場合でも、大型の機械に統合する場合でも、柔軟な設計により、エンジニアは効率性と低消費電力が求められるシナリオで AI を展開できます。価格はわずか 249 ドルです。
Jetson プラットフォームはエッジ展開向けに特別に設計されており、スペースや電力が限られている環境のプロジェクトでもハイエンドの AI パフォーマンスを活用できます。スケーラブルなフォーム ファクターと広範な接続オプションにより、ロボット工学、スマート監視、さらには野生生物保護における革新的なソリューションへの入り口となります。
この ジェットソン オリン ナノ スーパー は、従来のプログラミングを使用する従来のロボットキットでも、ROS (Robot Operating System) などのフレームワークを備えたより高度なセットアップでも、エッジで AI を必要とするプロジェクトの構築でよく知られています。完全な開発キットとスタンドアロンの SoC ドーターボードとして利用できるため、幅広い製品や機械にシームレスに統合できます。この汎用性により、小規模な教育プロジェクトから本格的な産業展開まで、さまざまなアプリケーションで人気があります。
Jetson Orin Nano Super 開発キットの仕様
Jetson Orin Nano Super は、コンパクトなフォームファクターに優れた機能を詰め込んでいます。6 コアの Arm Cortex-A78AE CPU は計算のための堅牢な基盤を構築し、Tensor コアを搭載した 1024 コアの NVIDIA Ampere GPU は、ディープラーニングやコンピューター ビジョンのタスクなど、さまざまなワークロードを高速化します。67 TOPS (Tera Operations Per Second) の AI パフォーマンスと高帯域幅の 8GB LPDDR5 メモリを備えたこのプラットフォームは、エッジで複雑な操作を実行するように設計されています。
| 製品仕様 | 詳細 |
|---|---|
| CPU | 6 コア Arm Cortex-A78AE v8.2 64 ビット CPU、3MB L2 + 4MB L3 |
| GPU | 1024 個の Tensor コアを搭載した 32 コアの NVIDIA Ampere アーキテクチャ GPU |
| AIパフォーマンス | 67トップス |
| メモリ | 8GB 128ビット LPDDR5 102GB/秒 |
| Storage | 16GB eMMC 5.1、microSD、M.2 Key M NVMe SSDサポート 1x M.2 Key M スロット、x4 PCIe Gen3 1x M.2 Key M スロット、x2 PCIe Gen3 |
| ネットワーキング | 1xギガビットイーサネット |
| ディスプレイ | HDMI x 1、eDP 1 x 1.4 |
| 接続性 | USB 4 タイプ A ポート x 3.2、USB タイプ C ポート x 1 |
| 電源入力 | DCバレルジャックは7V～20Vの電力を受け入れます |
| カメラ | 2x MIPI CSI カメラコネクタ |
| 拡張 | 40ピンGPIO拡張ヘッダー |
| 消費電力 | 7W～25W 設定可能 |
| オペレーティングシステム | NVIDIA JetPack SDK を搭載した Linux Ubuntu ベース |
| 寸法 | 103mmのx 90.5mmのx 34.77mm |
接続オプションが豊富なため、Nano Super はさまざまな用途に非常に汎用的です。3.2 つの USB XNUMX Type-A ポートと XNUMX つの USB Type-C ポートにより、外部ストレージ デバイスから入力デバイスやセンサーまで、さまざまな周辺機器を簡単に接続できます。統合されたギガビット イーサネットにより信頼性の高いネットワークが確保され、デュアル MIPI CSI カメラ コネクタにより XNUMX 台のカメラを統合できます。この機能は、正確な環境マッピングが重要なロボット工学や自律システムに不可欠な、奥行き認識を必要とするアプリケーションに特に役立ちます。
ストレージ機能には、PCIe Gen16 接続の専用スロットを介した 5.1GB eMMC 2、microSD、およびデュアル M.3 NVMe SSD サポートが含まれます。これにより、オペレーティング システム、ソフトウェア、データセット用の十分なストレージが提供され、リアルタイム分析や AI 推論タスクに必要な高速データ転送がサポートされます。さらに、HDMI および eDP 1.4 インターフェイスを搭載しているため、Nano Super はディスプレイをサポートでき、キオスクのようなアプリケーションやデジタル サイネージに最適です。
ナノスーパーの限界に挑戦: エッジでの LLM 推論
Nano Super での私たちの取り組みは、AI 開発タスク、特に大規模言語モデル (LLM) 推論を実行する可能性を探ることに重点を置いていました。オンボード メモリの制限により、数十億のパラメータを持つモデルの実行が困難になることを認識し、これらの制約を回避する革新的なアプローチを実装しました。通常、Nano Super の 8 GB のグラフィックス メモリは、その機能を小規模なモデルに制限しますが、私たちは従来のモデルよりも 45 倍大きいモデルを実行することを目指しました。
ナノスーパーのストレージをアップグレードし、新たに発売された ソリダイム D5-P5336 122.88TB SSDデータセンター環境向けに設計された超大容量 NVMe ドライブである は、この野心的なタスクをサポートします。
この ソリダイム 122TB D5-P5336 SSD は、特に AI やデータセンターにおけるデータ集約型のワークロード向けの画期的なストレージ ソリューションです。詳細な仕様は次のとおりです。
- 容量：122.88TB
- テクノロジー: クアッドレベルセル (QLC) NAND
- インタフェース: Gen 4 PCIe x4
- パフォーマンス: 以前のモデルと比較して、データ集約型のワークロードで最大15%向上
- フォームファクター: U.2 トランプXNUMX組分くらいの大きさ
- ユースケース: AIトレーニング、データ収集、メディアキャプチャ、トランスコードに最適
パフォーマンスメトリクス
- シーケンシャル読み取り/書き込み速度: 最大 7.1 GB/秒 (読み取り)、3.3 GB/秒 (書き込み)
- ランダムパフォーマンス: 最大 1,269,000 IOPS
寿命指標
- 耐久性Solidigm 122TB SSDは、データ集約型のワークロード向けに設計されており、高い耐久性を備えています。 Solidigm SSD 耐久性推定ツール 特定のワークロードに基づいて予想寿命を計算します。
パワーメトリクス
- ワットあたりの TB=122 TB25 W=4.88 TB/WTB/ワット=25 W122 TB=4.88 TB/W。これらの電力メトリックにより、このドライブは消費電力 4.88 ワットあたり約 XNUMX テラバイトのストレージを提供し、データ集約型アプリケーションでの効率性が強調されます。
Nano Super には 2 つの M.3 NVMe ベイがあり、このレビューの一環としてテストしました。両方のスロットは PCIe Gen30 接続を提供し、2mm スロットは 80 つの PCIe レーンをサポートし、4mm スロットは 80 つの PCIe レーンを完全にサポートします。5mm スロットとブレークアウト ケーブルを組み合わせて、Solidigm D5336-P122 12TB QLC SSD に最大の帯域幅を供給しました。デモ用に USB-C 電源ケーブルが準備されていなかったため、U.3.3 ドライブに 2V と XNUMXV を供給する ATX 電源を使用しました。
その結果、大規模なモデルを管理できる強力なストレージ ソリューションが誕生し、エッジ AI ワークフローにおける堅牢なストレージの役割が強調されました。このセットアップにより、Hugging Face の人気モデルのほとんどを保存して持ち運ぶことができ、十分な余剰スペースも確保できました。
このようなデバイスに対して、予想の1倍の大きさのモデルであるDeepSeek R70 45B Distilledをどのように実行したのでしょうか。この偉業を達成するために、私たちは エアLLMは、重みセット全体を一度に読み込むのではなく、必要に応じてモデル レイヤーを順番にメモリに読み込むプロジェクトです。このレイヤーごとのアプローチにより、デバイスの VRAM 制限をはるかに超えるモデルで推論を実行できるようになりました。ただし、コンピューティング パフォーマンスという問題があります。ストレージ パフォーマンスに関しては、4 レーンの PCIe 3 接続を介して、NVIDIA Orin Nano は 2.5TB Solidigm D122-P5 QLC SSD から最大約 5336GB/秒を引き出すことができました。推論ワークロードを QLC SSD で実行した場合、読み取り速度は 1.7GB/秒前後でした。
VRAM の制限をうまく回避できたにもかかわらず、パフォーマンスは 67 TOPS のままでした。さらに、モデル サイズが拡大するとレイヤー サイズも拡大し、トークンあたりの時間も増加します。そのため、ChatGLM3-6B などの小型 LLM では 4.5 秒あたり数トークンでしたが、DeepSeek R1 70B Distilled では XNUMX 分あたり XNUMX トークンになりました。
大規模ストレージとエッジAIの実用化
私たちの LLM 実験は概念実証に近いものでしたが、Jetson Orin Nano Super と大容量の Solidigm ドライブを組み合わせると実用的な用途が考えられます。Jetson の SODIMM のようなフォーム ファクターにより、カスタム PCB への統合が容易になり、エンタープライズ グレードの U.2 ドライブの取り付けがより簡単で現実的になります。この構成は、遠隔地や機密性の高い環境での長期にわたる低電力 AI 展開に役立ちます。
AIは野生生物の保護にますます活用されるようになっています。 前回の記事では、AIがハリネズミの個体数追跡にどのように役立っているかについて説明しました。同様に、ブリティッシュ コロンビア州の先住民族は、魚の個体数を監視するために AI を使用しています。これらの設備は、多くの場合、何年もの間、邪魔されずに稼働する必要があり、大容量のストレージ、低消費電力、および物理的な環境の混乱を最小限に抑える必要があります。大容量ドライブを備えた Jetson Orin Nano Super ベースのソリューションは、わずか 15W (最大パフォーマンスでは 50W) の消費電力でこれらのニーズを満たすことができます。バックアップ バッテリーと小型のソーラー パネルを使用すれば、このようなセットアップは標準的な卓上電話と同じサイズにできるため、目立たず、長期使用にも適しています。
もう 1 つの興味深い使用例は、システムをモデル配布用の大規模なローカル リポジトリとして使用することです。Hugging Face から数百のモデルをダウンロードしているときに、すべてのモデルが同じではないことに気付きました。人気のあるモデルは、古いモデルや人気のないモデルよりも速くダウンロードされました。ただし、すべてのダウンロードは、Starlink を使用しても、エッジでは通常非常に低速です。このような場合、追加の NIC と大容量ドライブを備えた Nano Super などのパッケージは、モデルをエッジに効率的に再配布するためのキャッシュまたは中間ストアとして最適です。
豊富な使用例
大容量のストレージを備えた NVIDIA Jetson デバイスを活用する魅力的なユースケースを以下に示します。
- 自律車両: ナビゲーションや障害物検出のために、膨大な量のセンサーとカメラのデータをリアルタイムで保存および処理します。
- スマート監視: セキュリティと監視の目的で複数のカメラからの高解像度のビデオ フィードを管理し、映像をローカルに保存して分析する機能を備えています。
- ヘルスケア診断遠隔地やリソースが限られた環境での即時の診断と治療の決定のために、医療画像データをリアルタイムで処理および保存します。
- 産業自動化: AI を活用した品質管理と予測メンテナンスにより工場の自動化を強化し、分析とモデルトレーニング用の大規模なデータセットを保存します。
- 小売分析: 顧客の行動と在庫データをリアルタイムで分析し、在庫レベルを最適化してショッピング体験を向上させます。
- 環境モニタリング: AI を使用して空気や水質などの生態学的データを追跡および分析し、保全活動や公衆衛生イニシアチブをサポートします。
- スマート農業: AI 搭載のセンサーとカメラを使用して作物の健康状態と土壌の状態を監視し、農作業を最適化して収穫量を増やします。
- 電気通信: 携帯電話基地局でデータを管理および処理して、ネットワーク パフォーマンスを向上させ、遅延を削減します。
結論: Jetsonファミリーでの自分の居場所を見つける
Jetson Orin Nano Super は、NVIDIA の Jetson ラインアップのスイートスポットに位置し、エッジ AI タスク向けに高いパフォーマンスとエネルギー効率のバランスを提供します。Jetson ファミリーは、基本的な AI およびロボット工学アプリケーション向けに設計された Jetson Nano などのエントリーレベルのモデルから、要求の厳しい自律マシンのワークロード向けに最大 275 TOPS を提供する強力な Jetson AGX Orin まで多岐にわたります。その中間に位置する Jetson Orin Nano Super は、柔軟なパフォーマンスと電力プロファイルを提供し、AGX プラットフォーム全体を大きくすることなく、より多くのパワーを必要とする開発者のニーズに応えます。
Solidigm の QLC SSD ラインナップは、読み取り集中型のワークロード向けに設計されたさまざまな大容量ストレージ ソリューションを提供します。ラインナップには、最大 5 TB のストレージを備えた D5336-P122.88 などのモデルと、7.68 TB から始まる小容量ドライブが含まれます。これらの SSD は、パフォーマンス、密度、コスト効率が最適化されており、コンテンツ配信ネットワーク、AI、データ パイプライン、オブジェクト ストレージなどのアプリケーションに最適です。QLC テクノロジーにより、Soldigm SSD は強力な読み取りパフォーマンスと実証済みの信頼性を維持しながら、十分なストレージ容量を提供します。
Nano Super は、コンパクトで電力が制限された環境に本格的な AI 機能をもたらす能力が際立っています。オリジナルの Jetson Nano は趣味や軽量の AI タスクに人気がありましたが、Nano Super は 67 TOPS を実現することでこれをさらに高めています。これは、複雑な LLM 推論やその他の要求の厳しい AI アプリケーションを処理するのに十分な性能です。これにより、大規模で電力を大量に消費するシステムのオーバーヘッドなしで、エッジに高度な AI モデルを展開したい開発者にとって魅力的な選択肢となります。122TB Solidigm D5-P5336 SSD などの大容量 QLC 製品と組み合わせることで、エッジ ロケーションで幅広い AI モデルを操作でき、プロビジョニング後にストレージを交換する必要のある容量の制約もありません。
Nano Super の価格は 249 ドルです。Raspberry Pi よりも高価ですが、パフォーマンスは大幅に優れており、必要なコンポーネントがすべて含まれています。ファンを備えたヒートシンクにより、通気性の悪い 3D プリント筐体でも最大電力で動作できます。電源アダプターも付属しており、AI に興味のある方に最適です。
StorageReview は、新しい 122TB D5-P5336 SSD を提供してくれた Solidigm チームに感謝します。このドライブの容量と速度のおかげで、テストの大部分を完了することができました。
StorageReview と連携する
ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード
