Jetson Orin Nano Super je kompaktní výpočetní výkonný počítač, který přináší sofistikované funkce umělé inteligence do edge zařízení. Spojuje výkon s cenovou dostupností a solidními možnostmi integrace, což z něj činí ideálního kandidáta pro prototypování a vývoj komerčních produktů. Ať už je použit v robotických sadách nebo integrován do větších strojů, jeho flexibilní design umožňuje inženýrům nasadit umělou inteligenci v situacích, které vyžadují efektivitu a nízkou spotřebu energie – za pouhých 249 dolarů.
Platforma Jetson je navržena speciálně pro nasazení na okraji sítě, což zajišťuje, že projekty v prostředích s omezeným prostorem nebo energií mohou stále využívat špičkový výkon umělé inteligence. Díky škálovatelnému provedení a rozsáhlým možnostem připojení poskytuje bránu k inovativním řešením v robotice, inteligentním dohledu a dokonce i ochraně divoké zvěře.
Jetson Orin Nano Super je dobře známý pro tvorbu projektů, které vyžadují umělou inteligenci na okraji sítě, ať už v tradičních robotických sadách s klasickým programováním nebo v pokročilejších sestavách s frameworky jako ROS (Robot Operating System). Jeho dostupnost jako kompletní vývojářské sady a samostatné dceřiné desky SoC umožňuje bezproblémovou integraci do široké škály produktů a strojů. Tato všestrannost ho činí oblíbeným pro aplikace od malých vzdělávacích projektů až po plnohodnotná průmyslová nasazení.
Specifikace vývojářské sady Jetson Orin Nano Super
Jetson Orin Nano Super v kompaktním provedení nabízí působivé funkce. Šestijádrový procesor Arm Cortex-A78AE vytváří pevný základ pro výpočetní techniku, zatímco 1024jádrová grafická karta NVIDIA Ampere s tenzorovými jádry zrychluje různé úlohy, včetně hlubokého učení a počítačového vidění. Díky výkonu umělé inteligence 67 TOPS (tera operací za sekundu) a 8GB paměti LPDDR5 s vysokou šířkou pásma je tato platforma navržena pro provádění složitých operací na okraji sítě.
| Specifikace | Detaily |
|---|---|
| Procesor (CPU) | 6jádrový procesor Arm Cortex-A78AE v8.2, 64bitový procesor, 3 MB L2 + 4 MB L3 |
| GPU | 1024jádrová grafická karta NVIDIA s architekturou Ampere a 32 tenzorovými jádry |
| Výkon AI | 67 TOPS |
| Memory | 8GB 128bitová LPDDR5 102 GB/s |
| Skladování | Podpora 16GB eMMC 5.1, microSD, M.2 Key M NVMe SSD 1x slot M.2 Key M s dvěma sloty PCIe Gen3 1x slot M.2 Key M s dvěma sloty PCIe Gen3 |
| networking | 1x Gigabit Ethernet |
| Display | 1x HDMI, 1x eDP 1.4 |
| Připojení | 4x porty USB 3.2 typu A, 1x port USB typu C |
| Příkon | DC konektor Barrel Jack přijímá napájení 7V až 20V |
| Fotoaparát | 2x MIPI CSI konektory pro kamery |
| Rozšíření | 40pinové rozšiřující GPIO konektory |
| Spotřeba energie | Konfigurovatelné 7W – 25W |
| Operační systém | Linux založený na Ubuntu s NVIDIA JetPack SDK |
| Rozměry | 103mm x 90.5mm x 34.77mm |
Možnosti připojení jsou bohaté, díky čemuž je Nano Super vysoce všestranný pro řadu aplikací. Čtyři porty USB 3.2 typu A a port USB typu C umožňují snadné připojení řady periferií, od externích úložných zařízení až po vstupní zařízení nebo senzory. Integrovaný gigabitový Ethernet zajišťuje spolehlivé síťové připojení, zatímco duální konektory MIPI CSI pro kamery umožňují integraci dvou kamer. Tato funkce je obzvláště výhodná pro aplikace vyžadující vnímání hloubky, což je nezbytné v robotice a autonomních systémech, kde je přesné mapování prostředí klíčové.
Mezi úložné kapacity patří 16GB eMMC 5.1, microSD a podpora dvou M.2 NVMe SSD disků prostřednictvím vyhrazených slotů s konektivitou PCIe Gen3. To poskytuje dostatek úložného prostoru pro operační systémy, software a datové sady a podporuje vysokorychlostní přenosy dat nezbytné pro analýzu v reálném čase a úlohy inference s využitím umělé inteligence. Rozhraní HDMI a eDP 1.4 navíc umožňuje Nano Super podporovat displeje, takže je ideální pro aplikace podobné kioskům nebo digitální signage.
Posouvání limitů Nano Super: Inference LLM na hraně
Naše práce s Nano Super se zaměřila na prozkoumání jeho potenciálu pro provádění úkolů vývoje umělé inteligence, konkrétně inference modelů velkých jazyků (LLM). Uvědomili jsme si, že omezení integrované paměti ztěžují spouštění modelů s miliardami parametrů, a proto jsme implementovali inovativní přístup k obejití těchto omezení. 8 GB grafické paměti Nano Super obvykle omezuje jeho schopnosti na menší modely, ale naším cílem bylo spustit model 45krát větší, než by se tradičně vešel.
Úložiště Nano Super jsme vylepšili integrací nově uvedeného SSD disku Solidigm D5-P5336 s kapacitou 122.88 TB , což je ultravysokokapacitní NVMe disk určený pro prostředí datových center, který nám pomůže splnit tento ambiciózní úkol.
SSD disk Solidigm 122TB D5-P5336 je průlomové úložné řešení pro datově náročné úlohy, zejména v oblasti umělé inteligence a datových center. Zde jsou podrobné specifikace:
- Kapacita: 122.88 TB
- TechnikaČtyřúrovňová buňka (QLC) NAND
- RozhraníPCIe x4 4. generace
- VýkonAž o 15 % lepší výkon při datově náročných úlohách ve srovnání s předchozími modely
- Form FactorU.2 Přibližně o velikosti balíčku karet
- Případy užitíIdeální pro trénování umělé inteligence, sběr dat, zachycování médií a překódování
Výkonnostní metriky
- Rychlosti sekvenčního čtení/zápisuAž 7.1 GB/s (čtení) a 3.3 GB/s (zápis)
- Náhodný výkonAž 1 269 000 IOPS
Metriky životnosti
- Vytrvalost: SSD disk Solidigm 122TB je navržen pro datově náročné úlohy a nabízí vysokou odolnost. Můžete použít Odhad odolnosti SSD disků Solidigm vypočítat očekávanou životnost na základě konkrétních pracovních zátěží.
Metriky výkonu
- TB na watt=122 TB25 W=4.88 TB/WTB na watt=25 W122 TB=4.88 TB/W. S těmito metrikami výkonu nabízí tento disk přibližně 4.88 terabajtů úložiště na watt spotřebované energie, což zdůrazňuje jeho efektivitu pro datově náročné aplikace.
Nano Super obsahuje dva sloty M.2 NVMe, které jsme v rámci této recenze testovali. Oba sloty nabízejí připojení PCIe Gen3, přičemž 30mm slot podporuje 2 linky PCIe a 80mm slot podporuje plné 4 linky PCIe. Použili jsme 80mm slot spárovaný s breakout kabelem, abychom zajistili co největší šířku pásma pro SSD disk Solidigm D5-P5336 122TB QLC. Náš napájecí kabel USB-C nebyl pro demo připraven, takže jsme použili ATX zdroj, který dodával 12 V a 3.3 V pro disk U.2.
Výsledkem bylo výkonné úložné řešení, které nám umožnilo spravovat masivní modely a zdůraznilo roli robustního úložiště v pracovních postupech s umělou inteligencí na okraji sítě. Toto nastavení nám umožnilo ukládat a přenášet většinu populárních modelů od Hugging Face a zároveň si zachovat dostatek volného prostoru.
Jak jsme spustili DeepSeek R1 70B Distilled, model 45krát větší, než se u takového zařízení očekávalo? Abychom tohoto výkonu dosáhli, použili jsme AirLLM , projekt, který sekvenčně načítá vrstvy modelu do paměti podle potřeby, spíše než načítání celé sady vah najednou. Tento přístup vrstvu po vrstvě nám umožnil provádět inferenci na modelu, který daleko překračuje omezení VRAM zařízení. Je tu jeden háček: výpočetní výkon. Co se týče výkonu úložiště, přes 4pásmové připojení PCIe 3 dokázala NVIDIA Orin Nano z 122TB Solidigm D5-P5336 QLC SSD vytáhnout až přibližně 2.5 GB/s. S naší inferenční zátěží pracující na QLC SSD se rychlost čtení pohybovala kolem 1.7 GB/s.
I když se nám podařilo obejít omezení VRAM, stále jsme uvízli na výkonu 67 TOPS. Navíc s rostoucí velikostí modelu roste i velikost vrstvy, což znamená, že se zvyšuje čas na token. Takže jsme se snížili z několika tokenů za sekundu u menších LLM, jako je ChatGLM3-6B, na jeden za 4.5 minuty s DeepSeek R1 70B Distilled.
Praktické aplikace velkých úložišť a Edge AI
Zatímco náš experiment LLM byl spíše důkazem konceptu, kombinace Jetson Orin Nano Super a vysokokapacitního disku Solidigm má praktické využití. Tvarový faktor podobný SODIMM modulu Jetsonu usnadňuje jeho integraci do vlastních desek plošných spojů, což činí připojení podnikových disků U.2 jednodušším a proveditelnějším. Tato konfigurace je výhodná pro dlouhodobé nasazení umělé inteligence s nízkou spotřebou energie ve vzdálených nebo citlivých prostředích.
Umělá inteligence se stále častěji využívá v ochraně divoké zvěře. V předchozím článku jsme hovořili o tom, jak umělá inteligence pomáhá sledovat populace ježků . Podobně domorodé národy v Britské Kolumbii používají umělou inteligenci k monitorování populací ryb. Tato zařízení často musí fungovat nerušeně po celá léta, což vyžaduje velké úložné kapacity, nízkou spotřebu energie a minimální narušení fyzického prostředí. Řešení založené na technologii Jetson Orin Nano Super s vysokokapacitním diskem dokáže tyto potřeby uspokojit při spotřebě pouhých 15 W (nebo 50 W při maximálním výkonu). Se záložními bateriemi a malým solárním panelem může mít takové zařízení velikost standardního stolního telefonu, takže je nenápadné a praktické pro dlouhodobé používání.
Dalším zajímavým případem použití je využití systému jako velkého lokálního úložiště pro distribuci modelů. Při stahování stovek modelů z Hugging Face jsme si všimli, že ne všechny modely byly stejné. Populárnější modely se stahovaly rychleji než starší nebo méně populární. Všechna stahování jsou však na okraji sítě obvykle velmi pomalá, a to i se Starlinkem. V takových případech by balíček jako Nano Super, vybavený další síťovou kartou a velkokapacitním diskem, perfektně posloužil jako mezipaměť nebo meziúložiště pro efektivní redistribuci modelů na okraji sítě.
Široké možnosti použití
Zde jsou přesvědčivé příklady použití zařízení NVIDIA Jetson s značnou úložnou kapacitou:
- Autonomní vozidlaUkládání a zpracování obrovského množství dat ze senzorů a kamer v reálném čase pro navigaci a detekci překážek.
- Inteligentní dohledSpráva videozáznamů s vysokým rozlišením z více kamer pro bezpečnostní a monitorovací účely s možností lokálního ukládání a analýzy záběrů.
- Diagnostika zdravotnictvíZpracování a ukládání dat lékařského zobrazování v reálném čase pro okamžitou diagnostiku a rozhodnutí o léčbě ve vzdálených prostředích nebo s omezenými zdroji.
- Průmyslová automatizaceVylepšení automatizace výroby pomocí kontroly kvality a prediktivní údržby řízené umělou inteligencí, ukládání velkých datových sad pro analýzu a trénování modelů.
- Maloobchodní analytikaAnalýza chování zákazníků a skladových zásob v reálném čase za účelem optimalizace stavu zásob a zlepšení zážitku z nakupování.
- Monitorování životního prostředíVyužití umělé inteligence ke sledování a analýze ekologických dat, jako je kvalita ovzduší a vody, na podporu úsilí o ochranu přírody a iniciativ v oblasti veřejného zdraví.
- Inteligentní zemědělstvíMonitorování zdraví plodin a stavu půdy pomocí senzorů a kamer s umělou inteligencí za účelem optimalizace zemědělských postupů a zvýšení výnosů.
- TelekomunikaceSpráva a zpracování dat na vysílačích mobilních sítí za účelem zlepšení výkonu sítě a snížení latence.
Závěr: Hledání svého místa v rodině Jetsonů
Jetson Orin Nano Super se v rámci řady Jetson od NVIDIA řadí mezi nejvýhodnější varianty a nabízí rovnováhu mezi vysokým výkonem a energetickou účinností pro úlohy s umělou inteligencí na okraji trhu. Řada Jetson sahá od základních modelů, jako je Jetson Nano, určený pro základní aplikace umělé inteligence a robotiky, až po výkonný Jetson AGX Orin, který poskytuje až 275 TOPS pro náročné autonomní úlohy strojů. Mezi nimi nabízí Jetson Orin Nano Super flexibilní profily výkonu a napájení, které uspokojí vývojáře, kteří potřebují vyšší výkon bez nutnosti velkého objemu platformy AGX.
Řada QLC SSD disků od společnosti Solidigm nabízí řadu vysokokapacitních úložných řešení určených pro úlohy s vysokou četbou. Řada zahrnuje modely jako D5-P5336 s úložnou kapacitou až 122.88 TB a menší diskové kapacity od 7.68 TB. Tyto SSD disky jsou optimalizovány pro výkon, hustotu a cenovou efektivitu, což je činí ideálními pro aplikace, jako jsou sítě pro doručování obsahu, umělá inteligence, datové kanály a objektové ukládání. Díky technologii QLC poskytují SSD disky Solidigm značnou úložnou kapacitu a zároveň si zachovávají vysoký výkon čtení a osvědčenou spolehlivost.
Schopnost Nano Super přinést seriózní funkce umělé inteligence do kompaktních prostředí s omezeným výkonem z něj dělá výjimečný kousek. Zatímco původní Jetson Nano byl oblíbený u amatérů a nenáročných úkolů s umělou inteligencí, Nano Super tento výkon ještě povyšuje na vyšší úroveň díky výkonu 67 TOPS – což stačí ke zpracování komplexní inference LLM a dalších náročných aplikací umělé inteligence. Díky tomu je lákavou volbou pro vývojáře, kteří chtějí nasadit sofistikované modely umělé inteligence na okraji sítě bez režijních nákladů spojených s většími a energeticky náročnějšími systémy. V kombinaci s vysokokapacitní QLC nabídkou, jako je 122TB Solidigm D5-P5336 SSD, umožňuje okrajovým lokalitám provozovat širokou škálu modelů umělé inteligence bez omezení kapacity, která by vyžadovala výměnu úložiště po jeho zprovoznění.
Nano Super stojí 249 dolarů. I když je dražší než Raspberry Pi, nabízí výrazně lepší výkon a obsahuje všechny potřebné komponenty. Chladič vybavený ventilátorem umožňuje provoz na maximální výkon i ve špatně větrané 3D tištěné skříni. Dodává se také s napájecím adaptérem, takže je ideální pro ty, kteří se zajímají o umělou inteligenci.
StorageReview děkuje týmu Solidigm za nový 122TB SSD disk D5-P5336. Kapacita a rychlost tohoto disku nám umožnily provést většinu testů.
Amazon