Jetson Orin Nano Super är ett kompakt datorkraftpaket som tillför sofistikerade AI-funktioner till avancerade enheter. Den blandar prestanda med prisvärdhet och solida integrationsalternativ, vilket gör den till en idealisk kandidat för prototypframställning och kommersiell produktutveckling. Oavsett om den används i robotkit eller integreras i större maskiner, tillåter dess flexibla design ingenjörer att distribuera AI i scenarier som kräver effektivitet och låg energiförbrukning – för bara $249.
Jetson-plattformen är designad speciellt för edge-distributioner, vilket säkerställer att projekt i miljöer med begränsat utrymme eller kraft fortfarande kan utnyttja avancerad AI-prestanda. Med en skalbar formfaktor och omfattande anslutningsmöjligheter ger den en inkörsport till innovativa lösningar inom robotik, smart övervakning och till och med naturvård.
Jetson Orin Nano Super är välkänd för att bygga projekt som kräver AI i edge-miljön, oavsett om det gäller traditionella robotbyggsatser med klassisk programmering eller mer avancerade konfigurationer med ramverk som ROS (Robot Operating System). Dess tillgänglighet som ett komplett utvecklarkit och ett fristående SoC-dotterkort möjliggör sömlös integration i en mängd olika produkter och maskiner. Denna mångsidighet gör den populär för applikationer som sträcker sig från småskaliga utbildningsprojekt till fullskaliga industriella implementeringar.
Specifikationer för Jetson Orin Nano Super Developer Kit
Jetson Orin Nano Super har imponerande funktioner i en kompakt formfaktor. Den 6-kärniga Arm Cortex-A78AE-processorn bygger en stabil grund för beräkning, medan den 1024-kärniga NVIDIA Ampere GPU med Tensor Cores accelererar olika arbetsbelastningar, inklusive djupinlärning och datorseende uppgifter. Med 67 TOPS (Tera Operations Per Second) AI-prestanda och 8 GB LPDDR5-minne med hög bandbredd, är den här plattformen designad för att utföra komplexa operationer på kanten.
| Specifikation | Detaljer |
|---|---|
| CPU | 6-kärnig Arm Cortex-A78AE v8.2 64-bitars CPU, 3MB L2 + 4MB L3 |
| GPU | 1024-kärnig NVIDIA Ampere-arkitektur GPU med 32 tensorkärnor |
| AI-prestanda | 67 TOPS |
| Minne | 8GB 128-bitars LPDDR5 102GB/s |
| lagring | 16GB eMMC 5.1, microSD, M.2 Key M NVMe SSD-stöd 1x M.2 Key M-kortplats med x4 PCIe Gen3 1x M.2 Key M-kortplats med x2 PCIe Gen3 |
| nätverk | 1x Gigabit Ethernet |
| Skärmar | 1x HDMI, 1x eDP 1.4 |
| Anslutningar | 4x USB 3.2 Typ A-portar, 1x USB Typ C-port |
| Ineffekt | DC Barrel Jack accepterar 7V till 20V ström |
| Kamera | 2x MIPI CSI-kamerakontakter |
| Expansion | 40-stifts GPIO-expansionshuvuden |
| Energiförbrukning | 7W – 25W konfigurerbar |
| Operativ system | Linux Ubuntu-baserad med NVIDIA JetPack SDK |
| Mått | 103mm x 90.5mm x 34.77mm |
Det finns gott om anslutningsmöjligheter, vilket gör Nano Super mycket mångsidig för många applikationer. Fyra USB 3.2 Type-A-portar och en USB Type-C-port gör att du enkelt kan ansluta en rad kringutrustning, från externa lagringsenheter till ingångsenheter eller sensorer. Det integrerade Gigabit Ethernet säkerställer tillförlitligt nätverk, medan de dubbla MIPI CSI-kamerakontakterna tillåter integrering av två kameror. Denna funktion är särskilt fördelaktig för applikationer som kräver djupuppfattning, vilket är viktigt i robotteknik och autonoma system där noggrann miljökartläggning är avgörande.
Lagringsmöjligheterna inkluderar 16 GB eMMC 5.1, microSD och dubbla M.2 NVMe SSD-stöd via dedikerade platser med PCIe Gen3-anslutning. Detta ger gott om lagringsutrymme för operativsystem, programvara och datauppsättningar och stöder höghastighetsdataöverföringar som är nödvändiga för realtidsanalys och AI-inferensuppgifter. Dessutom, inklusive HDMI och eDP 1.4-gränssnitt gör det möjligt för Nano Super att stödja skärmar, vilket gör den idealisk för kioskliknande applikationer eller digital skyltning.
Att pressa Nano Super till dess gränser: LLM Inference at the Edge
Vårt arbete med Nano Super fokuserade på att utforska dess potential för att utföra AI-utvecklingsuppgifter, särskilt stor språkmodell (LLM) slutledning. Vi insåg att minnesbegränsningar ombord utmanar att köra modeller med miljarder parametrar, så vi implementerade ett innovativt tillvägagångssätt för att kringgå dessa begränsningar. Vanligtvis begränsar Nano Supers 8 GB grafikminne dess kapacitet till mindre modeller, men vi siktade på att köra en modell 45 gånger större än vad som traditionellt skulle passa.
Vi uppgraderade Nano Supers lagring genom att integrera den nyligen lanserade Solidigm D5-P5336 122.88TB SSD , en NVMe-disk med ultrahög kapacitet designad för datacentermiljöer, för att stödja den ambitiösa uppgiften.
Solidigm 122TB D5-P5336 SSD är en banbrytande lagringslösning för dataintensiva arbetsbelastningar, särskilt inom AI och datacenter. Här är de detaljerade specifikationerna:
- Kapacitet: 122.88 TB
- Teknologi: Quad-Level Cell (QLC) NAND
- Gränssnitt: Gen 4 PCIe x4
- Prestanda: Upp till 15 % bättre på dataintensiva arbetsbelastningar jämfört med tidigare modeller
- Formfaktor: U.2 Ungefär lika stor som en kortlek
- Use Cases: Idealisk för AI-träning, datainsamling, mediainsamling och kodning
Prestandamätningar
- Sekventiell läs / skrivhastighet: Upp till 7.1 GB/s (läs) och 3.3 GB/s (skriv)
- Slumpmässig prestanda: Upp till 1,269,000 XNUMX XNUMX IOPS
Livslängdsmått
- Endurance: Solidigm 122TB SSD är designad för dataintensiva arbetsbelastningar och erbjuder en hög uthållighetsklassning. Du kan använda Solidigm SSD Endurance Estimator för att beräkna den förväntade livslängden baserat på specifika arbetsbelastningar.
Power Metrics
- TB per watt=122 TB25 W=4.88 TB/WTB per watt=25 W122 TB=4.88 TB/W. Med dessa effektmått erbjuder den här enheten cirka 4.88 terabyte lagring per watt förbrukad ström, vilket framhäver dess effektivitet för dataintensiva applikationer.
Nano Super innehåller två M.2 NVMe-fack, som vi testade som en del av denna recension. Båda kortplatserna erbjuder en PCIe Gen3-anslutning, med en 30 mm kortplats som stöder 2 PCIe-banor och en 80 mm-plats som stöder hela 4 PCIe-banor. Vi använde 80 mm-öppningen ihop med en breakout-kabel för att driva mest bandbredd till Solidigm D5-P5336 122TB QLC SSD. Vår USB-C-strömkabel var inte redo för demon, så vi använde en ATX-strömkälla som gav 12V och 3.3V till U.2-enheten.
Resultatet var en överväldigad lagringslösning som gjorde det möjligt för oss att hantera massiva modeller och lyfte fram rollen av robust lagring i edge AI-arbetsflöden. Denna inställning gjorde det möjligt för oss att lagra och bära de flesta av de populära modellerna från Hugging Face samtidigt som vi behöll gott om extra utrymme.
Hur körde vi DeepSeek R1 70B Distilled, en modell som är 45 gånger större än väntat, för en sådan enhet? För att uppnå detta använde vi AirLLM , ett projekt som sekventiellt laddar modelllager till minnet efter behov snarare än att ladda hela viktuppsättningen på en gång. Denna lager-för-lager-metod gjorde det möjligt för oss att utföra inferens på en modell som vida överskrider enhetens VRAM-begränsningar. Det finns en hake: beräkningsprestanda. När det gäller lagringsprestanda kunde NVIDIA Orin Nano, över 4-filig PCIe 3-anslutning, dra upp till cirka 2.5 GB/s från 122 TB Solidigm D5-P5336 QLC SSD. Med vår inferensarbetsbelastning som kördes från QLC SSD:n låg läshastigheterna runt 1.7 GB/s.
Även om vi lyckades kringgå VRAMs begränsningar, var vi fortfarande fast med 67 TOPS av prestanda. Dessutom, när modellstorleken expanderar, ökar också lagerstorleken, vilket innebär att tiden per token ökar. Så vi gick från ett par tokens per sekund med mindre LLMs, som ChatGLM3-6B, till en per 4.5 minuter med DeepSeek R1 70B Destillered.
Praktiska tillämpningar av Large Storage och Edge AI
Medan vårt LLM-experiment mer var ett proof of concept, har kombinationen av Jetson Orin Nano Super och en Solidigm-enhet med hög kapacitet praktiska tillämpningar. Jetsons SODIMM-liknande formfaktor gör det enkelt att integrera i anpassade kretskort, vilket gör anslutningen av U.2-enheter av företagsklass mer enkel och rimlig. Den här konfigurationen gynnar långsiktiga AI-implementeringar med låg effekt i avlägsna eller känsliga miljöer.
AI används alltmer inom naturvård. I en tidigare artikel diskuterade vi hur AI hjälper till att spåra igelkottpopulationer . På liknande sätt använder ursprungsbefolkningar i British Columbia AI för att övervaka fiskpopulationer. Dessa installationer behöver ofta fungera ostört i åratal, vilket kräver stor lagringskapacitet, låg strömförbrukning och minimal fysisk miljöpåverkan. En Jetson Orin Nano Super-baserad lösning med en högkapacitetsdriven enhet kan möta dessa behov samtidigt som den förbrukar så lite som 15 W (eller 50 W vid maximal prestanda). Med reservbatterier och en liten solpanel kan en sådan installation vara lika stor som en vanlig bordstelefon, vilket gör den anspråkslös och praktisk för långvarig användning.
Ett annat intressant användningsfall är att använda systemet som ett stort lokalt arkiv för modelldistribution. När vi laddade ner hundratals modeller från Hugging Face märkte vi att inte alla modeller var likadana. Mer populära modeller laddades ner snabbare än äldre eller mindre populära. Men alla nedladdningar är vanligtvis mycket långsamma i kanten, även med Starlink. I sådana fall skulle ett paket som Nano Super, utrustat med ett extra nätverkskort och en hårddisk med stor kapacitet, fungera perfekt som en cache eller mellanlagring för att omfördela modeller på ett effektivt sätt.
Gott om användningsfall
Här är övertygande användningsfall för att utnyttja en NVIDIA Jetson-enhet med betydande lagringskapacitet:
- Autonoma fordon: Lagring och bearbetning av enorma mängder sensor- och kameradata i realtid för navigering och upptäckt av hinder.
- Smart övervakning: Hantera högupplösta videoflöden från flera kameror för säkerhets- och övervakningsändamål, med möjlighet att lagra och analysera filmer lokalt.
- Sjukvårdsdiagnostik: Realtidsbearbetning och lagring av medicinsk bilddata för omedelbar diagnostik och behandlingsbeslut i fjärr- eller resursbegränsade miljöer.
- Industriell automation: Förbättrad fabriksautomation med AI-driven kvalitetskontroll och förutsägande underhåll, lagring av stora datamängder för analys och modellträning.
- Detaljhandelsanalys: Analysera kundbeteende och lagerdata i realtid för att optimera lagernivåer och förbättra shoppingupplevelsen.
- Miljöövervakning: Använda AI för att spåra och analysera ekologiska data, såsom luft- och vattenkvalitet, för att stödja bevarandeinsatser och folkhälsoinitiativ.
- Smart jordbruk: Övervakning av grödors hälsa och markförhållanden med hjälp av AI-drivna sensorer och kameror för att optimera jordbruksmetoder och öka avkastningen.
- Telekommunikationer: Hantera och bearbeta data i mobilmaster för att förbättra nätverkets prestanda och minska latens.
Slutsats: Att hitta sin plats i Jetson-familjen
Jetson Orin Nano Super sitter i favoritplatsen i NVIDIAs Jetson-sortiment och erbjuder en balans mellan hög prestanda och energieffektivitet för avancerade AI-uppgifter. Jetson-familjen sträcker sig från nybörjarmodeller som Jetson Nano, designad för grundläggande AI- och robotapplikationer, till den kraftfulla Jetson AGX Orin, som levererar upp till 275 TOPS för krävande autonoma maskinarbetsbelastningar. Däremellan erbjuder Jetson Orin Nano Super flexibla prestanda- och kraftprofiler, vilket tillgodoser utvecklare som behöver mer hästkrafter utan huvuddelen av en total AGX-plattform.
Solidigms QLC SSD-sortiment erbjuder en rad lagringslösningar med hög kapacitet designade för läsintensiva arbetsbelastningar. Utbudet inkluderar modeller som D5-P5336, med upp till 122.88 TB lagringsutrymme och mindre enhetskapacitet från 7.68 TB. Dessa SSD:er är optimerade för prestanda, täthet och kostnadseffektivitet, vilket gör dem idealiska för applikationer som innehållsleveransnätverk, AI, datapipelines och objektlagring. Med QLC-teknik ger Solidigm SSD:er betydande lagringskapacitet samtidigt som de bibehåller stark läsprestanda och beprövad tillförlitlighet.
Nano Supers förmåga att ta med seriösa AI-funktioner till kompakta, kraftbegränsade miljöer gör att den sticker ut. Medan den ursprungliga Jetson Nano var en favorit för hobbyister och lätta AI-uppgifter, lyfter Nano Super detta genom att leverera 67 TOPS-tillräckligt för att hantera komplexa LLM-inferenser och andra krävande AI-applikationer. Detta gör det till ett övertygande alternativ för utvecklare som vill distribuera sofistikerade AI-modeller i utkanten utan kostnaden för större, mer kraftkrävande system. Parat med ett QLC-erbjudande med hög kapacitet, såsom 122TB Solidigm D5-P5336 SSD, gör det möjligt för kantplatser att fungera med ett brett utbud av AI-modeller och inga kapacitetsbegränsningar som kräver att lagring byts ut när den väl tillhandahålls.
Nano Super kostar $249. Även om den är dyrare än en Raspberry Pi, levererar den betydligt bättre prestanda och innehåller alla nödvändiga komponenter. Kylflänsen, utrustad med en fläkt, låter dig arbeta med maximal effekt även i en dåligt ventilerad 3D-printad kapsling. Den kommer också med en strömadapter, vilket gör den idealisk för dem som är intresserade av AI.
StorageReview tackar Solidigm-teamet för den nya 122TB D5-P5336 SSD. Denna enhets kapacitet och hastighet gjorde det möjligt för oss att slutföra mycket av testerna.
Amazon