Jetson Orin Nano Super è un concentrato di potenza di calcolo compatto che porta sofisticate capacità di intelligenza artificiale ai dispositivi edge. Combina prestazioni con convenienza e solide opzioni di integrazione, rendendolo un candidato ideale per la prototipazione e lo sviluppo di prodotti commerciali. Sia che venga impiegato in kit di robotica o integrato in macchinari più grandi, il suo design flessibile consente agli ingegneri di implementare l'intelligenza artificiale in scenari che richiedono efficienza e basso consumo energetico, per soli $ 249.
La piattaforma Jetson è progettata specificamente per le distribuzioni edge, garantendo che i progetti in ambienti con spazio o potenza limitati possano comunque sfruttare le prestazioni AI di fascia alta. Con un fattore di forma scalabile e ampie opzioni di connettività, fornisce un gateway per soluzioni innovative in robotica, sorveglianza intelligente e persino conservazione della fauna selvatica.
Jetson Orin Nano Super è noto per la realizzazione di progetti che richiedono intelligenza artificiale in ambienti edge computing, sia in kit di robotica tradizionali con programmazione classica, sia in configurazioni più avanzate con framework come ROS (Robot Operating System). La sua disponibilità come kit di sviluppo completo e come scheda figlia SoC standalone consente una perfetta integrazione in un'ampia gamma di prodotti e macchinari. Questa versatilità lo rende popolare per applicazioni che spaziano da piccoli progetti didattici a implementazioni industriali su vasta scala.
Specifiche del kit Jetson Orin Nano Super Developer
Jetson Orin Nano Super racchiude caratteristiche impressionanti in un fattore di forma compatto. La CPU Arm Cortex-A6AE a 78 core crea una solida base per il calcolo, mentre la GPU NVIDIA Ampere a 1024 core con Tensor Core accelera vari carichi di lavoro, tra cui attività di deep learning e computer vision. Con 67 TOPS (Tera Operations Per Second) di prestazioni AI e memoria LPDDR8 da 5 GB ad alta larghezza di banda, questa piattaforma è progettata per eseguire operazioni complesse in periferia.
| Specificazione | Dettagli |
|---|---|
| CPU | CPU Arm Cortex-A6AE v78 a 8.2 bit a 64 core, 3 MB L2 + 4 MB L3 |
| GPU | GPU con architettura NVIDIA Ampere a 1024 core con 32 core Tensor |
| Prestazioni dell'IA | 67 TOP |
| Memorie | 8 GB 128 bit LPDDR5 102 GB/s |
| Archiviazione | Supporto SSD eMMC 16 da 5.1 GB, microSD, M.2 Key M NVMe 1x slot M.2 Key M con x4 PCIe Gen3 1x slot M.2 Key M con x2 PCIe Gen3 |
| Networking | 1x Gigabit Ethernet |
| Display | 1x HDMI, 1x eDP 1.4 |
| Connettività | 4 porte USB 3.2 tipo A, 1 porta USB tipo C |
| Potenza di ingresso | Il jack DC Barrel accetta alimentazione da 7 V a 20 V |
| Telecamere | 2x connettori per telecamera MIPI CSI |
| Espansione | Intestazioni di espansione GPIO a 40 pin |
| Consumo di energia | 7W – 25W configurabile |
| Sistema operativo | Linux basato su Ubuntu con NVIDIA JetPack SDK |
| Dimensioni | 103mm x 90.5mm x 34.77mm |
Le opzioni di connettività sono numerose, rendendo il Nano Super altamente versatile per numerose applicazioni. Quattro porte USB 3.2 Type-A e una porta USB Type-C consentono di collegare facilmente una gamma di periferiche, da dispositivi di archiviazione esterni a dispositivi di input o sensori. La Gigabit Ethernet integrata garantisce una rete affidabile, mentre i doppi connettori per telecamera MIPI CSI consentono l'integrazione di due telecamere. Questa caratteristica è particolarmente utile per le applicazioni che richiedono la percezione della profondità, essenziale nella robotica e nei sistemi autonomi in cui la mappatura ambientale accurata è fondamentale.
Le capacità di archiviazione includono 16 GB eMMC 5.1, microSD e supporto SSD M.2 NVMe dual tramite slot dedicati con connettività PCIe Gen3. Ciò fornisce ampio spazio di archiviazione per sistemi operativi, software e set di dati e supporta trasferimenti di dati ad alta velocità necessari per analisi in tempo reale e attività di inferenza AI. Inoltre, l'inclusione di interfacce HDMI ed eDP 1.4 consente al Nano Super di supportare display, rendendolo ideale per applicazioni simili a chioschi o segnaletica digitale.
Spingere il Nano Super ai suoi limiti: inferenza LLM al limite
Il nostro lavoro con il Nano Super si è concentrato sull'esplorazione del suo potenziale per l'esecuzione di attività di sviluppo AI, in particolare l'inferenza di modelli di linguaggio di grandi dimensioni (LLM). Abbiamo riconosciuto che le limitazioni della memoria di bordo mettono alla prova l'esecuzione di modelli con miliardi di parametri, quindi abbiamo implementato un approccio innovativo per aggirare queste limitazioni. In genere, gli 8 GB di memoria grafica del Nano Super limitano la sua capacità a modelli più piccoli, ma abbiamo mirato a eseguire un modello 45 volte più grande di quello che si adatterebbe tradizionalmente.
Abbiamo potenziato lo storage del Nano Super integrando il nuovo SSD Solidigm D5-P5336 da 122.88 TB , un'unità NVMe ad altissima capacità progettata per gli ambienti dei data center, per supportare questo ambizioso obiettivo.
L' SSD Solidigm D5-P5336 da 122 TB è una soluzione di archiviazione rivoluzionaria per carichi di lavoro ad alta intensità di dati, in particolare per l'intelligenza artificiale e i data center. Ecco le specifiche dettagliate:
- Ultra-Grande: 122.88 TB
- Tecnologia: Cella a quattro livelli (QLC) NAND
- Interfaccia: Gen 4 PCIe x4
- Cookie di prestazione: Fino al 15% in più sui carichi di lavoro ad alta intensità di dati rispetto ai modelli precedenti
- Fattore di forma: U.2 Circa le dimensioni di un mazzo di carte
- Casi d'uso: Ideale per la formazione dell'intelligenza artificiale, la raccolta dati, l'acquisizione di contenuti multimediali e la transcodifica
Metriche delle prestazioni
- Velocità di lettura / scrittura sequenziali: Fino a 7.1 GB/s (lettura) e 3.3 GB/s (scrittura)
- Prestazioni casuali: Fino a 1,269,000 IOPS
Metriche della durata della vita
- Resistenza: L'SSD Solidigm da 122 TB è progettato per carichi di lavoro ad alta intensità di dati e offre un'elevata valutazione di resistenza. Puoi utilizzare Calcolatore di resistenza SSD Solidigm per calcolare la durata di vita prevista in base a carichi di lavoro specifici.
Misure di potenza
- TB per watt=122 TB25 W=4.88 TB/WTB per watt=25 W122 TB=4.88 TB/W. Con queste metriche di potenza, questa unità offre circa 4.88 terabyte di storage per watt di potenza consumata, evidenziando la sua efficienza per applicazioni ad alta intensità di dati.
Il Nano Super include due bay M.2 NVMe, che abbiamo testato come parte di questa recensione. Entrambi gli slot offrono una connessione PCIe Gen3, con uno slot da 30 mm che supporta 2 corsie PCIe e uno slot da 80 mm che supporta 4 corsie PCIe complete. Abbiamo utilizzato lo slot da 80 mm abbinato a un cavo breakout per guidare la maggior parte della larghezza di banda verso l'SSD QLC Solidigm D5-P5336 da 122 TB. Il nostro cavo di alimentazione USB-C non era pronto per la demo, quindi abbiamo utilizzato un alimentatore ATX che forniva 12 V e 3.3 V all'unità U.2.
Il risultato è stata una soluzione di storage overpowered che ci ha permesso di gestire modelli massicci e ha evidenziato il ruolo di uno storage robusto nei flussi di lavoro AI edge. Questa configurazione ci ha permesso di archiviare e trasportare la maggior parte dei modelli più popolari di Hugging Face, mantenendo comunque ampio spazio extra.
Come abbiamo fatto a eseguire DeepSeek R1 70B Distilled, un modello 45 volte più grande del previsto, su un dispositivo del genere? Per raggiungere questo risultato, abbiamo utilizzato AirLLM , un progetto che carica sequenzialmente i layer del modello in memoria secondo necessità, anziché caricare l'intero set di pesi in una sola volta. Questo approccio layer-by-layer ci ha permesso di eseguire l'inferenza su un modello che supera di gran lunga i limiti di VRAM del dispositivo. C'è però un problema: le prestazioni di calcolo. In termini di prestazioni di archiviazione, tramite la connessione PCIe 3 a 4 corsie, la NVIDIA Orin Nano poteva raggiungere circa 2.5 GB/s dall'SSD Solidigm D5-P5336 QLC da 122 TB. Con il nostro carico di lavoro di inferenza in esecuzione sull'SSD QLC, le velocità di lettura si aggiravano intorno a 1.7 GB/s.
Anche se abbiamo aggirato con successo le limitazioni della VRAM, eravamo ancora bloccati con 67 TOPS di prestazioni. Inoltre, man mano che le dimensioni del modello aumentano, aumenta anche la dimensione del layer, il che significa che aumenta il tempo per token. Quindi, siamo passati da un paio di token al secondo con LLM più piccoli, come ChatGLM3-6B, a uno ogni 4.5 minuti con DeepSeek R1 70B Distilled.
Applicazioni pratiche di storage di grandi dimensioni e intelligenza artificiale edge
Sebbene il nostro esperimento LLM fosse più una prova di concetto, la combinazione di Jetson Orin Nano Super e di un'unità Solidigm ad alta capacità ha applicazioni pratiche. Il fattore di forma simile a SODIMM di Jetson semplifica l'integrazione in PCB personalizzati, rendendo più semplice e plausibile l'attacco di unità U.2 di livello aziendale. Questa configurazione avvantaggia le distribuzioni AI a lungo termine e a basso consumo in ambienti remoti o sensibili.
L'intelligenza artificiale (IA) viene sempre più utilizzata nella conservazione della fauna selvatica. In un precedente articolo, abbiamo discusso di come l'IA stia contribuendo a monitorare le popolazioni di ricci . Allo stesso modo, le popolazioni indigene della Columbia Britannica utilizzano l'IA per monitorare le popolazioni ittiche. Queste installazioni spesso devono funzionare ininterrottamente per anni, richiedendo grandi capacità di archiviazione, bassi consumi energetici e un impatto ambientale minimo. Una soluzione basata su Jetson Orin Nano Super con un'unità ad alta capacità può soddisfare queste esigenze consumando appena 15 W (o 50 W alle massime prestazioni). Con batterie di backup e un piccolo pannello solare, una configurazione di questo tipo può avere le dimensioni di un normale telefono fisso, risultando discreta e pratica per un utilizzo a lungo termine.
Un altro caso d'uso interessante è l'utilizzo del sistema come un grande repository locale per la distribuzione dei modelli. Mentre scaricavamo centinaia di modelli da Hugging Face, abbiamo notato che non tutti i modelli erano uguali. I modelli più popolari venivano scaricati più velocemente di quelli più vecchi o meno popolari. Tuttavia, tutti i download sono in genere molto lenti all'edge, anche con Starlink. In tali casi, un pacchetto come il Nano Super, dotato di una NIC aggiuntiva e di un'unità di grande capacità, fungerebbe perfettamente da cache o archivio intermedio per ridistribuire i modelli in modo efficiente all'edge.
Casi d'uso ampi
Ecco alcuni casi d'uso interessanti per sfruttare un dispositivo NVIDIA Jetson con una notevole capacità di archiviazione:
- Veicoli autonomi: Memorizzazione ed elaborazione di grandi quantità di dati provenienti da sensori e telecamere in tempo reale per la navigazione e il rilevamento degli ostacoli.
- Sorveglianza intelligente: Gestione di feed video ad alta risoluzione da più telecamere per scopi di sicurezza e monitoraggio, con la possibilità di archiviare e analizzare i filmati localmente.
- Diagnostica sanitaria: Elaborazione e archiviazione in tempo reale di dati di imaging medico per diagnosi immediate e decisioni terapeutiche in contesti remoti o con risorse limitate.
- Automazione Industriale: Miglioramento dell'automazione di fabbrica con controllo di qualità basato sull'intelligenza artificiale e manutenzione predittiva, archiviazione di grandi set di dati per l'analisi e l'addestramento dei modelli.
- Analisi al dettaglio: Analizzare il comportamento dei clienti e i dati di inventario in tempo reale per ottimizzare i livelli delle scorte e migliorare l'esperienza di acquisto.
- Monitoraggio Ambientale: Utilizzare l'intelligenza artificiale per tracciare e analizzare dati ecologici, come la qualità dell'aria e dell'acqua, per supportare gli sforzi di conservazione e le iniziative di salute pubblica.
- Agricoltura intelligente: Monitoraggio della salute delle colture e delle condizioni del terreno mediante sensori e telecamere basati sull'intelligenza artificiale per ottimizzare le pratiche agricole e aumentare la resa.
- Telecomunicazioni: Gestione ed elaborazione dei dati sulle torri cellulari per migliorare le prestazioni della rete e ridurre la latenza.
Conclusione: trovare il suo posto nella famiglia Jetson
Jetson Orin Nano Super si colloca nel punto debole della gamma Jetson di NVIDIA, offrendo un equilibrio tra alte prestazioni ed efficienza energetica per le attività AI edge. La famiglia Jetson spazia da modelli entry-level come Jetson Nano, progettati per applicazioni AI e robotica di base, al potente Jetson AGX Orin, che offre fino a 275 TOPS per carichi di lavoro di macchine autonome esigenti. Nel mezzo, Jetson Orin Nano Super offre profili di prestazioni e potenza flessibili, adatti agli sviluppatori che necessitano di più potenza senza l'ingombro di una piattaforma AGX totale.
La gamma di SSD QLC di Solidigm offre una gamma di soluzioni di storage ad alta capacità progettate per carichi di lavoro ad alta intensità di lettura. La gamma include modelli come D5-P5336, con fino a 122.88 TB di storage e capacità di unità inferiori a partire da 7.68 TB. Questi SSD sono ottimizzati per prestazioni, densità ed efficienza dei costi, rendendoli ideali per applicazioni quali reti di distribuzione di contenuti, intelligenza artificiale, pipeline di dati e storage di oggetti. Con la tecnologia QLC, gli SSD Solidigm offrono una notevole capacità di storage mantenendo al contempo elevate prestazioni di lettura e comprovata affidabilità.
La capacità del Nano Super di portare serie capacità di intelligenza artificiale in ambienti compatti e con vincoli energetici lo distingue. Mentre il Jetson Nano originale era il preferito degli hobbisti e delle attività di intelligenza artificiale leggere, il Nano Super lo eleva offrendo 67 TOPS, sufficienti per gestire inferenze LLM complesse e altre applicazioni di intelligenza artificiale esigenti. Ciò lo rende un'opzione interessante per gli sviluppatori che desiderano distribuire modelli di intelligenza artificiale sofisticati all'edge senza le spese generali di sistemi più grandi e più affamati di energia. Abbinato a un'offerta QLC ad alta capacità, come l'SSD Solidigm D122-P5 da 5336 TB, consente alle postazioni edge di funzionare con un'ampia gamma di modelli di intelligenza artificiale e senza vincoli di capacità che richiedono la sostituzione dell'archiviazione una volta fornita.
Il Nano Super costa 249 $. Sebbene sia più costoso di un Raspberry Pi, offre prestazioni notevolmente migliori e include tutti i componenti necessari. Il dissipatore di calore, dotato di ventola, consente di operare alla massima potenza anche in un contenitore stampato in 3D scarsamente ventilato. Viene fornito anche con un adattatore di alimentazione, il che lo rende ideale per chi è interessato all'intelligenza artificiale.
StorageReview ringrazia il team Solidigm per il nuovo SSD D122-P5 da 5336 TB. La capacità e la velocità di questa unità ci hanno permesso di completare gran parte dei test.
Amazon