Das Jetson Orin Nano Super Developer Kit von NVIDIA ist Vorreiter bei Edge-KI und bietet eine robuste Lösung für KI-Anwendungen außerhalb des herkömmlichen Rechenzentrums. Es ist ein leistungsstarkes und kostengünstiges Tool für KI-Enthusiasten und -Profis.
Der Jetson Orin Nano Super ist ein kompaktes Rechenkraftwerk, das anspruchsvolle KI-Funktionen auf Edge-Geräte bringt. Er vereint Leistung mit Erschwinglichkeit und soliden Integrationsoptionen und ist damit ein idealer Kandidat für Prototyping und kommerzielle Produktentwicklung. Ob in Roboterbausätzen oder integriert in größere Maschinen, sein flexibles Design ermöglicht es Ingenieuren, KI in Szenarien einzusetzen, die Effizienz und geringen Stromverbrauch erfordern – für nur 249 US-Dollar.
Die Jetson-Plattform wurde speziell für Edge-Bereitstellungen entwickelt und stellt sicher, dass Projekte in Umgebungen mit begrenztem Platz oder Strom dennoch High-End-KI-Leistung nutzen können. Mit einem skalierbaren Formfaktor und umfassenden Konnektivitätsoptionen bietet es ein Tor zu innovativen Lösungen in den Bereichen Robotik, intelligente Überwachung und sogar Artenschutz.
Die Jetson Orin Nano Super ist bekannt für den Aufbau von Projekten, die KI am Rande erfordern, sei es in traditionellen Robotik-Kits mit klassischer Programmierung oder in fortgeschritteneren Setups mit Frameworks wie ROS (Robot Operating System). Seine Verfügbarkeit als komplettes Entwickler-Kit und als eigenständige SoC-Tochterplatine ermöglicht eine nahtlose Integration in eine breite Palette von Produkten und Maschinen. Diese Vielseitigkeit macht es beliebt für Anwendungen von kleinen Bildungsprojekten bis hin zu groß angelegten industriellen Einsätzen.
Spezifikationen für das Jetson Orin Nano Super Developer Kit
Der Jetson Orin Nano Super vereint beeindruckende Funktionen in einem kompakten Formfaktor. Die 6-Core Arm Cortex-A78AE CPU bildet eine solide Grundlage für Berechnungen, während die 1024-Core NVIDIA Ampere GPU mit Tensor Cores verschiedene Workloads beschleunigt, darunter Deep Learning- und Computer Vision-Aufgaben. Mit 67 TOPS (Tera Operations Per Second) KI-Leistung und 8 GB LPDDR5-Speicher mit hoher Bandbreite ist diese Plattform für die Ausführung komplexer Operationen am Rand ausgelegt.
| Normen | Details |
|---|---|
| CPU | 6-Core Arm Cortex-A78AE v8.2 64-Bit-CPU, 3 MB L2 + 4 MB L3 |
| GPU | 1024-Core NVIDIA Ampere-Architektur-GPU mit 32 Tensor-Cores |
| KI-Leistung | 67 TOPS |
| Memory | 8 GB, 128 Bit, LPDDR5, 102 GB/s |
| Lagerung | 16 GB eMMC 5.1, microSD, M.2 Key M NVMe SSD-Unterstützung 1x M.2 Key M-Steckplatz mit x4 PCIe Gen3 1x M.2 Key M-Steckplatz mit x2 PCIe Gen3 |
| Networking | 1x Gigabit Ethernet |
| Display | 1x HDMI, 1x eDP 1.4 |
| Viele Anschlussmöglichkeiten | 4x USB 3.2 Typ A-Anschlüsse, 1x USB Typ C-Anschluss |
| Strom | DC-Hohlstecker akzeptiert 7 V bis 20 V Leistung |
| Zimmer | 2x MIPI CSI-Kameraanschlüsse |
| Expansion | 40-polige GPIO-Erweiterungs-Header |
| Energieverbrauch | 7 W – 25 W konfigurierbar |
| Betriebssystem | Basiert auf Linux Ubuntu mit NVIDIA JetPack SDK |
| Abmessungen | 103mm x 90.5mm x 34.77mm |
Die zahlreichen Anschlussmöglichkeiten machen den Nano Super für zahlreiche Anwendungen äußerst vielseitig. Vier USB 3.2 Typ-A-Anschlüsse und ein USB Typ-C-Anschluss ermöglichen den einfachen Anschluss einer Reihe von Peripheriegeräten, von externen Speichergeräten bis hin zu Eingabegeräten oder Sensoren. Das integrierte Gigabit-Ethernet sorgt für eine zuverlässige Vernetzung, während die dualen MIPI CSI-Kameraanschlüsse die Integration von zwei Kameras ermöglichen. Diese Funktion ist besonders nützlich für Anwendungen, die Tiefenwahrnehmung erfordern, was in der Robotik und bei autonomen Systemen unerlässlich ist, wo eine genaue Umgebungskartierung entscheidend ist.
Zu den Speicherkapazitäten gehören 16 GB eMMC 5.1, microSD und Dual M.2 NVMe SSD-Unterstützung über dedizierte Steckplätze mit PCIe Gen3-Konnektivität. Dies bietet ausreichend Speicherplatz für Betriebssysteme, Software und Datensätze und unterstützt Hochgeschwindigkeitsdatenübertragungen, die für Echtzeitanalysen und KI-Inferenzaufgaben erforderlich sind. Darüber hinaus ermöglicht die Einbeziehung von HDMI- und eDP 1.4-Schnittstellen dem Nano Super die Unterstützung von Displays, was ihn ideal für kioskähnliche Anwendungen oder digitale Beschilderung macht.
Den Nano Super an seine Grenzen bringen: LLM-Inferenz am Rand
Bei unserer Arbeit mit dem Nano Super lag der Schwerpunkt auf der Erforschung seines Potenzials für die Durchführung von KI-Entwicklungsaufgaben, insbesondere der Inferenz großer Sprachmodelle (LLM). Wir erkannten, dass die Einschränkungen des integrierten Speichers die Ausführung von Modellen mit Milliarden von Parametern erschweren. Daher implementierten wir einen innovativen Ansatz, um diese Einschränkungen zu umgehen. Normalerweise beschränkt der 8 GB große Grafikspeicher des Nano Super seine Leistungsfähigkeit auf kleinere Modelle, aber wir wollten ein 45-mal größeres Modell ausführen, als es normalerweise möglich wäre.
Wir haben den Speicher des Nano Super durch die Integration des neu eingeführten Solidigm D5-P5336 122.88 TB SSD, ein NVMe-Laufwerk mit ultrahoher Kapazität, das für Rechenzentrumsumgebungen entwickelt wurde, um diese anspruchsvolle Aufgabe zu unterstützen.
Die Solidigm 122 TB D5-P5336 SSD ist eine bahnbrechende Speicherlösung für datenintensive Workloads, insbesondere in KI und Rechenzentren. Hier sind die detaillierten Spezifikationen:
- Kapazität: 122.88 TB
- Technologie: Quad-Level Cell (QLC) NAND
- Interface: Gen 4 PCIe x4
- Kennzahlen: Bis zu 15 % besser bei datenintensiven Workloads im Vergleich zu Vorgängermodellen
- Formfaktor: U.2 Ungefähr so groß wie ein Kartenspiel
- Anwendungen: Ideal für KI-Training, Datenerfassung, Medienerfassung und Transkodierung
Leistungskennzahlen:
- Sequenzielle Lese- / Schreibgeschwindigkeiten: Bis zu 7.1 GB/s (Lesen) und 3.3 GB/s (Schreiben)
- Zufällige Leistung: Bis zu 1,269,000 IOPS
Lebensdauermetriken
- Ausdauer: Die Solidigm 122TB SSD ist für datenintensive Workloads konzipiert und bietet eine hohe Lebensdauer. Sie können die Solidigm SSD-Lebensdauerschätzer um die erwartete Lebensdauer basierend auf bestimmten Arbeitslasten zu berechnen.
Leistungsmetriken
- TB pro Watt=122 TB25 W=4.88 TB/WTB pro Watt=25 W122 TB=4.88 TB/W. Mit diesen Leistungswerten bietet dieses Laufwerk ungefähr 4.88 Terabyte Speicherplatz pro Watt verbrauchter Leistung und unterstreicht damit seine Effizienz für datenintensive Anwendungen.
Der Nano Super verfügt über zwei M.2 NVMe-Schächte, die wir im Rahmen dieses Tests getestet haben. Beide Steckplätze bieten eine PCIe Gen3-Verbindung, wobei ein 30-mm-Steckplatz 2 PCIe-Lanes und ein 80-mm-Steckplatz volle 4 PCIe-Lanes unterstützt. Wir haben den 80-mm-Steckplatz in Verbindung mit einem Breakout-Kabel verwendet, um die größte Bandbreite auf die Solidigm D5-P5336 122 TB QLC SSD zu übertragen. Unser USB-C-Stromkabel war für die Demo nicht bereit, daher haben wir ein ATX-Netzteil verwendet, das das U.12-Laufwerk mit 3.3 V und 2 V versorgt.
Das Ergebnis war eine überragende Speicherlösung, mit der wir riesige Modelle verwalten konnten und die die Rolle robuster Speicher in Edge-KI-Workflows hervorhob. Mit diesem Setup konnten wir die meisten beliebten Modelle von Hugging Face speichern und transportieren und hatten dabei immer noch reichlich zusätzlichen Speicherplatz.
Wie haben wir DeepSeek R1 70B Distilled, ein Modell, das 45 Mal größer ist als erwartet, für ein solches Gerät laufen lassen? Um dieses Kunststück zu erreichen, haben wir verwendet LuftLLM, ein Projekt, das Modellebenen nach Bedarf sequenziell in den Speicher lädt, anstatt den gesamten Gewichtssatz auf einmal zu laden. Dieser schichtweise Ansatz ermöglichte es uns, Inferenzen an einem Modell durchzuführen, das die VRAM-Beschränkungen des Geräts bei weitem übersteigt. Es gibt einen Haken: die Rechenleistung. In Bezug auf die Speicherleistung konnte die NVIDIA Orin Nano über die 4-Lane-PCIe-3-Verbindung bis zu etwa 2.5 GB/s von der 122 TB Solidigm D5-P5336 QLC SSD abrufen. Bei unserer Inferenz-Workload, die über die QLC SSD ausgeführt wurde, lagen die Lesegeschwindigkeiten bei etwa 1.7 GB/s.
Obwohl wir die VRAM-Einschränkungen erfolgreich umgangen haben, blieben wir bei einer Leistung von 67 TOPS hängen. Außerdem wächst mit der Modellgröße auch die Layergröße, was bedeutet, dass die Zeit pro Token zunimmt. So kamen wir von ein paar Token pro Sekunde mit kleineren LLMs wie ChatGLM3-6B auf einen alle 4.5 Minuten mit DeepSeek R1 70B Distilled.
Praktische Anwendungen von Großspeichern und Edge-KI
Während unser LLM-Experiment eher ein Proof of Concept war, bietet die Kombination des Jetson Orin Nano Super mit einem Solidigm-Laufwerk mit hoher Kapazität praktische Anwendungsmöglichkeiten. Der SODIMM-ähnliche Formfaktor des Jetson erleichtert die Integration in benutzerdefinierte Leiterplatten, wodurch der Anschluss von U.2-Laufwerken der Enterprise-Klasse einfacher und plausibler wird. Diese Konfiguration kommt langfristigen KI-Bereitstellungen mit geringem Stromverbrauch in entfernten oder sensiblen Umgebungen zugute.
KI wird zunehmend im Artenschutz eingesetzt. In einem früheren Artikel haben wir besprochen, wie KI dabei hilft, Igelpopulationen zu verfolgen. In ähnlicher Weise nutzen indigene Völker in British Columbia KI, um Fischpopulationen zu überwachen. Diese Anlagen müssen oft jahrelang ungestört laufen, was große Speicherkapazitäten, geringen Stromverbrauch und minimale physische Umweltstörungen erfordert. Eine auf Jetson Orin Nano Super basierende Lösung mit einem Laufwerk mit hoher Kapazität kann diese Anforderungen erfüllen und verbraucht dabei nur 15 W (oder 50 W bei maximaler Leistung). Mit Backup-Batterien und einem kleinen Solarpanel kann ein solches Setup die Größe eines normalen Tischtelefons haben, was es für den Langzeitgebrauch unauffällig und praktisch macht.
Ein weiterer interessanter Anwendungsfall ist die Verwendung des Systems als großes lokales Repository für die Modellverteilung. Beim Herunterladen von Hunderten von Modellen von Hugging Face stellten wir fest, dass nicht alle Modelle gleich waren. Beliebtere Modelle wurden schneller heruntergeladen als ältere oder weniger beliebte. Allerdings sind alle Downloads am Rand normalerweise sehr langsam, selbst mit Starlink. In solchen Fällen würde ein Paket wie der Nano Super, ausgestattet mit einer zusätzlichen Netzwerkkarte und einem Laufwerk mit großer Kapazität, perfekt als Cache oder Zwischenspeicher dienen, um Modelle effizient am Rand neu zu verteilen.
Zahlreiche Anwendungsfälle
Hier sind überzeugende Anwendungsfälle für die Nutzung eines NVIDIA Jetson-Geräts mit beträchtlicher Speicherkapazität:
- Autonome Fahrzeuge: Speicherung und Verarbeitung großer Mengen von Sensor- und Kameradaten in Echtzeit zur Navigation und Hinderniserkennung.
- Intelligente Überwachung: Verwalten hochauflösender Video-Feeds von mehreren Kameras für Sicherheits- und Überwachungszwecke, mit der Möglichkeit, Filmmaterial lokal zu speichern und zu analysieren.
- Gesundheitsdiagnostik: Echtzeitverarbeitung und -speicherung medizinischer Bilddaten für sofortige Diagnose- und Behandlungsentscheidungen in abgelegenen oder ressourcenbeschränkten Umgebungen.
- Industrial Automation: Verbesserung der Fabrikautomatisierung durch KI-gesteuerte Qualitätskontrolle und vorausschauende Wartung, Speicherung großer Datensätze für Analysen und Modelltraining.
- Einzelhandelsanalysen: Analysieren Sie Kundenverhalten und Bestandsdaten in Echtzeit, um Lagerbestände zu optimieren und das Einkaufserlebnis zu verbessern.
- Umweltüberwachung: Einsatz von KI zur Verfolgung und Analyse ökologischer Daten, wie etwa der Luft- und Wasserqualität, um Naturschutzbemühungen und Initiativen im Bereich der öffentlichen Gesundheit zu unterstützen.
- Intelligente Landwirtschaft: Überwachung des Gesundheitszustands von Nutzpflanzen und der Bodenbedingungen mithilfe KI-gestützter Sensoren und Kameras, um landwirtschaftliche Praktiken zu optimieren und den Ertrag zu steigern.
- Telekommunikation: Verwalten und Verarbeiten von Daten an Mobilfunkmasten, um die Netzwerkleistung zu verbessern und die Latenz zu reduzieren.
Fazit: Seinen Platz in der Jetson-Familie finden
Der Jetson Orin Nano Super ist genau der richtige Partner der Jetson-Reihe von NVIDIA und bietet eine ausgewogene Mischung aus hoher Leistung und Energieeffizienz für Edge-KI-Aufgaben. Die Jetson-Familie reicht von Einstiegsmodellen wie dem Jetson Nano, der für grundlegende KI- und Robotikanwendungen entwickelt wurde, bis hin zum leistungsstarken Jetson AGX Orin, der bis zu 275 TOPS für anspruchsvolle autonome Maschinen-Workloads liefert. Dazwischen bietet der Jetson Orin Nano Super flexible Leistungs- und Energieprofile und ist für Entwickler gedacht, die mehr Leistung benötigen, ohne die Masse einer kompletten AGX-Plattform zu haben.
Die QLC-SSD-Reihe von Solidigm bietet eine Reihe von Speicherlösungen mit hoher Kapazität, die für leseintensive Workloads entwickelt wurden. Die Reihe umfasst Modelle wie das D5-P5336 mit bis zu 122.88 TB Speicherkapazität und kleinere Laufwerkskapazitäten ab 7.68 TB. Diese SSDs sind auf Leistung, Dichte und Kosteneffizienz optimiert und eignen sich daher ideal für Anwendungen wie Content Delivery Networks, KI, Datenpipelines und Objektspeicher. Dank der QLC-Technologie bieten Solidigm-SSDs erhebliche Speicherkapazität bei gleichzeitig starker Leseleistung und bewährter Zuverlässigkeit.
Die Fähigkeit des Nano Super, ernsthafte KI-Funktionen in kompakte, stromsparende Umgebungen zu bringen, macht ihn einzigartig. Während der ursprüngliche Jetson Nano ein Favorit für Hobbyisten und einfache KI-Aufgaben war, übertrifft der Nano Super dies um 67 TOPS – genug, um komplexe LLM-Inferenzen und andere anspruchsvolle KI-Anwendungen zu bewältigen. Dies macht ihn zu einer überzeugenden Option für Entwickler, die anspruchsvolle KI-Modelle am Rand einsetzen möchten, ohne den Overhead größerer, stromhungrigerer Systeme. In Verbindung mit einem QLC-Angebot mit hoher Kapazität, wie der 122 TB Solidigm D5-P5336 SSD, ermöglicht es Edge-Standorten den Betrieb mit einer Vielzahl von KI-Modellen und ohne Kapazitätsbeschränkungen, die einen Speicheraustausch nach der Bereitstellung erfordern.
Der Nano Super kostet 249 US-Dollar. Er ist zwar teurer als ein Raspberry Pi, bietet aber eine deutlich bessere Leistung und enthält alle notwendigen Komponenten. Der mit einem Lüfter ausgestattete Kühlkörper ermöglicht den Betrieb mit maximaler Leistung auch in einem schlecht belüfteten 3D-gedruckten Gehäuse. Außerdem wird ein Netzteil mitgeliefert, was ihn ideal für KI-Interessierte macht.
StorageReview dankt dem Solidigm-Team für die neue 122 TB D5-P5336 SSD. Die Kapazität und Geschwindigkeit dieses Laufwerks ermöglichten es uns, einen Großteil der Tests abzuschließen.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
