Uwaga redaktora: Mieliśmy okazję usiąść i ponownie przyjrzeć się platformie NVIDIA Jetson z nowym członkiem naszego zespołu. Przeczytaj nasz artykuł z zeszłego roku, w którym przeprowadziliśmy model wizji na finalnej wersji produktu Jetson – Lenovo SE70.
Dzięki platformie NVIDIA Jetson deweloperzy mogą odkrywać rozwiązania AI specjalnie dostosowane do rozwoju rozwiązań AI na krawędzi sieci. Systemy te zapewniają wydajność serwera z wykorzystaniem GPU w pakiecie, który można trzymać w jednej ręce. Ogromne podziękowania dla firmy NVIDIA za udostępnienie zestawu Jetson AGX Orin Development Kit, który mogliśmy przetestować i przekonać się, jak łatwo jest stworzyć własny lokalny program LLM.
Zestaw deweloperski Jetson AGX Orin DevKit ma kompaktową konstrukcję, zaledwie 11 cm (około 4.3 cala) szerokości i długości oraz 7.2 cm (około 2.8 cala) wysokości. Wewnątrz zestawu deweloperskiego Jetson AGX Orin znajduje się 2048-rdzeniowy procesor graficzny NVIDIA Ampere z 64 rdzeniami Tensor i maksymalną częstotliwością taktowania 1.3 GHz. Znajduje się tam również 12-rdzeniowy procesor Arm Cortex A78AE v8.2 64-bit z 3 MB pamięci podręcznej L2, 6 MB pamięci podręcznej L3 i maksymalną częstotliwością taktowania 2.20 GHz.
Te dwa komponenty mocy, w połączeniu z 64 GB pamięci zunifikowanej LPDDR5 o prędkości 204.8 GB/s, tworzą najbardziej imponujący wynik tego małego komputera: 275 TOPS w modelach z 64 GB pamięci z małego GPU i DLA. To 8.6 razy więcej niż liczba TOPS w przypadku poprzednika firmy NVIDIA, Jetson AGX Xavier, który osiągnął zaledwie 32 TOPS.
Pod maską znajdują się również dwa gniazda M.2: PCIe Gen 4×4 Key M do przechowywania dodatkowej pamięci poza 64 GB eMMC oraz Gen 4×1 Key E do połączeń bezprzewodowych. Łączność online nie stanowi jednak problemu dzięki 10-gigabitowemu złączu RJ45. Dodatkowo płyta posiada 40-pinowe złącze (dla UART, SPI, I2S, I2C, CAN, PWM, DMIC i GPIO), 12-pinowe złącze automatyki, 10-pinowe złącze panelu audio, 10-pinowe złącze JTAG, 4-pinowe złącze wentylatora, 2-pinowe złącze baterii podtrzymującej RTC, a także 16-ścieżkowe złącze MIPI CSI-2 do kamer CSI.
Nie brakuje również możliwości podłączania urządzeń zewnętrznych. Dostępnych jest sześć portów USB: dwa USB-A 3.2 Gen 2, dwa USB-A 3.2 Gen 1 oraz USB-C 3.2 Gen 2. Jeden z tych dwóch portów USB-C obsługuje transfer danych z prędkością do 20 Gb/s, a drugi jest dedykowany do zasilania o mocy 60 W. Jeśli potrzebujesz dodatkowego portu USB-C, możesz podłączyć zasilanie przez gniazdo zasilania DC. System jest jednak dostarczany tylko z zasilaczem USB-C. Jest również gniazdo na kartę micro SD do szybkiego przechowywania danych oraz port micro USB-B, który może służyć jako szeregowy port debugowania.
Pod magnetyczną osłoną kryje się zewnętrzne gniazdo PCIe Gen 4×16. Dodatkowo, zewnętrzne gniazdo PCIe obsługuje połączenie PCIe 4×8. Ze względu na brak możliwości wewnętrznego zasilania karty graficznej, gniazdo najlepiej nadaje się do podłączenia np. szybkiej karty sieciowej. Aby zapewnić dedykowany wyświetlacz, Orin posiada złącze DisplayPort 1.4.
Jetson AGX Xavier kontra Jetson AGX Orin
| Cecha | Jetson AGX Xavier 64GB | Zestaw deweloperski Jetson AGX Orin 64 GB |
|---|---|---|
| Wydajność AI | 32 TOPS | 275 TOPS |
| GPU | 512-rdzeniowy procesor graficzny NVIDIA Volta z 64 rdzeniami Tensor | 2048-rdzeniowy procesor graficzny NVIDIA Ampere z 64 rdzeniami Tensor |
| Maksymalna częstotliwość GPU | Nieokreślony | 1.3GHz |
| CPU | 8-rdzeniowy procesor NVIDIA Carmel Arm v8.2 64-bit, 8 MB L2 + 4 MB L3 | 12-rdzeniowy procesor Arm Cortex-A78AE v8.2 64-bitowy, 3 MB L2 + 6 MB L3 |
| Maksymalna częstotliwość procesora | 2.2GHz | 2.2GHz |
| Akcelerator DL | 2x NVDLA v1 | Nieokreślony |
| Maksymalna częstotliwość DLA | 1.4GHz | Nieokreślony |
| Akcelerator wizji | 2x PVA | 1x PVA v2 |
| Pamięć | 64 GB LPDDR4x, 136.5 GB/s | 64 GB LPDDR5, 204.8 GB/s |
| Dyski | 32 GB eMMC 5.1, 64 GB dostępne w wersji przemysłowej | Nieokreślony |
| Kodowanie wideo | 4x 4K60 (H.265), 8x 4K30 (H.265), 16x 1080p60 (H.265), 32x 1080p30 (H.265) | Nieokreślony |
| Dekodowanie wideo | 2x 8K30 (H.265), 6x 4K60 (H.265), 12x 4K30 (H.265), 26x 1080p60 (H.265), 52x 1080p30 (H.265) | Nieokreślony |
| Kamera CSI | Do 6 kamer (36 przez kanały wirtualne), 16 pasów MIPI CSI-2, 8 pasów SLVS-EC, D-PHY 1.2 (do 40 Gb/s), C-PHY 1.1 (do 62 Gb/s) | Nieokreślony |
| PCIe | 1×8, 1×4, 1×2, 2×1 (PCIe Gen4, port główny i punkt końcowy) | Gniazdo PCIe x16 obsługujące x8 PCIe Gen4, gniazdo M.2 Key M z x4 PCIe Gen4, gniazdo M.2 Key E z x1 PCIe Gen4 |
| USB | 3x USB 3.2 Gen2 (10 Gb/s), 4x USB 2.0 | USB-C do zasilania (15-60 W), pojedynczy port USB-C do flashowania i programowania, port Micro B do debugowania szeregowego, 2x USB 3.2 Gen2 (USB typu C), 2x USB 3.2 Gen2 (USB typu A), 2x USB 3.2 Gen1 (USB typu A), USB 2.0 (USB Micro-B) |
| Sieci | 1x GbE | Złącze RJ45 z prędkością do 10 GbE |
| Wyświetlacz | 3 wielomodowe DP 1.4/eDP 1.4/HDMI 2.0 | 1x złącze DisplayPort 1.4a (+MST) |
| Inne wejścia/wyjścia | 5x UART, 3x SPI, 4x I2S, 8x I2C, 2x CAN, PWM, DMIC, GPIO | Złącze 40-pinowe (UART, SPI, I2S, I2C, CAN, PWM, DMIC, GPIO), złącze automatyki 12-pinowe, złącze panelu audio 10-pinowe, złącze JTAG 10-pinowe, złącze wentylatora 4-pinowe, złącze baterii RTC 2-pinowe, gniazdo microSD, gniazdo zasilania prądem stałym, przyciski zasilania, wymuszenia odzyskiwania i resetowania |
| Zasilanie | 10-30W | 15-60 W (przez USB-C) |
Konfiguracja pakietu SDK AI Side/NVIDIA
Duże Modele Językowe (LLM) to sztuczne inteligencje, takie jak ChatGPT czy Ollama, które zostały wytrenowane na dużych ilościach danych. W tak małej przestrzeni trudno uwierzyć, że można uruchomić lokalny, prywatny model sztucznej inteligencji. Obecnie na rynku pojawiają się laptopy „PC AI” od firm Intel, AMD i Snapdragon z dedykowanymi układami NPU. Urządzenia te, podobnie jak platforma Jetson, wykorzystują dedykowany układ krzemowy na rdzeniu, który oferuje dodatkowe funkcje akceleracji sztucznej inteligencji. Koncepcyjnie komponenty te są zaprojektowane tak, aby działać podobnie do naszego mózgu (stąd „neuronalny” w słowie NPU) i umożliwiać jednoczesne przetwarzanie dużych ilości danych. Zastosowanie układów NPU oznacza, że procesor (CPU) i karta graficzna (GPU) są zwolnione do przetwarzania innych zadań, co prowadzi do znacznie wydajniejszego komputera, zarówno pod względem mocy, jak i mocy obliczeniowej.
Jednak 40 TOPS generowane przez platformę Lunar Lake firmy Intel lub 50 TOPS firmy AMD wciąż nie dorównuje łącznej mocy GPU i CPU zestawów deweloperskich Jetson Orin, co daje deklarowane 275 TOPS. To więcej niż wystarczająco mocy, aby mieć sztuczną inteligencję lokalnie w biurze, a nawet w domu/laboratorium! Inne komponenty wspomagające sztuczną inteligencję to dwa akceleratory głębokiego uczenia (DL) NVDLA v2, które przyspieszają przetwarzanie procesów AI przez system; oraz pojedynczy akcelerator wizji, który przyspiesza przetwarzanie obrazów przez widzenie komputerowe.
Konfiguracja systemu do obsługi sztucznej inteligencji jest uproszczona dzięki licznym poradnikom firmy NVIDIA. Aby rozpocząć, upewnij się, że Twój Jetson jest wgrany do Ubuntu, a następnie wykonaj poniższe 6 kroków:
Krok 1: Zainstaluj Menedżera SDK NVIDIA
Pełne instrukcje i pliki do pobrania będą dostępne na stronie NVIDIA SDK . Do przeprowadzenia tego procesu wymagane jest bezpłatne konto deweloperskie.
Krok 2: Otwórz Menedżera SDK NVIDIA zainstalowanego w systemie Ubuntu
Krok 3: Środowisko programistyczne
Ten krok ma na celu potwierdzenie, że masz wszystko pod kontrolą. Sprawdź swój produkt, konfiguracje systemu, wersję SDK i dodatkowe pakiety SDK. Do konfiguracji użyliśmy zestawu Jetson AGX Orin Development Kit, Ubuntu 22.04, JetPack 6.0 i Deep Stream 7.0.
Krok 4: Szczegóły i licencjonowanie
Ten krok służy jako ekran instalacji, zapewniając pobranie i zainstalowanie wszystkich komponentów hosta i komponentów docelowych. W tym miejscu należy również wybrać właściwą lokalizację pobierania. System hosta wymaga 15 GB pamięci masowej, a system docelowy 17 GB.
Krok 5: Proces konfiguracji
Ten krok służy jako okno potwierdzenia, umożliwiające zakończenie konfiguracji. W tym miejscu wybierasz tryb odzyskiwania, określając, czy ma to być ręczny, czy automatyczny tryb wymuszonego odzyskiwania (tryb automatyczny jest przeznaczony dla systemów z wgranym i uruchomionym systemem). W tym miejscu możesz skonfigurować/potwierdzić swój adres IP, dodać nazwę użytkownika i hasło, wybrać konfigurację OEM oraz docelowe urządzenie pamięci masowej. Po ustawieniu wszystkich tych opcji będziesz mógł kliknąć opcję Flash.
Krok 6: Finalizacja podsumowania
Na koniec ten krok uruchomi system. Po tym będziesz mógł uruchomić kod:
jetson-containers run --name ollama $(autotag ollama)
Uruchomienie pierwszej linijki kodu uruchomi Ollama LLM. Ollama to popularna platforma, która ułatwia lokalną konfigurację i rozwój LLM, nawet wewnątrz lub na zewnątrz kontenera. Zawiera wbudowaną bibliotekę modeli z wstępnie skwantyzowanymi wagami i zostanie automatycznie pobrana i uruchomiona w tle za pomocą llama.cpp jako inferencja. Kontener Ollama został skompilowany z obsługą CUDA, dzięki czemu idealnie nadaje się do użycia na Jetson AGX Orin. Następnie, uruchamiając kod:
docker run -it --rm --network=host --add-host=host.docker.internal:host-gateway ghcr.io/open-webui/open-webui:main
Następnie uzyskasz dostęp do Open Web User Interface (OWUI) na adresie IP lub DNS urządzenia na porcie 8080, który będzie pełnić funkcję chatbota. OWUI działa jako wtyczka do API serwera Ollama, ale może również korzystać z wtyczek ChatGPT firmy OpenAI, Llama-3 firmy Meta lub Phi-3 Mini firmy Microsoft.
Mimo niskiego budżetu energii i czasu wygenerowania pierwszego tokena w przypadku większych modeli, platforma jest w stanie zapewnić akceptowalną wydajność po załadowaniu.
Wniosek
Zestaw deweloperski Jetson AGX Orin oferuje znaczną wydajność w kompaktowej obudowie. W miarę jak rozwiązania AI PC zyskują na znaczeniu, platforma Jetson wyróżnia się, zwłaszcza biorąc pod uwagę ograniczenia TOPS procesorów NPU zintegrowanych z nowymi wersjami procesorów. Jetson AGX Orin stanowi solidny krok naprzód dla programistów, szczególnie tych, którzy potrzebują aplikacji natywnych dla architektury ARM, wspomagając walidację i udoskonalanie modeli.
Choć jest to zestaw deweloperski, jego łatwość obsługi i duża moc sprawiają, że stanowi doskonały punkt wyjścia dla firm rozpoczynających przygodę z AI. Platforma Jetson prezentuje ogromny potencjał rozwiązań AI w małych formatach – elegancko zaprojektowana, niezwykle energooszczędna i zdolna do zapewnienia wydajności AI na poziomie 275 TOPS. To połączenie sprawia, że platforma Jetson jest porównywalna ze znacznie większymi serwerami AI montowanymi w szafach rack.
Kompleksowe przewodniki firmy NVIDIA upraszczają proces flashowania i wdrażania różnorodnych modeli AI, a generatywna sztuczna inteligencja to tylko jeden z elementów układanki. Dla firm gotowych do tworzenia i wdrażania sztucznej inteligencji, zestaw deweloperski Jetson AGX Orin oferuje idealne połączenie energooszczędności, niewielkich rozmiarów i wyjątkowej wydajności AI, co czyni go idealnym wyborem do eksploracji i wdrażania technologii AI.
Amazon