Na vanguarda da IA de ponta, o Jetson Orin Nano Super Developer Kit da NVIDIA oferece uma solução robusta para aplicativos de IA fora do data center tradicional. É uma ferramenta poderosa e acessível para entusiastas e profissionais de IA.
O Jetson Orin Nano Super é uma potência de computação compacta que traz recursos sofisticados de IA para dispositivos de ponta. Ele combina desempenho com acessibilidade e opções de integração sólidas, tornando-o um candidato ideal para prototipagem e desenvolvimento de produtos comerciais. Seja empregado em kits de robótica ou integrado em máquinas maiores, seu design flexível permite que engenheiros implantem IA em cenários que exigem eficiência e baixo consumo de energia – por apenas US$ 249.
A plataforma Jetson é projetada especificamente para implantações de ponta, garantindo que projetos em ambientes com espaço ou energia limitados ainda possam aproveitar o desempenho de IA de ponta. Com um fator de forma escalável e opções de conectividade extensivas, ela fornece um gateway para soluções inovadoras em robótica, vigilância inteligente e até mesmo conservação da vida selvagem.
A Jetson Orin Nano Super é bem conhecido por construir projetos que exigem IA na ponta, seja em kits de robótica tradicionais usando programação clássica ou em configurações mais avançadas com frameworks como ROS (Robot Operating System). Sua disponibilidade como um kit de desenvolvedor completo e uma placa-filha SoC autônoma permite integração perfeita em uma ampla gama de produtos e máquinas. Essa versatilidade o torna popular para aplicações que vão desde projetos educacionais de pequena escala até implantações industriais em grande escala.
Especificações do kit de super revelador Jetson Orin Nano
O Jetson Orin Nano Super reúne recursos impressionantes em um formato compacto. A CPU Arm Cortex-A6AE de 78 núcleos cria uma base sólida para computação, enquanto a GPU NVIDIA Ampere de 1024 núcleos com Tensor Cores acelera várias cargas de trabalho, incluindo tarefas de aprendizado profundo e visão computacional. Com 67 TOPS (Tera Operations Per Second) de desempenho de IA e memória LPDDR8 de 5 GB de alta largura de banda, esta plataforma foi projetada para executar operações complexas na borda.
| Especificação | Detalhes |
|---|---|
| CPU | CPU Arm Cortex-A6AE v78 de 8.2 núcleos de 64 bits, 3 MB L2 + 4 MB L3 |
| GPU | GPU de arquitetura NVIDIA Ampere de 1024 núcleos com 32 núcleos Tensor |
| Desempenho de IA | 67 TOPS |
| Memória | 8 GB LPDDR128 de 5 bits 102 GB/s |
| Armazenamento | Suporte para SSD NVMe M.16 Key M de 5.1 GB eMMC 2, microSD 1x slot M.2 Key M com x4 PCIe Gen3 1x slot M.2 Key M com x2 PCIe Gen3 |
| Networking | Ethernet Gigabit 1x |
| Ecrã | 1x HDMI, 1x eDP 1.4 |
| Conectividade | 4x Portas USB 3.2 Tipo A, 1x Porta USB Tipo C |
| Entrada de energia | DC Barrel Jack aceita alimentação de 7 V a 20 V |
| Câmara | 2x Conectores de Câmera MIPI CSI |
| Expansão | Cabeçalhos de expansão GPIO de 40 pinos |
| Consumo de energia | 7W – 25W configurável |
| Sistema Operacional | Linux baseado em Ubuntu com NVIDIA JetPack SDK |
| Dimensões | 103mm x 90.5mm x 34.77mm |
As opções de conectividade são abundantes, tornando o Nano Super altamente versátil para inúmeras aplicações. Quatro portas USB 3.2 Tipo A e uma porta USB Tipo C permitem que você conecte facilmente uma variedade de periféricos, de dispositivos de armazenamento externo a dispositivos de entrada ou sensores. O Gigabit Ethernet integrado garante uma rede confiável, enquanto os conectores de câmera MIPI CSI duplos permitem a integração de duas câmeras. Esse recurso é particularmente benéfico para aplicações que exigem percepção de profundidade, essencial em robótica e sistemas autônomos onde o mapeamento ambiental preciso é crítico.
Os recursos de armazenamento incluem 16 GB eMMC 5.1, microSD e suporte dual M.2 NVMe SSD por meio de slots dedicados com conectividade PCIe Gen3. Isso fornece amplo armazenamento para sistemas operacionais, software e conjuntos de dados e suporta transferências de dados de alta velocidade necessárias para análises em tempo real e tarefas de inferência de IA. Além disso, incluir interfaces HDMI e eDP 1.4 permite que o Nano Super suporte monitores, tornando-o ideal para aplicações do tipo quiosque ou sinalização digital.
Levando o Nano Super ao seu Limite: Inferência LLM na Borda
Nosso trabalho com o Nano Super se concentrou em explorar seu potencial para executar tarefas de desenvolvimento de IA, especificamente inferência de modelo de linguagem grande (LLM). Reconhecemos que as limitações de memória onboard desafiam a execução de modelos com bilhões de parâmetros, então implementamos uma abordagem inovadora para contornar essas restrições. Normalmente, os 8 GB de memória gráfica do Nano Super restringem sua capacidade a modelos menores, mas nosso objetivo era executar um modelo 45 vezes maior do que o que tradicionalmente caberia.
Atualizamos o armazenamento do Nano Super integrando o recém-lançado SSD Solidigm D5-P5336 122.88 TB, uma unidade NVMe de ultra-alta capacidade projetada para ambientes de data center, para dar suporte à tarefa ambiciosa.
A SSD Solidigm 122 TB D5-P5336 é uma solução de armazenamento inovadora para cargas de trabalho intensivas em dados, particularmente em IA e data centers. Aqui estão as especificações detalhadas:
- Capacidade: 122.88TB
- Inovadora: NAND de célula de quatro níveis (QLC)
- Interface: PCIe x4 de 4ª geração
- Desempenho: Até 15% melhor em cargas de trabalho com uso intensivo de dados em comparação aos modelos anteriores
- Fator de Forma: U.2 Aproximadamente o tamanho de um baralho de cartas
- Casos de uso: Ideal para treinamento de IA, coleta de dados, captura de mídia e transcodificação
Métricas de Desempenho
- Velocidades de leitura / gravação sequenciais: Até 7.1 GB/s (leitura) e 3.3 GB/s (gravação)
- Desempenho aleatório: Até 1,269,000 IOPS
Métricas de vida útil
- resistencia: O SSD Solidigm 122TB foi projetado para cargas de trabalho com uso intensivo de dados e oferece uma classificação de alta resistência. Você pode usar o Estimador de resistência SSD Solidigm para calcular a vida útil esperada com base em cargas de trabalho específicas.
Métricas de potência
- TB por watt=122 TB25 W=4.88 TB/WTB por watt=25 W122 TB=4.88 TB/W. Com essas métricas de energia, esta unidade oferece aproximadamente 4.88 terabytes de armazenamento por watt de energia consumida, destacando sua eficiência para aplicativos com uso intensivo de dados.
O Nano Super inclui dois compartimentos M.2 NVMe, que testamos como parte desta análise. Ambos os slots oferecem uma conexão PCIe Gen3, com um slot de 30 mm suportando 2 pistas PCIe e um slot de 80 mm suportando 4 pistas PCIe completas. Usamos o slot de 80 mm emparelhado com um cabo breakout para conduzir a maior largura de banda para o SSD Solidigm D5-P5336 122 TB QLC. Nosso cabo de alimentação USB-C não estava pronto para a demonstração, então usamos uma fonte de alimentação ATX que forneceu 12 V e 3.3 V para a unidade U.2.
O resultado foi uma solução de armazenamento superpoderosa que nos permitiu gerenciar modelos massivos e destacou o papel do armazenamento robusto em fluxos de trabalho de IA de ponta. Essa configuração nos permitiu armazenar e transportar a maioria dos modelos populares da Hugging Face, mantendo ainda amplo espaço extra.
Como executamos o DeepSeek R1 70B Distilled, um modelo 45 vezes maior do que o esperado, para tal dispositivo? Para atingir esse feito, usamos AirLLM, um projeto que carrega sequencialmente camadas de modelo na memória conforme necessário, em vez de carregar todo o conjunto de pesos de uma vez. Essa abordagem camada por camada nos permitiu realizar inferência em um modelo que excede em muito as limitações de VRAM do dispositivo. Há um porém: o desempenho de computação. Em termos de desempenho de armazenamento, na conexão PCIe 4 de 3 vias, o NVIDIA Orin Nano pode extrair até cerca de 2.5 GB/s do SSD QLC Solidigm D122-P5 de 5336 TB. Com nossa carga de trabalho de inferência operando no SSD QLC, as velocidades de leitura giraram em torno de 1.7 GB/s.
Embora tenhamos contornado com sucesso as limitações da VRAM, ainda estávamos presos a 67 TOPS de desempenho. Além disso, conforme o tamanho do modelo se expande, o tamanho da camada também aumenta, o que significa que o tempo por token aumenta. Então, passamos de alguns tokens por segundo com LLMs menores, como ChatGLM3-6B, para um a cada 4.5 minutos com DeepSeek R1 70B Distilled.
Aplicações práticas de grande armazenamento e IA de ponta
Embora nosso experimento LLM tenha sido mais uma prova de conceito, combinar o Jetson Orin Nano Super e uma unidade Solidigm de alta capacidade tem aplicações práticas. O fator de forma semelhante ao SODIMM do Jetson facilita a integração em PCBs personalizados, tornando a conexão de unidades U.2 de nível empresarial mais direta e plausível. Essa configuração beneficia implantações de IA de longo prazo e baixo consumo de energia em ambientes remotos ou sensíveis.
A IA está sendo cada vez mais usada na conservação da vida selvagem. Em um artigo anterior, discutimos como a IA está ajudando a rastrear populações de ouriços. Da mesma forma, nações indígenas na Colúmbia Britânica estão usando IA para monitorar populações de peixes. Essas instalações geralmente precisam operar sem perturbações por anos, exigindo grandes capacidades de armazenamento, baixo consumo de energia e mínima interrupção física do ambiente. Uma solução baseada no Jetson Orin Nano Super com uma unidade de alta capacidade pode atender a essas necessidades consumindo apenas 15 W (ou 50 W no desempenho máximo). Com baterias de reserva e um pequeno painel solar, essa configuração pode ter o tamanho de um telefone de mesa padrão, tornando-a despretensiosa e prática para uso a longo prazo.
Outro caso de uso intrigante é usar o sistema como um grande repositório local para distribuição de modelos. Ao baixar centenas de modelos do Hugging Face, notamos que nem todos os modelos eram iguais. Modelos mais populares foram baixados mais rápido do que os mais antigos ou menos populares. No entanto, todos os downloads são tipicamente muito lentos na borda, mesmo com o Starlink. Nesses casos, um pacote como o Nano Super, equipado com uma NIC adicional e uma unidade de grande capacidade, serviria perfeitamente como um cache ou armazenamento intermediário para redistribuir modelos de forma eficiente na borda.
Casos de uso amplos
Aqui estão alguns casos de uso convincentes para aproveitar um dispositivo NVIDIA Jetson com capacidade de armazenamento substancial:
- Veículos Autônomos: Armazenamento e processamento de grandes quantidades de dados de sensores e câmeras em tempo real para navegação e detecção de obstáculos.
- Vigilância Inteligente: Gerenciamento de feeds de vídeo de alta resolução de várias câmeras para fins de segurança e monitoramento, com a capacidade de armazenar e analisar imagens localmente.
- Diagnóstico de Saúde: Processamento e armazenamento em tempo real de dados de imagens médicas para diagnósticos imediatos e decisões de tratamento em ambientes remotos ou com recursos limitados.
- Automação Industrial: Aprimorando a automação de fábrica com controle de qualidade e manutenção preditiva orientados por IA, armazenando grandes conjuntos de dados para análise e treinamento de modelos.
- Análise de varejo: Analisar o comportamento do cliente e dados de estoque em tempo real para otimizar os níveis de estoque e melhorar a experiência de compra.
- Monitoramento Ambiental: Usando IA para rastrear e analisar dados ecológicos, como qualidade do ar e da água, para apoiar esforços de conservação e iniciativas de saúde pública.
- Agricultura Inteligente: Monitoramento da saúde das culturas e das condições do solo usando sensores e câmeras com tecnologia de IA para otimizar práticas agrícolas e aumentar a produtividade.
- Telecomunicações: Gerenciando e processando dados em torres de celular para melhorar o desempenho da rede e reduzir a latência.
Conclusão: Encontrando seu lugar na família Jetson
O Jetson Orin Nano Super fica no ponto ideal da linha Jetson da NVIDIA, oferecendo um equilíbrio entre alto desempenho e eficiência energética para tarefas de IA de ponta. A família Jetson varia de modelos básicos como o Jetson Nano, projetado para aplicações básicas de IA e robótica, ao poderoso Jetson AGX Orin, que oferece até 275 TOPS para cargas de trabalho de máquinas autônomas exigentes. No meio, o Jetson Orin Nano Super oferece perfis flexíveis de desempenho e potência, atendendo a desenvolvedores que precisam de mais potência sem o volume de uma plataforma AGX total.
A linha de SSDs QLC da Solidigm oferece uma variedade de soluções de armazenamento de alta capacidade projetadas para cargas de trabalho de leitura intensiva. A linha inclui modelos como o D5-P5336, com até 122.88 TB de armazenamento e capacidades de unidade menores a partir de 7.68 TB. Esses SSDs são otimizados para desempenho, densidade e eficiência de custo, tornando-os ideais para aplicações como redes de entrega de conteúdo, IA, pipelines de dados e armazenamento de objetos. Com a tecnologia QLC, os SSDs Solidigm oferecem capacidade de armazenamento substancial, mantendo forte desempenho de leitura e confiabilidade comprovada.
A capacidade do Nano Super de trazer recursos de IA sérios para ambientes compactos e com restrição de energia o destaca. Enquanto o Jetson Nano original era o favorito para amadores e tarefas leves de IA, o Nano Super eleva isso ao fornecer 67 TOPS — o suficiente para lidar com inferência LLM complexa e outros aplicativos de IA exigentes. Isso o torna uma opção atraente para desenvolvedores que buscam implantar modelos de IA sofisticados na borda sem a sobrecarga de sistemas maiores e que consomem mais energia. Emparelhado com uma oferta QLC de alta capacidade, como o SSD Solidigm D122-P5 de 5336 TB, ele permite que os locais de borda operem com uma ampla gama de modelos de IA e sem restrições de capacidade que exijam que o armazenamento seja trocado após o provisionamento.
O Nano Super custa US$ 249. Embora seja mais caro do que um Raspberry Pi, ele oferece desempenho significativamente melhor e inclui todos os componentes necessários. O dissipador de calor, equipado com um ventilador, permite que você opere com potência máxima, mesmo em um gabinete impresso em 3D mal ventilado. Ele também vem com um adaptador de energia, o que o torna ideal para aqueles interessados em IA.
A StorageReview agradece à equipe da Solidigm pelo novo SSD D122-P5 de 5336 TB. A capacidade e a velocidade deste drive nos permitiram concluir boa parte dos testes.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
