A NVIDIA anunciou a disponibilidade do NVIDIA NIM, microsserviços de inferência que fornecem modelos como contêineres otimizados. Esses microsserviços permitem que os 28 milhões de desenvolvedores do mundo criem aplicativos de IA generativa com facilidade. Esses aplicativos podem ser implantados em nuvens, data centers ou estações de trabalho, reduzindo significativamente o tempo de desenvolvimento de semanas para minutos.
À medida que os aplicativos de IA generativa se tornam cada vez mais complexos, muitas vezes utilizando vários modelos para gerar texto, imagens, vídeo e fala, o NVIDIA NIM aumenta a produtividade do desenvolvedor, oferecendo um método padronizado para integrar IA generativa em aplicativos. O NIM permite que as empresas maximizem seus investimentos em infraestrutura, exemplificado por sua capacidade de executar o Meta Llama 3-8B com até três vezes mais tokens de IA generativos em infraestrutura acelerada do que os métodos tradicionais. Esse aumento de eficiência permite que as empresas gerem mais respostas com os mesmos recursos computacionais.
Ampla adoção pela indústria
Quase 200 parceiros de tecnologia, incluindo Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI e Synopsys, estão integrando o NVIDIA NIM para agilizar implantações de IA generativa para aplicações específicas de domínio, como copilotos, assistentes de código e avatares humanos digitais. Hugging Face também oferece NIM, começando com Meta Llama 3.
Jensen Huang, fundador e CEO da NVIDIA, enfatizou a acessibilidade e o impacto do NIM, afirmando: “Todas as empresas procuram adicionar IA generativa às suas operações, mas nem todas as empresas têm uma equipe dedicada de pesquisadores de IA”. O NVIDIA NIM disponibiliza IA generativa para quase todas as organizações.
As empresas podem implantar aplicativos de IA usando NIM por meio da plataforma de software NVIDIA AI Enterprise. A partir do próximo mês, os membros do NVIDIA Developer Program poderão acessar o NIM gratuitamente para pesquisa, desenvolvimento e testes em sua infraestrutura preferida.
Potenciando IA generativa em todas as modalidades
Os contêineres NIM são pré-construídos para acelerar a implantação de modelos para inferência acelerada por GPU e incluem software NVIDIA CUDA, servidor de inferência NVIDIA Triton e software NVIDIA TensorRT-LLM. Mais de 40 modelos, incluindo Databricks DBRX, Gemma do Google, Meta Llama 3, Microsoft Phi-3 e Mistral Large, estão disponíveis como endpoints NIM em ai.nvidia.com.
Os desenvolvedores podem acessar microsserviços NVIDIA NIM para modelos Meta Llama 3 por meio da plataforma Hugging Face AI, permitindo que executem o Llama 3 NIM com facilidade usando endpoints de inferência Hugging Face alimentados por GPUs NVIDIA.
Amplo suporte ao ecossistema
Provedores de plataformas como Canonical, Red Hat, Nutanix e VMware oferecem suporte a NIM em KServe de código aberto ou soluções corporativas. Empresas de aplicações de IA, incluindo Hippocratic AI, Glean, Kinetica e Redis, estão implantando NIM para potencializar a inferência generativa de IA. As principais ferramentas de IA e parceiros de MLOps, como Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot e outros, incorporaram NIM em suas plataformas, permitindo que os desenvolvedores criem e implantem aplicativos de IA generativos específicos de domínio com inferência otimizada.
Integradores de sistemas globais e parceiros de prestação de serviços como Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS e Wipro desenvolveram competências NIM para ajudar as empresas a desenvolver e implantar rapidamente estratégias de IA de produção. As empresas podem executar aplicativos habilitados para NIM em sistemas certificados pela NVIDIA de fabricantes como Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo e Supermicro, bem como em servidores da ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron e Wiwynn. Os microsserviços NIM também são integrados às principais plataformas de nuvem, incluindo Amazon Web Services, Google Cloud, Azure e Oracle Cloud Infrastructure.
Adoção da indústria e casos de uso
As empresas líderes estão aproveitando o NIM para diversas aplicações em todos os setores. A Foxconn usa NIM para LLMs de domínio específico em fábricas de IA, cidades inteligentes e veículos elétricos. A Pegatron emprega NIM para o Projeto TaME para promover o desenvolvimento local de LLM para vários setores. A Amdocs usa NIM para um LLM de faturamento de clientes, reduzindo significativamente os custos e a latência e, ao mesmo tempo, melhorando a precisão. A ServiceNow integra microsserviços NIM em seu modelo multimodal Now AI, fornecendo aos clientes desenvolvimento e implantação de LLM rápidos e escaláveis.
Disponibilidade
Os desenvolvedores podem experimentar os microsserviços da NVIDIA em ai.nvidia.com gratuitamente. As empresas podem implantar microsserviços NIM de nível de produção com o NVIDIA AI Enterprise em sistemas certificados pela NVIDIA e nas principais plataformas de nuvem. Os desenvolvedores interessados em acesso gratuito ao NIM para pesquisa e testes podem se cadastrar para obter acesso, que deverá estar disponível no próximo mês.
Amazon