NVIDIA har tillkännagett tillgängligheten av NVIDIA NIM, slutledningsmikrotjänster som tillhandahåller modeller som optimerade behållare. Dessa mikrotjänster gör det möjligt för världens 28 miljoner utvecklare att enkelt bygga generativa AI-applikationer. Dessa applikationer kan distribueras på moln, datacenter eller arbetsstationer, vilket avsevärt minskar utvecklingstiden från veckor till minuter.
NVIDIA har meddelat tillgängligheten av NVIDIA NIM, slutledningsmikrotjänster som tillhandahåller modeller som optimerade behållare. Dessa mikrotjänster gör det möjligt för världens 28 miljoner utvecklare att enkelt bygga generativa AI-applikationer. Dessa applikationer kan distribueras på moln, datacenter eller arbetsstationer, vilket avsevärt minskar utvecklingstiden från veckor till minuter.
När generativa AI-applikationer blir allt mer komplexa och ofta använder flera modeller för att generera text, bilder, video och tal, förbättrar NVIDIA NIM utvecklarnas produktivitet genom att erbjuda en standardiserad metod för att integrera generativ AI i applikationer. NIM tillåter företag att maximera sina infrastrukturinvesteringar, exemplifierat av dess förmåga att köra Meta Llama 3-8B med upp till tre gånger fler generativa AI-tokens på accelererad infrastruktur än traditionella metoder. Denna effektivitetsökning gör det möjligt för företag att generera fler svar med samma beräkningsresurser.
Bred industriadoption
Nästan 200 teknikpartners, inklusive Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI och Synopsys, integrerar NVIDIA NIM för att påskynda generativa AI-distributioner för domänspecifika applikationer som copiloter, kodassistenter och digitala mänskliga avatarer. Hugging Face erbjuder också NIM, som börjar med Meta Llama 3.
Jensen Huang, NVIDIAs grundare och VD, betonade NIM:s tillgänglighet och inverkan av NIM och sa: "Varje företag vill lägga till generativ AI till sin verksamhet, men inte alla företag har ett dedikerat team av AI-forskare." NVIDIA NIM gör generativ AI tillgänglig för nästan alla organisationer.
Företag kan distribuera AI-applikationer med hjälp av NIM via NVIDIA AI Enterprise-programvaruplattformen. Från och med nästa månad kan medlemmar i NVIDIA Developer Program få tillgång till NIM gratis för forskning, utveckling och testning på deras föredragna infrastruktur.
Drivning av generativ AI över olika modaliteter
NIM-behållare är förbyggda för att accelerera modelldistribution för GPU-accelererad slutledning och inkluderar NVIDIA CUDA-programvara, NVIDIA Triton Inference Server och NVIDIA TensorRT-LLM-programvara. Över 40 modeller, inklusive Databricks DBRX, Googles Gemma, Meta Llama 3, Microsoft Phi-3 och Mistral Large, finns tillgängliga som NIM-slutpunkter på ai.nvidia.com.
Utvecklare kan komma åt NVIDIA NIM-mikrotjänster för Meta Llama 3-modeller via Hugging Face AI-plattformen, vilket gör att de enkelt kan köra Llama 3 NIM med Hugging Face Inference Endpoints som drivs av NVIDIA GPU:er.
Omfattande ekosystemstöd
Plattformsleverantörer som Canonical, Red Hat, Nutanix och VMware stödjer NIM på KServe- eller företagslösningar med öppen källkod. AI-applikationsföretag, inklusive Hippocratic AI, Glean, Kinetica och Redis, distribuerar NIM för att driva generativ AI-inferens. Ledande AI-verktyg och MLOps-partner som Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot och andra har bäddat in NIM i sina plattformar, vilket gör det möjligt för utvecklare att bygga och distribuera domänspecifika generativa AI-applikationer med optimerad slutledning.
Globala systemintegratörer och serviceleveranspartners som Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS och Wipro har utvecklat NIM-kompetenser för att hjälpa företag att snabbt utveckla och implementera produktions-AI-strategier. Företag kan köra NIM-aktiverade applikationer på NVIDIA-certifierade system från tillverkare som Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo och Supermicro, såväl som på servrar från ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron och Wiwynn. NIM-mikrotjänster är också integrerade i stora molnplattformar, inklusive Amazon Web Services, Google Cloud, Azure och Oracle Cloud Infrastructure.
Branschadoption och användningsfall
Ledande företag utnyttjar NIM för olika tillämpningar inom olika branscher. Foxconn använder NIM för domänspecifika LLM:er i AI-fabriker, smarta städer och elfordon. Pegatron använder NIM för Project TaME för att främja lokal LLM-utveckling för olika branscher. Amdocs använder NIM för en LLM för kundfakturering, vilket avsevärt minskar kostnader och latens samtidigt som noggrannheten förbättras. ServiceNow integrerar NIM-mikrotjänster i sin Now AI multimodala modell, vilket ger kunderna snabb och skalbar LLM-utveckling och distribution.
Tillgänglighet
Utvecklare kan experimentera med NVIDIAs mikrotjänster på ai.nvidia.com utan kostnad. Företag kan distribuera produktionsklassade NIM-mikrotjänster med NVIDIA AI Enterprise på NVIDIA-certifierade system och ledande molnplattformar. Utvecklare som är intresserade av fri tillgång till NIM för forskning och testning kan registrera sig för åtkomst, vilket förväntas bli tillgängligt nästa månad.
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
