Společnost NVIDIA oznámila dostupnost NVIDIA NIM, inferenčních mikroslužeb, které poskytují modely jako optimalizované kontejnery. Tyto mikroslužby umožňují 28 milionům vývojářů na světě snadno vytvářet generativní aplikace s umělou inteligencí. Tyto aplikace lze nasadit v cloudech, datových centrech nebo na pracovních stanicích, což výrazně zkracuje dobu vývoje z týdnů na minuty.
Vzhledem k tomu, že generativní aplikace umělé inteligence se stávají stále složitějšími a často využívají více modelů pro generování textu, obrázků, videa a řeči, zvyšuje NVIDIA NIM produktivitu vývojářů tím, že nabízí standardizovanou metodu pro integraci generativní umělé inteligence do aplikací. NIM umožňuje podnikům maximalizovat investice do infrastruktury, což dokazuje jeho schopnost provozovat Meta Llama 3-8B s až třikrát více tokeny generativní umělé inteligence na akcelerované infrastruktuře než tradiční metody. Toto zvýšení efektivity umožňuje podnikům generovat více odpovědí se stejnými výpočetními zdroji.
Široké přijetí v průmyslu
Téměř 200 technologických partnerů, včetně společností Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI a Synopsys, integruje technologii NVIDIA NIM s cílem urychlit nasazení generativní umělé inteligence pro specifické aplikace, jako jsou kopiloti, asistenti kódu a digitální lidské avatary. Hugging Face také nabízí NIM, počínaje verzí Meta Llama 3.
Jensen Huang, zakladatel a generální ředitel společnosti NVIDIA, zdůraznil dostupnost a dopad NIM a uvedl: „Každý podnik se snaží do svých operací zařadit generativní umělou inteligenci, ale ne každý podnik má specializovaný tým výzkumníků v oblasti umělé inteligence.“ NVIDIA NIM zpřístupňuje generativní umělou inteligenci téměř každé organizaci.
Podniky mohou nasazovat aplikace umělé inteligence pomocí NIM prostřednictvím softwarové platformy NVIDIA AI Enterprise. Od příštího měsíce budou mít členové programu NVIDIA Developer Program bezplatný přístup k NIM pro výzkum, vývoj a testování na jimi preferované infrastruktuře.
Pohon generativní umělé inteligence napříč modalitami
Kontejnery NIM jsou předpřipraveny pro urychlení nasazení modelů pro inferenci akcelerovanou GPU a zahrnují software NVIDIA CUDA, NVIDIA Triton Inference Server a software NVIDIA TensorRT-LLM. Více než 40 modelů, včetně Databricks DBRX, Google Gemma, Meta Llama 3, Microsoft Phi-3 a Mistral Large, je k dispozici jako koncové body NIM na ai.nvidia.com.
Vývojáři mohou přistupovat k mikroslužbám NVIDIA NIM pro modely Meta Llama 3 prostřednictvím platformy Hugging Face AI, což jim umožňuje snadno spouštět Llama 3 NIM pomocí koncových bodů Hugging Face Inference poháněných grafickými procesory NVIDIA.
Rozsáhlá podpora ekosystémů
Poskytovatelé platforem, jako jsou Canonical, Red Hat, Nutanix a VMware, podporují NIM v open-source řešeních KServe nebo v podnikových řešeních. Společnosti zabývající se aplikacemi umělé inteligence, včetně Hippocratic AI, Glean, Kinetica a Redis, nasazují NIM k podpoře generativní inference s využitím umělé inteligence. Přední partneři v oblasti nástrojů pro umělou inteligenci a MLOps, jako jsou Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot a další, integrovali NIM do svých platforem, což vývojářům umožňuje vytvářet a nasazovat doménově specifické generativní aplikace umělé inteligence s optimalizovanou inferencí.
Globální systémoví integrátoři a partneři v oblasti poskytování služeb, jako jsou Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS a Wipro, vyvinuli kompetence NIM, které pomáhají podnikům rychle vyvíjet a nasazovat strategie umělé inteligence v produkci. Podniky mohou provozovat aplikace s podporou NIM na systémech s certifikací NVIDIA od výrobců, jako jsou Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo a Supermicro, a také na serverech od ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron a Wiwynn. Mikroslužby NIM jsou také integrovány do hlavních cloudových platforem, včetně Amazon Web Services, Google Cloud, Azure a Oracle Cloud Infrastructure.
Zavedení v průmyslu a případy použití
Přední společnosti využívají NIM pro různé aplikace napříč odvětvími. Foxconn používá NIM pro doménově specifické LLM v továrnách s umělou inteligencí, chytrých městech a elektromobilech. Pegatron využívá NIM pro Project TaME k podpoře lokálního vývoje LLM pro různá odvětví. Amdocs používá NIM pro LLM pro fakturaci zákazníků, čímž výrazně snižuje náklady a latenci a zároveň zvyšuje přesnost. ServiceNow integruje mikroslužby NIM do svého multimodálního modelu Now AI a poskytuje zákazníkům rychlý a škálovatelný vývoj a nasazení LLM.
dostupnost
Vývojáři mohou experimentovat s mikroslužbami NVIDIA na ai.nvidia.com zdarma. Podniky mohou nasazovat mikroslužby NIM produkční úrovně s NVIDIA AI Enterprise na systémech s certifikací NVIDIA a předních cloudových platformách. Vývojáři, kteří mají zájem o bezplatný přístup k NIM pro výzkum a testování, se mohou zaregistrovat a přístup by měl být k dispozici příští měsíc.
Amazon