NVIDIA 宣布推出 NVIDIA NIM，這是一種推理微服務，可提供模型作為最佳化容器。這些微服務使全球 28 萬名開發人員能夠輕鬆建立生成式 AI 應用程式。這些應用程式可以部署在雲端、資料中心或工作站上，從而將開發時間從幾週縮短到幾分鐘。
NVIDIA 宣布推出 英偉達NIM， 提供模型作為最佳化容器的推理微服務。這些微服務使全球 28 萬名開發人員能夠輕鬆建立生成式 AI 應用程式。這些應用程式可以部署在雲端、資料中心或工作站上，從而將開發時間從幾週縮短到幾分鐘。
隨著生成式AI 應用變得越來越複雜，通常會利用多個模型來生成文字、圖像、視訊和語音，NVIDIA NIM 透過提供將生成式AI 整合到應用程式中的標準化方法來提高開發人員的工作效率。 NIM 使企業能夠最大化其基礎設施投資，其在加速基礎設施上運行 Meta Llama 3-8B 的能力比傳統方法高出三倍，這就是例證。這種效率提升使企業能夠使用相同的運算資源產生更多回應。
廣泛的行業採用
包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和 Synopsys 在內的近 200 家技術合作夥伴正在整合 NVIDIA NIM，以加快副駕駛、代碼助理和數位化身等領域特定應用程式的生成式 AI 部署。 Hugging Face 也提供 NIM，從 Meta Llama 3 開始。
NVIDIA 創辦人兼執行長黃仁勳強調了NIM 的可及性和影響力，他表示：「每個企業都希望將生成式AI 添加到其營運中，但並非每個企業都有專門的AI 研究人員團隊。 NVIDIA NIM 幾乎讓每個組織都可以使用生成式 AI。
企業可以透過 NVIDIA AI Enterprise 軟體平台使用 NIM 部署 AI 應用程式。從下個月開始，NVIDIA 開發者計畫的成員可以免費存取 NIM，在他們喜歡的基礎設施上進行研究、開發和測試。
跨模式為生成式人工智慧提供動力
NIM 容器經過預先構建，可加速 GPU 加速推理的模型部署，其中包括 NVIDIA CUDA 軟體、NVIDIA Triton 推理伺服器和 NVIDIA TensorRT-LLM 軟體。超過 40 個模型，包括 Databricks DBRX、Google 的 Gemma、Meta Llama 3、Microsoft Phi-3 和 Mistral Large，可作為 ai.nvidia.com 上的 NIM 端點使用。
開發人員可以透過 Hugging Face AI 平台存取適用於 Meta Llama 3 型號的 NVIDIA NIM 微服務，使他們能夠使用由 NVIDIA GPU 提供支援的 Hugging Face Inference Endpoints 輕鬆運行 Llama 3 NIM。
廣泛的生態系統支持
Canonical、Red Hat、Nutanix 和 VMware 等平台供應商在開源 KServe 或企業解決方案上支援 NIM。包括 Hippocratic AI、Glean、Kinetica 和 Redis 在內的 AI 應用公司正在部署 NIM 來支援生成式 AI 推理。 Amazon SageMaker、Microsoft Azure AI、Dataiku、DataRobot 等領先的 AI 工具和 MLOps 合作夥伴已將 NIM 嵌入到其平台中，使開發人員能夠建置和部署具有最佳化推理功能的特定領域的生成式 AI 應用程式。
Accenture、Deloitte、Infosys、Latentview、Quantiphi、SoftServe、TCS 和 Wipro 等全球系統整合商和服務交付合作夥伴已開發 NIM 能力，協助企業快速開發和部署生產 AI 策略。企業可以在 Cisco、Dell Technologies、Hewlett-Packard Enterprise、Lenovo 和 Supermicro 等製造商的 NVIDIA 認證系統以及 ASRock Rack、ASUS、GIGABYTE、Ingrasys、Inventec、Pegatron、 QCT、緯創資通和緯穎科技。 NIM 微服務也整合到主要雲端平台中，包括 Amazon Web Services、Google Cloud、Azure 和 Oracle Cloud Infrastructure。
產業採用和用例
領先的公司正在將 NIM 用於跨行業的各種應用。富士康將 NIM 用於人工智慧工廠、智慧城市和電動汽車領域特定領域的法學碩士。和碩聯合 NIM 進行 TaME 項目，推動各行業的本地法學碩士發展。 Amdocs 使用 NIM 進行客戶計費 LLM，大幅降低成本和延遲，同時提高準確性。 ServiceNow 將 NIM 微服務整合到其 Now AI 多模式模型中，為客戶提供快速且可擴展的 LLM 開發和部署。
庫存情況
開發人員可以在以下位置嘗試 NVIDIA 微服務： ai.nvidia.com 免費。企業可以透過 NVIDIA AI Enterprise 在 NVIDIA 認證的系統和領先的雲端平台上部署生產級 NIM 微服務。有興趣免費訪問 NIM 進行研究和測試的開發人員可以註冊訪問，預計下個月提供。
參與 StorageReview
電子報 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | 的TikTok | RSS訂閱
