存储评论网

NVIDIA NIM 现可通过推理微服务转变 AI 开发

AI  ◇  企业版

NVIDIA 宣布推出NVIDIA NIM,这是一种推理微服务,可将模型以优化容器的形式提供。这些微服务使全球 28 万开发者能够轻松构建生成式 AI 应用。这些应用可以部署在云端、数据中心或工作站上,从而将开发时间从数周大幅缩短至数分钟。

随着生成式 AI 应用变得越来越复杂,通常会利用多个模型来生成文本、图像、视频和语音,NVIDIA NIM 通过提供将生成式 AI 集成到应用程序中的标准化方法来提高开发人员的工作效率。 NIM 使企业能够最大化其基础设施投资,其在加速基础设施上运行 Meta Llama 3-8B 的能力比传统方法高出三倍,这就是例证。这种效率提升使企业能够使用相同的计算资源生成更多响应。

广泛的行业采用

包括 Cadence、Cloudera、Cohesity、DataStax、NetApp、Scale AI 和 Synopsys 在内的近 200 家技术合作伙伴正在集成 NVIDIA NIM,以加快副驾驶、代码助理和数字化身等领域特定应用程序的生成式 AI 部署。 Hugging Face 还提供 NIM,从 Meta Llama 3 开始。

NVIDIA 创始人兼首席执行官黄仁勋强调了 NIM 的可访问性和影响力,他表示:“每个企业都希望将生成式 AI 添加到其运营中,但并非每个企业都有专门的 AI 研究人员团队。” NVIDIA NIM 使几乎每个组织都可以使用生成式 AI。

企业可以通过 NVIDIA AI Enterprise 软件平台使用 NIM 部署 AI 应用程序。从下个月开始,NVIDIA 开发者计划的成员可以免费访问 NIM,在他们喜欢的基础设施上进行研究、开发和测试。

跨模式为生成式人工智能提供动力

NIM 容器经过预先构建,可加速 GPU 加速推理的模型部署,包括 NVIDIA CUDA 软件、NVIDIA Triton 推理服务器和 NVIDIA TensorRT-LLM 软件。超过 40 个模型,包括 Databricks DBRX、Google 的 Gemma、Meta Llama 3、Microsoft Phi-3 和 Mistral Large,可作为 ai.nvidia.com 上的 NIM 端点使用。

开发人员可以通过 Hugging Face AI 平台访问适用于 Meta Llama 3 模型的 NVIDIA NIM 微服务,从而使他们能够使用由 NVIDIA GPU 提供支持的 Hugging Face Inference Endpoints 轻松运行 Llama 3 NIM。

广泛的生态系统支持

Canonical、Red Hat、Nutanix 和 VMware 等平台提供商在开源 KServe 或企业解决方案上支持 NIM。包括 Hippocratic AI、Glean、Kinetica 和 Redis 在内的 AI 应用公司正在部署 NIM 来支持生成式 AI 推理。 Amazon SageMaker、Microsoft Azure AI、Dataiku、DataRobot 等领先的 AI 工具和 MLOps 合作伙伴已将 NIM 嵌入到其平台中,使开发人员能够构建和部署具有优化推理功能的特定领域的生成式 AI 应用程序。

Accenture、Deloitte、Infosys、Latentview、Quantiphi、SoftServe、TCS 和 Wipro 等全球系统集成商和服务交付合作伙伴已开发 NIM 能力,帮助企业快速开发和部署生产 AI 策略。企业可以在 Cisco、Dell Technologies、Hewlett-Packard Enterprise、Lenovo 和 Supermicro 等制造商的 NVIDIA 认证系统以及 ASRock Rack、ASUS、GIGABYTE、Ingrasys、Inventec、Pegatron、 QCT、纬创资通和纬颖科技。 NIM 微服务还集成到主要云平台中,包括 Amazon Web Services、Google Cloud、Azure 和 Oracle Cloud Infrastructure。

行业采用和用例

领先的公司正在将 NIM 用于跨行业的各种应用。富士康将 NIM 用于人工智能工厂、智能城市和电动汽车领域特定领域的法学硕士。和硕联合 NIM 开展 TaME 项目,推动各行业本地法学硕士的发展。 Amdocs 使用 NIM 进行客户计费 LLM,显着降低成本和延迟,同时提高准确性。 ServiceNow 将 NIM 微服务集成到其 Now AI 多模式模型中,为客户提供快速且可扩展的 LLM 开发和部署。

可用性

开发者可以免费在ai.nvidia.com上体验 NVIDIA 微服务。企业可以使用 NVIDIA AI Enterprise 在 NVIDIA 认证的系统和主流云平台上部署生产级 NIM 微服务。有兴趣免费访问 NIM 进行研究和测试的开发者可以注册,预计下个月即可获得访问权限。

参与 StorageReview

电子报| YouTube | 播客iTunes / Spotify | Instagram | Twitter | TikTok | RSS订阅

哈罗德弗里茨

自 IBM 创建 Selectric 以来,我一直在科技行业工作。 不过,我的背景是写作。 因此,我决定退出售前业务,回归本源,从事一些写作工作,但仍从事技术工作。