NVIDIA a annoncé la disponibilité de NVIDIA NIM, des microservices d'inférence qui fournissent des modèles sous forme de conteneurs optimisés. Ces microservices permettent aux 28 millions de développeurs dans le monde de créer facilement des applications d'IA générative. Ces applications peuvent être déployées sur des cloud, des centres de données ou des postes de travail, réduisant considérablement le temps de développement de quelques semaines à quelques minutes.
NVIDIA a annoncé la disponibilité de NIM NVIDIA, des microservices d'inférence qui fournissent des modèles sous forme de conteneurs optimisés. Ces microservices permettent aux 28 millions de développeurs dans le monde de créer facilement des applications d'IA générative. Ces applications peuvent être déployées sur des cloud, des centres de données ou des postes de travail, réduisant considérablement le temps de développement de quelques semaines à quelques minutes.
Alors que les applications d'IA générative deviennent de plus en plus complexes, utilisant souvent plusieurs modèles pour générer du texte, des images, des vidéos et de la parole, NVIDIA NIM améliore la productivité des développeurs en proposant une méthode standardisée pour intégrer l'IA générative dans les applications. NIM permet aux entreprises de maximiser leurs investissements en infrastructure, comme en témoigne sa capacité à exécuter Meta Llama 3-8B avec jusqu'à trois fois plus de jetons d'IA génératifs sur une infrastructure accélérée que les méthodes traditionnelles. Ce gain d'efficacité permet aux entreprises de générer davantage de réponses avec les mêmes ressources de calcul.
Adoption à grande échelle par l’industrie
Près de 200 partenaires technologiques, dont Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI et Synopsys, intègrent NVIDIA NIM pour accélérer les déploiements d'IA générative pour des applications spécifiques à un domaine telles que les copilotes, les assistants de code et les avatars humains numériques. Hugging Face propose également NIM, à commencer par Meta Llama 3.
Jensen Huang, fondateur et PDG de NVIDIA, a souligné l'accessibilité et l'impact du NIM, déclarant : « Chaque entreprise cherche à ajouter l'IA générative à ses opérations, mais toutes les entreprises ne disposent pas d'une équipe dédiée de chercheurs en IA. » NVIDIA NIM met l'IA générative à la disposition de presque toutes les organisations.
Les entreprises peuvent déployer des applications d'IA à l'aide de NIM via la plateforme logicielle NVIDIA AI Enterprise. À partir du mois prochain, les membres du NVIDIA Developer Program pourront accéder gratuitement à NIM pour la recherche, le développement et les tests sur leur infrastructure préférée.
Alimenter l’IA générative dans toutes les modalités
Les conteneurs NIM sont pré-construits pour accélérer le déploiement de modèles pour l'inférence accélérée par GPU et incluent le logiciel NVIDIA CUDA, le serveur d'inférence NVIDIA Triton et le logiciel NVIDIA TensorRT-LLM. Plus de 40 modèles, dont Databricks DBRX, Gemma de Google, Meta Llama 3, Microsoft Phi-3 et Mistral Large, sont disponibles en tant que points de terminaison NIM sur ai.nvidia.com.
Les développeurs peuvent accéder aux microservices NVIDIA NIM pour les modèles Meta Llama 3 via la plateforme Hugging Face AI, ce qui leur permet d'exécuter facilement Llama 3 NIM à l'aide des points de terminaison d'inférence Hugging Face alimentés par les GPU NVIDIA.
Prise en charge étendue de l'écosystème
Les fournisseurs de plates-formes tels que Canonical, Red Hat, Nutanix et VMware prennent en charge NIM sur les solutions KServe ou d'entreprise open source. Les sociétés d’applications d’IA, notamment Hippocratic AI, Glean, Kinetica et Redis, déploient NIM pour alimenter l’inférence générative d’IA. Les principaux outils d'IA et partenaires MLOps tels qu'Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot et d'autres ont intégré NIM dans leurs plates-formes, permettant aux développeurs de créer et de déployer des applications d'IA générative spécifiques à un domaine avec une inférence optimisée.
Les intégrateurs de systèmes mondiaux et les partenaires de prestation de services comme Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS et Wipro ont développé des compétences NIM pour aider les entreprises à développer et déployer rapidement des stratégies d'IA de production. Les entreprises peuvent exécuter des applications compatibles NIM sur des systèmes certifiés NVIDIA de fabricants tels que Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo et Supermicro, ainsi que sur des serveurs d'ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron et Wiwynn. Les microservices NIM sont également intégrés aux principales plates-formes cloud, notamment Amazon Web Services, Google Cloud, Azure et Oracle Cloud Infrastructure.
Adoption par l'industrie et cas d'utilisation
Les grandes entreprises exploitent NIM pour diverses applications dans tous les secteurs. Foxconn utilise NIM pour les LLM spécifiques à un domaine dans les usines d'IA, les villes intelligentes et les véhicules électriques. Pegatron utilise NIM pour le projet TaME afin de faire progresser le développement local de LLM pour diverses industries. Amdocs utilise NIM pour un LLM de facturation client, réduisant considérablement les coûts et la latence tout en améliorant la précision. ServiceNow intègre les microservices NIM dans son modèle multimodal Now AI, offrant aux clients un développement et un déploiement LLM rapides et évolutifs.
Disponibilité
Les développeurs peuvent expérimenter les microservices NVIDIA sur ai.nvidia.com gratuitement. Les entreprises peuvent déployer des microservices NIM de niveau production avec NVIDIA AI Enterprise sur des systèmes certifiés NVIDIA et des principales plates-formes cloud. Les développeurs intéressés par un accès gratuit à NIM pour la recherche et les tests peuvent s'inscrire pour y accéder, qui devrait être disponible le mois prochain.
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
