NVIDIA ha annunciato la disponibilità di NVIDIA NIM, microservizi di inferenza che forniscono modelli come contenitori ottimizzati. Questi microservizi consentono ai 28 milioni di sviluppatori di tutto il mondo di creare facilmente applicazioni di intelligenza artificiale generativa. Queste applicazioni possono essere distribuite su cloud, data center o workstation, riducendo significativamente i tempi di sviluppo da settimane a minuti.
NVIDIA ha annunciato la disponibilità di NIM NVIDIA, microservizi di inferenza che forniscono modelli come contenitori ottimizzati. Questi microservizi consentono ai 28 milioni di sviluppatori di tutto il mondo di creare facilmente applicazioni di intelligenza artificiale generativa. Queste applicazioni possono essere distribuite su cloud, data center o workstation, riducendo significativamente i tempi di sviluppo da settimane a minuti.
Poiché le applicazioni di intelligenza artificiale generativa diventano sempre più complesse, spesso utilizzando più modelli per la generazione di testo, immagini, video e parlato, NVIDIA NIM migliora la produttività degli sviluppatori offrendo un metodo standardizzato per l'integrazione dell'intelligenza artificiale generativa nelle applicazioni. NIM consente alle aziende di massimizzare i propri investimenti infrastrutturali, esemplificato dalla sua capacità di eseguire Meta Llama 3-8B con token AI fino a tre volte più generativi su un'infrastruttura accelerata rispetto ai metodi tradizionali. Questo aumento di efficienza consente alle aziende di generare più risposte con le stesse risorse di elaborazione.
Ampia adozione da parte del settore
Quasi 200 partner tecnologici, tra cui Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI e Synopsys, stanno integrando NVIDIA NIM per accelerare le implementazioni di intelligenza artificiale generativa per applicazioni specifiche del dominio come copiloti, assistenti di codice e avatar umani digitali. Hugging Face offre anche NIM, a partire da Meta Llama 3.
Jensen Huang, fondatore e CEO di NVIDIA, ha sottolineato l'accessibilità e l'impatto del NIM, affermando: "Ogni azienda sta cercando di aggiungere l'intelligenza artificiale generativa alle proprie operazioni, ma non tutte le aziende hanno un team dedicato di ricercatori sull'intelligenza artificiale". NVIDIA NIM rende l'intelligenza artificiale generativa disponibile per quasi tutte le organizzazioni.
Le aziende possono implementare applicazioni AI utilizzando NIM tramite la piattaforma software NVIDIA AI Enterprise. A partire dal mese prossimo, i membri del Programma per sviluppatori NVIDIA potranno accedere gratuitamente a NIM per ricerca, sviluppo e test sulla loro infrastruttura preferita.
Potenziare l'intelligenza artificiale generativa in tutte le modalità
I contenitori NIM sono precostruiti per accelerare l'implementazione del modello per l'inferenza accelerata dalla GPU e includono il software NVIDIA CUDA, NVIDIA Triton Inference Server e il software NVIDIA TensorRT-LLM. Oltre 40 modelli, tra cui Databricks DBRX, Gemma di Google, Meta Llama 3, Microsoft Phi-3 e Mistral Large, sono disponibili come endpoint NIM su ai.nvidia.com.
Gli sviluppatori possono accedere ai microservizi NVIDIA NIM per i modelli Meta Llama 3 tramite la piattaforma AI Hugging Face, consentendo loro di eseguire Llama 3 NIM con facilità utilizzando gli endpoint di inferenza Hugging Face basati su GPU NVIDIA.
Ampio supporto dell’ecosistema
I fornitori di piattaforme come Canonical, Red Hat, Nutanix e VMware supportano NIM su Kserve open source o soluzioni aziendali. Le società di applicazioni IA, tra cui Hippocratic AI, Glean, Kinetica e Redis, stanno implementando NIM per potenziare l'inferenza IA generativa. I principali strumenti di intelligenza artificiale e partner MLOps come Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot e altri hanno incorporato NIM nelle loro piattaforme, consentendo agli sviluppatori di creare e distribuire applicazioni di intelligenza artificiale generativa specifiche del dominio con inferenza ottimizzata.
Integratori di sistemi globali e partner di fornitura di servizi come Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS e Wipro hanno sviluppato competenze NIM per aiutare le aziende a sviluppare e implementare rapidamente strategie di intelligenza artificiale di produzione. Le aziende possono eseguire applicazioni abilitate NIM su sistemi certificati NVIDIA di produttori come Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo e Supermicro, nonché su server di ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron, QCT, Wistron e Wiwynn. I microservizi NIM sono inoltre integrati nelle principali piattaforme cloud, tra cui Amazon Web Services, Google Cloud, Azure e Oracle Cloud Infrastructure.
Adozione del settore e casi d'uso
Le aziende leader stanno sfruttando il NIM per diverse applicazioni in tutti i settori. Foxconn utilizza NIM per LLM specifici del dominio nelle fabbriche di intelligenza artificiale, nelle città intelligenti e nei veicoli elettrici. Pegatron utilizza NIM per il progetto TaME per promuovere lo sviluppo LLM locale per vari settori. Amdocs utilizza NIM per un LLM di fatturazione dei clienti, riducendo significativamente i costi e la latenza e migliorando al tempo stesso la precisione. ServiceNow integra i microservizi NIM all'interno del suo modello multimodale Now AI, fornendo ai clienti uno sviluppo e un'implementazione LLM rapidi e scalabili.
Disponibilità
Gli sviluppatori possono sperimentare i microservizi NVIDIA su ai.nvidia.com senza alcun costo. Le aziende possono implementare microservizi NIM di livello produttivo con NVIDIA AI Enterprise su sistemi certificati NVIDIA e piattaforme cloud leader. Gli sviluppatori interessati all'accesso gratuito a NIM per la ricerca e i test possono registrarsi per l'accesso, che dovrebbe essere disponibile il mese prossimo.
Interagisci con StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
