NVIDIA hat die Verfügbarkeit von NVIDIA NIM angekündigt, Inferenz-Mikrodiensten, die Modelle als optimierte Container bereitstellen. Diese Microservices ermöglichen den 28 Millionen Entwicklern weltweit die einfache Erstellung generativer KI-Anwendungen. Diese Anwendungen können in Clouds, Rechenzentren oder Workstations bereitgestellt werden, wodurch die Entwicklungszeit erheblich von Wochen auf Minuten verkürzt wird.
NVIDIA hat die Verfügbarkeit von angekündigt NVIDIA NIM, Inferenz-Microservices, die Modelle als optimierte Container bereitstellen. Diese Microservices ermöglichen den 28 Millionen Entwicklern weltweit die einfache Erstellung generativer KI-Anwendungen. Diese Anwendungen können in Clouds, Rechenzentren oder Workstations bereitgestellt werden, wodurch die Entwicklungszeit erheblich von Wochen auf Minuten verkürzt wird.
Da generative KI-Anwendungen immer komplexer werden und oft mehrere Modelle zur Generierung von Text, Bildern, Videos und Sprache nutzen, steigert NVIDIA NIM die Entwicklerproduktivität, indem es eine standardisierte Methode zur Integration generativer KI in Anwendungen bietet. Mit NIM können Unternehmen ihre Infrastrukturinvestitionen maximieren. Dies zeigt sich beispielsweise in der Fähigkeit, Meta Llama 3-8B mit bis zu dreimal mehr generativen KI-Tokens auf einer beschleunigten Infrastruktur als herkömmliche Methoden auszuführen. Diese Effizienzsteigerung ermöglicht es Unternehmen, mit den gleichen Rechenressourcen mehr Antworten zu generieren.
Breite Akzeptanz in der Industrie
Fast 200 Technologiepartner, darunter Cadence, Cloudera, Cohesity, DataStax, NetApp, Scale AI und Synopsys, integrieren NVIDIA NIM, um generative KI-Bereitstellungen für domänenspezifische Anwendungen wie Copiloten, Code-Assistenten und digitale menschliche Avatare zu beschleunigen. Hugging Face bietet auch NIM an, beginnend mit Meta Llama 3.
Jensen Huang, Gründer und CEO von NVIDIA, betonte die Zugänglichkeit und Wirkung von NIM durch NIM und erklärte: „Jedes Unternehmen möchte generative KI in seinen Betrieb integrieren, aber nicht jedes Unternehmen verfügt über ein engagiertes Team von KI-Forschern.“ NVIDIA NIM macht generative KI für nahezu jedes Unternehmen verfügbar.
Unternehmen können KI-Anwendungen mithilfe von NIM über die NVIDIA AI Enterprise-Softwareplattform bereitstellen. Ab nächsten Monat können Mitglieder des NVIDIA-Entwicklerprogramms kostenlos auf NIM zugreifen, um auf ihrer bevorzugten Infrastruktur zu forschen, zu entwickeln und zu testen.
Förderung generativer KI über alle Modalitäten hinweg
NIM-Container sind vorgefertigt, um die Modellbereitstellung für GPU-beschleunigte Inferenz zu beschleunigen, und umfassen NVIDIA CUDA-Software, NVIDIA Triton Inference Server und NVIDIA TensorRT-LLM-Software. Über 40 Modelle, darunter Databricks DBRX, Googles Gemma, Meta Llama 3, Microsoft Phi-3 und Mistral Large, sind als NIM-Endpunkte auf ai.nvidia.com verfügbar.
Entwickler können über die Hugging Face AI-Plattform auf NVIDIA NIM-Microservices für Meta Llama 3-Modelle zugreifen und so Llama 3 NIM mithilfe von Hugging Face Inference Endpoints mit NVIDIA-GPUs problemlos ausführen.
Umfangreiche Ökosystemunterstützung
Plattformanbieter wie Canonical, Red Hat, Nutanix und VMware unterstützen NIM auf Open-Source-KServe- oder Unternehmenslösungen. KI-Anwendungsunternehmen, darunter Hippocratic AI, Glean, Kinetica und Redis, setzen NIM ein, um generative KI-Inferenz zu ermöglichen. Führende KI-Tools und MLOps-Partner wie Amazon SageMaker, Microsoft Azure AI, Dataiku, DataRobot und andere haben NIM in ihre Plattformen eingebettet, sodass Entwickler domänenspezifische generative KI-Anwendungen mit optimierter Inferenz erstellen und bereitstellen können.
Globale Systemintegratoren und Servicebereitstellungspartner wie Accenture, Deloitte, Infosys, Latentview, Quantiphi, SoftServe, TCS und Wipro haben NIM-Kompetenzen entwickelt, um Unternehmen bei der schnellen Entwicklung und Bereitstellung von Produktions-KI-Strategien zu unterstützen. Unternehmen können NIM-fähige Anwendungen auf NVIDIA-zertifizierten Systemen von Herstellern wie Cisco, Dell Technologies, Hewlett-Packard Enterprise, Lenovo und Supermicro sowie auf Servern von ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, Pegatron ausführen. QCT, Wistron und Wiwynn. NIM-Microservices sind auch in wichtige Cloud-Plattformen integriert, darunter Amazon Web Services, Google Cloud, Azure und Oracle Cloud Infrastructure.
Branchenakzeptanz und Anwendungsfälle
Führende Unternehmen nutzen NIM für vielfältige Anwendungen in allen Branchen. Foxconn nutzt NIM für domänenspezifische LLMs in KI-Fabriken, Smart Cities und Elektrofahrzeugen. Pegatron setzt NIM für das Projekt TaME ein, um die lokale LLM-Entwicklung für verschiedene Branchen voranzutreiben. Amdocs nutzt NIM für ein Kundenabrechnungs-LLM, wodurch Kosten und Latenz deutlich reduziert und gleichzeitig die Genauigkeit verbessert werden. ServiceNow integriert NIM-Microservices in sein multimodales Now AI-Modell und bietet Kunden eine schnelle und skalierbare LLM-Entwicklung und -Bereitstellung.
Verfügbarkeit
Entwickler können unter mit NVIDIA-Microservices experimentieren ai.nvidia.com kostenlos. Unternehmen können mit NVIDIA AI Enterprise NIM-Microservices in Produktionsqualität auf NVIDIA-zertifizierten Systemen und führenden Cloud-Plattformen bereitstellen. Entwickler, die an einem kostenlosen Zugang zu NIM für Forschungs- und Testzwecke interessiert sind, können sich für den Zugang registrieren, der voraussichtlich nächsten Monat verfügbar sein wird.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
