KI-Infrastrukturen sind bekanntermaßen ressourcenintensiv, und Unternehmen stehen ständig vor der Herausforderung, die GPU-Auslastung zu optimieren. Dell Technologies begegnet dieser Herausforderung mit seiner AI Factory-Plattform durch die Integration der kürzlich von NVIDIA übernommenen Orchestrierungslösung Run:ai . In einem aktuellen Blogbeitrag erläuterte Dell, wie Run:ai die Ressourcennutzung maximiert und KI-Ergebnisse beschleunigt und so die Art und Weise verändert, wie Unternehmen GPU-Ressourcen im großen Maßstab bereitstellen und verwalten.
Dell NVL72-Cluster
Was genau ist Run:ai?
Run:ai ist eine auf Kubernetes basierende Orchestrierungsplattform, die speziell für GPU-zentrierte Workloads entwickelt wurde. Run:ai wurde 2018 gegründet und konnte sich durch die Bewältigung eines weit verbreiteten Branchenproblems etablieren: der ineffizienten Nutzung von GPUs. Traditionell sind GPUs, die KI-Workloads zugewiesen sind, oft ungenutzt oder nicht ausgelastet. Run:ai löst dieses Problem durch dynamisches Pooling und intelligentes Planen von GPU-Ressourcen. Dies ermöglicht eine fraktionierte GPU-Zuweisung, effiziente Multi-GPU-Bereitstellungen und nahtloses Management in Hybrid-, Cloud- und lokalen Umgebungen.
NVIDIA erkannte das Potenzial von Run:ai, die KI-Infrastruktur grundlegend zu verändern, und schloss die Übernahme des Unternehmens im Dezember 2024 für rund 700 Millionen US-Dollar ab. Interessanterweise hat sich NVIDIA dazu verpflichtet, Run:ai zukünftig als Open Source zu veröffentlichen und damit die Absicht zu signalisieren, eine breite Akzeptanz im Ökosystem über die eigenen Hardwareplattformen hinaus zu fördern. Dieser Schritt dürfte Innovationen und branchenweite Effizienzsteigerungen weiter beschleunigen.
Für alle, die sich eingehender mit Ressourcenmanagement auseinandersetzen möchten, beschreibt die Dokumentation von NVIDIA detailliert, wie Run:ai die Orchestrierung von Workloads auf GB200 NVL72-Systemen ermöglicht. Die Dokumentation hebt eine entscheidende Lücke hervor: Kubernetes erkennt die MNNVL-Architektur von NVIDIA nicht nativ, was die Verwaltung und Planung von Workloads in diesen Hochleistungsumgebungen deutlich komplexer gestaltet. Run:ai abstrahiert diese Komplexität, indem es NVLink-Domänen automatisch erkennt und die Übermittlung verteilter Workloads vereinfacht. Dadurch wird sichergestellt, dass Pods korrekt auf Knoten mit NVLink-Verbindungen platziert werden, wodurch tiefgreifende Hardwarekenntnisse oder die manuelle Konfiguration für jeden Job entfallen. Diese Funktionen demonstrieren, wie die Plattform den Betrieb in komplexen Trainingsumgebungen optimiert und es Unternehmen ermöglicht, das volle Potenzial fortschrittlicher Hardwarekonfigurationen wie dem GB200 NVL72 auszuschöpfen.
Warum dies für Unternehmen wichtig ist
Für Unternehmen mit GPU-intensiven Workloads, insbesondere solchen mit generativer KI und großen Sprachmodellen, stellt die Unterauslastung der GPU ein erhebliches Risiko dar: eine Verschwendung von Investitionen. Run:ai behebt diese Ineffizienzen direkt. NVIDIA berichtet , dass Unternehmen, die die Plattform nutzen, eine bis zu fünffache Steigerung der GPU-Auslastung erzielen können.
Dieser Optimierungsgrad steigert nicht nur den ROI, sondern verändert auch die betriebliche Effizienz grundlegend. Teams, die zuvor durch begrenzte Ressourcen und komplexe Planungsprozesse eingeschränkt waren, verfügen nun über die Tools, um mehr Modelle gleichzeitig bereitzustellen, schnell zu skalieren und intensiver zu experimentieren – und das alles ohne zusätzliche Investitionen in Hardware. Während diese Methoden in großen HPC-Implementierungen üblich sind, ist die für die Maximierung der GPU-Auslastung erforderliche Effizienz in Unternehmen weniger verbreitet.
Breite Branchendynamik
Mehrere große Infrastrukturanbieter nutzen die Plattform, was auf eine wachsende Dynamik in der gesamten Unternehmens-IT-Landschaft hindeutet.
Dell baut sein AI Factory-Framework kontinuierlich aus, dessen Kern NVIDIA-Technologien bilden, darunter Run:ai. Dells Einsatz von Run:ai veranschaulicht, wie Unternehmen von isolierter, manueller Ressourcenzuweisung zu einer dynamischeren, automatisierten Planung übergehen können, die eine höhere Effizienz in Multi-Tenant-Umgebungen ermöglicht.
HPE bietet Run:ai als Teil seines GreenLake Marketplace an und integriert es in die Ezmeral-Plattform, um fortschrittliches GPU-Scheduling, fraktionierte Zuweisung und die Orchestrierung hybrider Infrastrukturen zu ermöglichen. Dadurch können Kunden KI-Workloads präziser und skalierbarer bereitstellen und verwalten.
Cisco integriert Run:ai in seine UCS X-Series-Server und die Intersight-Cloud-Betriebsplattform. Die Lösung zeichnet sich durch Quotenmanagement, anteilige GPU-Nutzung und Echtzeitüberwachung aus und unterstützt so großflächige KI-Implementierungen vor Ort.
Wir haben nur einige der Run:ai-Partner hervorgehoben. NVIDIA verfügt über eine umfangreiche Liste von Logos, wie oben zu sehen. Führende OEMs und Cloud-Plattformanbieter arbeiten eng mit Run:ai zusammen, um innovativere und effizientere KI-Infrastrukturlösungen bereitzustellen.
Amazon