Cloudera und VAST Data haben eine Partnerschaft geschlossen, um eine einheitliche KI-Architektur für Unternehmen zu entwickeln, die kontinuierliche KI-Trainings-, Inferenz- und Analyse-Workloads ausführen. Das gemeinsame Angebot kombiniert Clouderas containerisierte Datendienste mit dem VAST AI-Betriebssystem und adressiert ein Problem, das bei KI-Implementierungen in Unternehmen immer häufiger auftritt: teure GPU-Cluster, die ungenutzt auf Daten warten.
Das Problem der ungenutzten GPU-Leistung, oft auch als GPU-Verhungern bezeichnet, tritt häufig auf, wenn Unternehmen KI-Workloads auf Datenarchitekturen aufsetzen, die nicht für die kontinuierlichen, hohen Durchsatzanforderungen moderner KI-Pipelines ausgelegt sind. Datenaufbereitung, Training, Inferenz und Analyse konkurrieren um dieselbe Infrastruktur, und wenn die Datenschicht nicht mithalten kann, geraten die Beschleuniger ins Stocken. Cloudera und VAST positionieren ihren kombinierten Stack als Lösung für diesen Flaschenhals und zielen darauf ab, GPUs während des gesamten KI-Lebenszyklus mit Daten geringer Latenz zu versorgen.
Wie die Architektur aufgebaut ist
Cloudera bringt seine Lakehouse-Architektur ein, die Datenverarbeitung, Streaming, Analysen, maschinelles Lernen und KI-Dienste in portable Container bündelt, die in Hybrid- und Multi-Cloud-Umgebungen ausgeführt werden können. Dadurch erhalten Kunden ein konsistentes Betriebsmodell, unabhängig davon, wo die Workloads tatsächlich ausgeführt werden.
VAST steuert seine DASE-Architektur (Disaggregated Shared Everything) als zugrundeliegende Dateninfrastruktur bei, die auf Exabyte-Größen skaliert und Vektordatenbankdienste mit NVIDIA cuVS für GPU-beschleunigte Vektorindizierung und -suche integriert. Das VAST AI OS basiert auf dem Referenzdesign der NVIDIA AI Data Platform und ist darauf ausgelegt, latente Unternehmensdaten in einen KI-fähigen Zustand zu überführen, der direkt von Trainings- und Inferenzpipelines genutzt werden kann. Cloudera integriert anschließend seine Dienste für Datenverarbeitung, Datengovernance und KI in diese Grundlage.
Der kombinierte Stack deckt den gesamten Prozess von der Rohdatenerfassung bis zur Modellbereitstellung ab und gewährleistet konsistente Abläufe in Rechenzentren, privaten und öffentlichen Clouds. Laut Cloudera und VAST verhindert die Architektur GPU-Engpässe durch Datenpipelines mit hoher Bandbreite und geringer Latenz, was wiederum die nachhaltige GPU-Auslastung und Recheneffizienz verbessert. Die Plattform ist zudem für die Verarbeitung strukturierter, unstrukturierter und multimodaler Datensätze in großem Umfang ausgelegt und bietet Governance- und Compliance-Kontrollen für private und staatliche KI-Implementierungen.
NVIDIA-Integration und -Inferenz
Die Partnerschaft stützt sich maßgeblich auf NVIDIAs Technologie-Stack. Neben dem Referenzdesign der KI-Datenplattform, das dem KI-Betriebssystem von VAST zugrunde liegt, integrieren die Unternehmen die NVIDIA AI Enterprise-Software in die gemeinsame Architektur. Clouderas KI-Inferenzdienst nutzt NVIDIA NIM-Mikrodienste, um Unternehmen die Möglichkeit zu geben, Modelle direkt auf ihren eigenen Daten bereitzustellen und zu skalieren, einschließlich NVIDIAs neuerer offener Nemotron-Modelle.
Im Bereich Data Engineering können Kunden Apache Spark-Workloads mithilfe von NVIDIA cuDF beschleunigen, das sich nahtlos in Cloudera Data Engineering integriert. Dadurch können Spark-Jobs die leistungsstarken Datendienste von VAST mit GPU-beschleunigter Verarbeitung nutzen, was insbesondere bei datenintensiven Phasen von KI-Pipelines von Vorteil ist und nicht nur Training und Inferenz unterstützt.
Insbesondere für regulierte Branchen präsentieren Cloudera und VAST dies als eine „Silicon-to-Application“-Lösung, die alles von der zugrunde liegenden NVIDIA-Hardware und -Software bis hin zu produktionsreifen KI-Anwendungen abdeckt und je nach Datenresidenz- und Compliance-Anforderungen lokal oder in der Cloud bereitgestellt werden kann.
Verfügbarkeit
Die Unternehmen geben an, dass die Partnerschaft 60 Exabytes an kundenverwalteten Daten aus ihren installierten Basen vereint und beiden Anbietern damit einen großen Pool bestehender Unternehmenskunden bietet, die sie im Zuge der wachsenden Nachfrage nach privater KI-Infrastruktur ansprechen können.
Die gemeinsame KI-Fabriklösung von Cloudera und VAST ist ab sofort über die Vertriebsteams und Partnernetzwerke beider Unternehmen erhältlich. Cloudera und VAST planen, das Portfolio bis 2026 um weitere Referenzarchitekturen, validierte Bereitstellungsmuster und branchenspezifische Lösungen zu erweitern.
Amazon