Cloudera en VAST Data zijn een partnerschap aangegaan om een uniforme AI-fabriekarchitectuur te bouwen voor bedrijven die continu AI-training, inferentie en analyses uitvoeren. Het gezamenlijke aanbod combineert Cloudera's gecontaineriseerde datadiensten met het VAST AI-besturingssysteem en richt zich op een probleem dat steeds vaker voorkomt bij AI-implementaties in bedrijven: dure GPU-clusters die inactief zijn omdat ze wachten op data.
Dat probleem van inactieve GPU's, vaak GPU-uithongering genoemd, doet zich doorgaans voor wanneer organisaties AI-workloads toevoegen aan data-architecturen die nooit ontworpen zijn voor de continue, hoge doorvoereisen van moderne AI-pipelines. Datavoorbereiding, training, inferentie en analyse concurreren allemaal om dezelfde infrastructuur, en wanneer de datalaag het tempo niet kan bijhouden, lopen de accelerators vast. Cloudera en VAST positioneren hun gecombineerde stack als een oplossing voor dit knelpunt, met als doel GPU's gedurende de volledige AI-levenscyclus te blijven voorzien van data met een lage latentie.
Hoe de architectuur wordt gebouwd
Cloudera biedt met zijn lakehouse-architectuur diensten aan die data-engineering, streaming, analyses, machine learning en AI-services bundelen in draagbare containers die in hybride en multi-cloudomgevingen kunnen draaien. Dit geeft klanten een consistent operationeel model, ongeacht waar de workload daadwerkelijk wordt uitgevoerd.
VAST levert zijn Disaggregated Shared Everything (DASE)-architectuur als onderliggende data-infrastructuur, die schaalbaar is tot exabyte-niveaus en vectordatabaseservices integreert met NVIDIA cuVS voor GPU-versnelde vectorindexering en -zoekopdrachten. Het VAST AI OS is gebouwd op het referentieontwerp van het NVIDIA AI Data Platform en is ontworpen om latente bedrijfsdata om te zetten in een AI-klare staat die direct kan worden gebruikt door trainings- en inferentiepipelines. Cloudera bouwt vervolgens zijn data-engineering-, governance- en AI-services bovenop die basis.
De gecombineerde architectuur is ontworpen om het volledige traject te bestrijken, van de verwerking van ruwe data tot de implementatie van modellen, met consistente werking in datacenters, private clouds en publieke clouds. Cloudera en VAST stellen dat de architectuur GPU-tekorten elimineert door middel van datapijplijnen met hoge bandbreedte en lage latentie, wat op zijn beurt de continue GPU-benutting en rekenkracht zou moeten verbeteren. Het platform is bovendien gebouwd om gestructureerde, ongestructureerde en multimodale datasets op grote schaal te verwerken, met governance- en compliance-controles voor private en soevereine AI-implementaties.
NVIDIA-integratie en inferentie
De samenwerking is sterk gebaseerd op de technologie van NVIDIA. Naast het referentieontwerp voor het AI-dataplatform dat ten grondslag ligt aan het AI-besturingssysteem van VAST, integreren de bedrijven NVIDIA AI Enterprise-software in de gezamenlijke architectuur. Cloudera's AI Inference Service maakt gebruik van NVIDIA NIM-microservices om organisaties in staat te stellen modellen rechtstreeks op hun eigen data te implementeren en op te schalen, inclusief de nieuwere open modellen van NVIDIA's Nemotron.
Op het gebied van data-engineering kunnen klanten Apache Spark-workloads versnellen met behulp van NVIDIA cuDF, dat naadloos integreert met Cloudera Data Engineering. Hierdoor kunnen Spark-taken gebruikmaken van de krachtige datadiensten van VAST met GPU-versnelde verwerking, wat voordelen biedt bij data-intensieve fasen van AI-pipelines, en niet alleen bij training en inferentie.
Met name voor gereguleerde sectoren presenteren Cloudera en VAST dit als een "van silicium tot applicatie"-oplossing, die alles omvat van de onderliggende NVIDIA-hardware en -software tot en met productiegerichte AI-applicaties, die on-premises of in de cloud kunnen worden geïmplementeerd, afhankelijk van de dataopslaglocatie en de nalevingsvereisten.
Beschikbaarheid
De bedrijven zeggen dat de samenwerking 60 exabytes aan door klanten beheerde data uit hun geïnstalleerde systemen combineert, waardoor beide leveranciers een grote groep bestaande zakelijke klanten hebben om zich op te richten naarmate de vraag naar private AI-infrastructuur toeneemt.
De gezamenlijke AI-fabrieksoplossing van Cloudera en VAST is nu beschikbaar via de zakelijke verkoopteams en partnernetwerken van beide bedrijven. Cloudera en VAST zijn van plan het portfolio tot en met 2026 uit te breiden met extra referentiearchitecturen, gevalideerde implementatiepatronen en branchespecifieke oplossingen.
Amazon