Cloudera och VAST Data har ingått ett partnerskap för att bygga en enhetlig AI-fabriksarkitektur för företag som kör kontinuerliga arbetsbelastningar inom AI-utbildning, inferens och analys. Det gemensamma erbjudandet kombinerar Clouderas containerbaserade datatjänster med VAST AI-operativsystemet och riktar in sig på ett problem som har blivit allt vanligare i AI-implementeringar för företag: dyra GPU-kluster som står inaktiva medan de väntar på data.
Det där problemet med inaktiva GPU:er, ofta kallat GPU-svält, tenderar att dyka upp när organisationer bygger AI-arbetsbelastningar på dataarkitekturer som aldrig byggdes för de kontinuerliga, höga genomströmningskraven från moderna AI-pipelines. Dataförberedelse, träning, inferens och analys konkurrerar alla om samma infrastruktur, och när datalagret inte kan hålla jämna steg stannar acceleratorerna. Cloudera och VAST positionerar sin kombinerade stack som en lösning på den flaskhalsen, med målet att hålla GPU:er matade med data med låg latens under hela AI:ns livscykel.
Hur arkitekturen är uppbyggd
På Cloudera-sidan använder företaget sin Lakehouse-arkitektur, som paketerar datateknik, streaming, analys, maskininlärning och AI-tjänster i portabla containrar som kan köras över hybrid- och multimolnmiljöer. Det ger kunderna en konsekvent driftsmodell oavsett var arbetsbelastningen faktiskt utförs.
VAST bidrar med sin Disaggregated Shared Everything (DASE)-arkitektur som den underliggande datainfrastrukturen, och skalar till exabyte-nivåer samtidigt som vektordatabastjänster integreras med NVIDIA cuVS för GPU-accelererad vektorindexering och sökning. VAST AI OS är byggt på NVIDIA AI Data Platform-referensdesignen och är utformat för att ta latent företagsdata och omvandla den till ett AI-klart tillstånd som kan konsumeras direkt genom tränings- och inferenspipelines. Cloudera lägger sedan sina datateknik-, styrnings- och AI-tjänster ovanpå den grunden.
Den kombinerade stacken är avsedd att täcka hela vägen från inmatning av rådata till modelldistribution, med konsekventa operationer över datacenter, privata moln och publika moln. Cloudera och VAST säger att arkitekturen eliminerar GPU-svält genom datapipelines med hög bandbredd och låg latens, vilket i sin tur bör förbättra hållbar GPU-användning och beräkningseffektivitet. Plattformen är också byggd för att hantera strukturerade, ostrukturerade och multimodala datamängder i stor skala, med företagsstyrning och efterlevnadskontroller avsedda för privata och statliga AI-distributioner.
NVIDIA-integration och inferens
Partnerskapet vilar starkt på NVIDIAs stack. Vid sidan av AI Data Platform-referensdesignen som ligger till grund för VASTs AI-operativsystem integrerar företagen NVIDIA AI Enterprise-programvara i den gemensamma arkitekturen. Clouderas AI Inference Service använder NVIDIA NIM-mikrotjänster för att göra det möjligt för organisationer att distribuera och skala modeller direkt på sina egna data, inklusive NVIDIAs nyare Nemotron-öppna modeller.
På datautvecklingssidan kan kunder accelerera Apache Spark-arbetsbelastningar med hjälp av NVIDIA cuDF, som integreras transparent med Cloudera Data Engineering. Det gör att Spark-jobb kan utnyttja VASTs högkapacitetsdatatjänster med GPU-accelererad bearbetning, vilket bör underlätta datatunga steg i AI-pipelines snarare än bara träning och inferens.
För reglerade branscher i synnerhet utformar Cloudera och VAST detta som en "kisel-till-applikation"-lösning, som täcker allt från den underliggande NVIDIA-hårdvaran och -mjukvaran till AI-applikationer i produktion, och kan distribueras lokalt eller i molnet beroende på datalagring och efterlevnadskrav.
Tillgänglighet
Företagen säger att partnerskapet kombinerar 60 exabyte av kundhanterad data över deras installerade baser, vilket ger båda leverantörerna en stor pool av befintliga företagskunder att rikta in sig på i takt med att efterfrågan på privat AI-infrastruktur växer.
Cloudera och VASTs gemensamma AI-fabrikslösning är nu tillgänglig via båda företagens säljteam och partnernätverk. Cloudera och VAST planerar att utöka portföljen fram till 2026 med ytterligare referensarkitekturer, validerade distributionsmönster och branschspecifika lösningar.
Amazon