Broadcom introducerade VMware Private AI Cloud på VMware Explore, en privat molnarkitektur utformad för att köra AI-modeller nära företagsdata. Snarare än att flytta känslig data till externa modellleverantörer är plattformen avsedd att föra modeller till data inom en organisations privata infrastruktur.
VMware Private AI Cloud kombinerar VMware Cloud Foundation (VCF), VMware AI Factory, VMware Tanzu Platform, VMware vDefend och VMware Avi Load Balancer i en enhetlig miljö för att köra inferensarbetsbelastningar, agentapplikationer, containeriserade tjänster och traditionella virtuella maskiner. Metoden ger företag en gemensam infrastruktur och driftsmodell för AI och allmänna arbetsbelastningar samtidigt som de behåller kontrollen över dataplacering, säkerhetspolicyer och resursförbrukning.
Broadcom Infrastructure Software Groups vd Ram Velaga beskrev plattformen som en konvergenspunkt mellan privat moln och privat AI-infrastruktur. Målet är att stödja produktionsinferens och agentapplikationer utan att ge upp datasuveränitet, efterlevnadskontroller eller förutsägbara driftskostnader.
VCF riktar sig mot AI-infrastruktur och tokenkostnader
VMware Private AI Cloud är utformat för att hantera tre primära kostnadsområden i AI-implementeringar på företag: hårdvaruinvesteringar, driftskomplexitet och tokenförbrukning. Dessa kostnader kan öka i takt med att organisationer går från små AI-pilotprojekt till produktionsinferensarbetsbelastningar som kräver större modeller, högre förfrågningsvolymer och mer GPU-kapacitet.
VMware Cloud Foundation 9 introducerar infrastrukturfunktioner som är avsedda att förbättra resursutnyttjandet. NVMe-minnesnivåer kan utöka tillgänglig minneskapacitet genom att använda snabb NVMe-lagring som en ytterligare nivå, medan klusteromfattande lagringsdeduplicering minskar duplicerad data i hela miljön. Dessa funktioner är utformade för att förbättra infrastruktureffektiviteten för AI-arbetsbelastningar som kräver betydande minnes- och lagringsresurser.
VCF stöder även heterogen infrastruktur, inklusive processorer, grafikkort och andra acceleratorer från flera leverantörer. Plattformen stöder serversystem som levereras av stora OEM- och ODM-tillverkare, vilket gör det möjligt för organisationer att välja hårdvara baserat på arbetsbelastningskrav, tillgänglighet och kostnad snarare än att använda en enda hårdvarukonfiguration.
Plattformen lägger också till hanteringsfunktioner för att kontrollera AI-resursförbrukning. Tokenövervakning ger insyn i modellanvändning och inferensaktivitet, medan delning av modeller med flera hyresgäster gör det möjligt för flera användare eller applikationer att få åtkomst till gemensamma modelltjänster. Förbättrad GPU- och vGPU-spårning ger mer detaljerad information om acceleratorallokering och -användning. En instrumentpanel för observerbarhet av AI-mätvärden sammanför dessa mätningar i en centraliserad driftsvy.
VMware AI Factory automatiserar vägen till produktion
Broadcom tillkännagav även VMware AI Factory, den programvarudefinierade grunden för VMware Private AI Cloud. VMware AI Factory är avsedd att förenkla driftsättningen av AI-klar infrastruktur och minska den tid som krävs för att gå från fysisk hårdvara till en slutpunkt för produktionsmodellen.
Plattformen är utformad för att täcka både initial infrastrukturdistribution och löpande dag 2-drift. Detta inkluderar automatisering av infrastrukturprovisionering, distribution av modelltjänster och hantering av de operativa kraven för AI-arbetsbelastningar efter distribution. Broadcom positionerar också VMware AI Factory som en mekanism för att förbättra insynen i tokenekonomi och resursförbrukning i takt med att modellanvändningen ökar.
VCF-modellens körtid är baserad på vLLM, vilket tillhandahåller ett gemensamt serverlager för stödda modeller. Broadcom uppgav att VCF-kunder kan köra mer än 150 modeller med öppen källkod och kommersiella modeller via plattformen. Detta gör det möjligt för organisationer att välja modeller baserat på språkstöd, kontextkrav, multimodala funktioner, resonemangsprestanda och hårdvarukompatibilitet.
Validerade modeller aktiverar privata modelltjänster
Broadcom meddelade att modeller från Google, NVIDIA, NEC, Alibaba Cloud och Z.ai har testats och validerats för VMware Cloud Foundation. Valideringsprogrammet är avsett att ge företag en tydligare väg att distribuera utvalda modeller lokalt och exponera dem för interna användare genom Model-as-a-Service-erbjudanden.
De validerade modellerna som tillkännagivits för VCF inkluderar:
- NVIDIA Nemotron 3: Nemotron 3-familjen inkluderar öppna multimodala modeller baserade på en hybrid Mamba-Transformer Mixture-of-Experts-arkitektur. Modellerna stöder ett kontextfönster på upp till 1 miljon tokens och är utformade för långvariga agentiska arbetsflöden över företagsapplikationer.
- Google DeepMind Gemma 4: Gemma 4 är en öppen källkod, öppen vikt multimodal modellfamilj avsedd för lokal exekvering. Dess tillgänglighet på VCF ger organisationer möjlighet att utveckla och driftsätta autonoma agenter inom sin egen infrastruktur.
- NEC-cotomi: NECs cotomi-modell är optimerad för japanska och tränad på kurerade datamängder. Broadcom uppgav att modellen ger en 40-procentig förbättring av tokeneffektiviteten.
- Alibaba Cloud Qwen 3.7-27B: En proprietär multimodal modell med ett kontextfönster på 1 miljon tokens. Den inkluderar multimodala resonemangsfunktioner och är utformad för agentarbetsbelastningar.
- Z.ai GLM 5.2: GLM 5.2 är en öppen källkodsmodell för generella språk (General Language Model) utformad för lokala kodnings- och resonemangsagenter. Modellen är avsedd att stödja autonoma arbetsflöden i flera steg samtidigt som data hålls inom företagsmiljön.
Modellvalideringsarbetet syftar till att minska osäkerheten kring driftsättning för företag som vill köra kommersiella modeller och modeller med öppen källkod på privat infrastruktur. Broadcom uppgav att modellleverantörer samarbetar med företaget för att göra validerade modeller tillgängliga via VCF:s integrerade tjänster.
Broadcoms Private Cloud Outlook 2026 rapporterade att 56 procent av företagen redan kör eller planerar att köra produktionsbaserad AI-inferens på privata moln. VCF är positionerat för att stödja dessa implementeringar tillsammans med befintliga virtuella maskiner, Kubernetes-arbetsbelastningar och containeriserade tjänster.
Oberoende tester med MLPerf Inference v5.1-standarderna bekräftade att VCF levererade prestanda i nivå med bare-metal-infrastruktur, enligt Broadcom. Testningen är avsedd att visa att virtualisering och privat molnhantering kan stödja produktionsinferens utan att kräva en separat bare-metal AI-stack.
Djupgående säkerhet för AI-arbetsbelastningar
VMware Private AI Cloud använder en djupgående säkerhetsmodell i linje med NIST Cybersecurity Framework 2.0. Plattformen kombinerar infrastrukturkontroller, nätverkssegmentering, skydd på applikationslagret, säkerhet i leveranskedjan och funktioner för kontinuerlig efterlevnad.
VMware vDefend tillhandahåller mikrosegmentering och laterala säkerhetskontroller på hypervisornivå. Virtuell patchning är utformad för att skydda arbetsbelastningar från kända sårbarheter utan att kräva omedelbara applikationsändringar eller driftstopp i infrastrukturen. Trafikflödesövervakning kan också identifiera oväntad kommunikation mellan arbetsbelastningar och hjälpa till att upptäcka obehöriga eller skuggiga AI-distributioner.
Broadcom utökar vDefend till agentbaserade AI-arbetsbelastningar. De uppdaterade funktionerna är utformade för att identifiera agentbaserade komponenter genom kontinuerlig trafikövervakning, upptäcka obehörig användning av AI-system och distribuera virtuella patchar med hjälp av AI-genererade signaturer från Intrusion Detection and Prevention System.
VMware Avi Load Balancer lägger till skydd på applikationsnivån genom sin webbapplikationsbrandvägg och API-säkerhetsfunktioner. För agentbaserade arbetsbelastningar är Avi utformat för att begränsa agenter från att komma åt obehöriga verktyg, identifiera avvikande beteenden som kan indikera en nolldagsattack och tillämpa dataskyddskontroller för att förhindra obehörig exfiltrering.
TrueSource utökar kontroller av leveranskedjor med öppen källkod
Broadcom introducerade även TrueSource-funktioner för programvara och datatjänster som används i privata AI-miljöer. TrueSource Trusted Artifacts tillämpar byggprocesser för renrum i Java-, Python- och Node.js-ekosystemen samt Bitnami Secure Images-katalogen.
Spring Enterprise-utgåvor kureras och underhålls av Spring-teamet. Broadcom uppgav att utgåvorna inkluderar patchar som skannas mot frontier-modeller och verifieras av människor, med korrigeringar som levereras över stödda utgåvor.
TrueSource Data Services använder samma metod för datainfrastrukturkomponenter. De initiala tjänsterna inkluderar PostgreSQL, RabbitMQ, MySQL och Valkey. Detta tillhandahåller en kontrollerad källa för vanligt förekommande databas- och meddelandekomponenter som kan stödja AI-applikationer och agentarbetsflöden.
Tanzu-plattformen lägger till kontroller för autonoma agenter
Broadcom tillkännagav även nya AI-förberedda datafundament och agentruntime-funktioner för VMware Tanzu Platform. Tanzu Platform positioneras som den applikations- och agentplattform som fungerar inom VMware Private AI Cloud.
Autonoma agenter medför risker som skiljer sig från de som är förknippade med konventionella applikationer. Agenter kan självständigt fråga efter data, anropa verktyg, tolka instruktioner och vidta åtgärder över anslutna system. Utan tillräckliga kontroller kan en agent överskrida sitt tilldelade omfång, få åtkomst till obehöriga resurser, exponera känslig information eller generera oväntade kostnader för infrastruktur och molnutflöde.
Tanzu-plattformen hanterar dessa risker med en körtidsmodell där standardinställningarna förnekas. Agenter har ingen åtkomst till API:er, nätverk, MCP-servrar eller internet om det inte uttryckligen beviljas. En isolerad autentiseringskälla håller autentiseringsuppgifterna dolda för agenterna själva, vilket minskar risken för stöld av autentiseringsuppgifter, missbruk och snabba injektionsattacker.
Plattformen inkluderar även en förbyggd utvecklarkomponent med godkända färdigheter, arbetsflödespaket, kontrollfunktioner och integrerade minnestjänster. Dessa komponenter är avsedda att ge en kontrollerad utvecklingsväg för att bygga agenter samtidigt som operativa säkerhetsåtgärder bibehålls under körning.
AgentMinder ger centraliserad agentkontroll
Broadcom presenterade AgentMinder som ett centralt kontrollplan för autonoma AI-agenter. Systemet behandlar varje agent som en företagsidentitet och associerar den identiteten med ett definierat uppdrag, godkända verktyg och auktoriserade resurser.
Tillämpning av körtidspolicyer tillämpar lägsta behörighetsnivå för verktygsanrop. Detta gör det möjligt för företag att avgöra vilka verktyg en agent kan använda och under vilka förhållanden. AgentMinder tillhandahåller också granskningsregister för agentaktivitet, vilket ger säkerhets- och efterlevnadsteam insikt i de åtgärder som vidtas av autonoma system.
Kombinationen av agentidentitet, policytillämpning och granskningsbarhet är avsedd att tillhandahålla ett styrningslager för organisationer som distribuerar flera agenter över avdelningar och applikationer.
AI-klara datafundament håller sammanhanget i företaget
De nya AI-förberedda databaserna i Tanzu-plattformen bearbetar strukturerad och ostrukturerad företagsdata inom den kundstyrda miljön. De resulterande dataprodukterna är utformade för att förse agenter med kuraterad, kontextrik information utan att källdatan behöver lämna det privata molnet.
Dessa dataprodukter kan publiceras på Tanzu Platform-marknaden som styrda tjänster. Utvecklare och agenter kan upptäcka och konsumera tjänsterna via en centraliserad katalog, medan dataägare behåller kontrollen över hur informationen förbereds, exponeras och hanteras.
Metoden är avsedd att förbättra kvaliteten på det kontext som är tillgängligt för agenter, minska beroendet av okuraterad data och sänka tokenförbrukningen genom att leverera mer relevant information till modellen. Den hjälper också till att hålla känsliga data, metadata och beräkningsresurser inom organisationens kontrollerade infrastruktur.
Tillgänglighet
Broadcom uppgav att de nya VMware Tanzu Platform-funktionerna som tillkännagavs på VMware Explore kommer att vara allmänt tillgängliga hösten 2026.
Amazon