Dell Technologies har, i nära samarbete med CoreWeave, tillkännagivit leveransen av branschens första NVIDIA GB300 NVL72-system. Denna milstolpe följer Dells tidigare prestation som den första leverantören att leverera NVIDIA GB200, vilket ytterligare befäster deras ledarskap inom AI-infrastruktur. CoreWeave, en ledande leverantör av AI-molntjänster (CSP), blir den första hyperskalaren att driftsätta NVIDIAs GB300 NVL72, ett vätskekylt, rackskaligt AI-system designat för de mest krävande företagsarbetsbelastningarna.
Denna prestation är resultatet av ett starkt partnerskap mellan Dell, CoreWeave och NVIDIA, som bygger vidare på momentumet hos Dell AI Factory med NVIDIADell AI Factory levererar omfattande och säkra AI-lösningar skräddarsydda för moderna företags ständigt föränderliga behov, vilket gör det möjligt för organisationer att accelerera sina AI-initiativ med tillförsikt.
Frigör företagspotential med CoreWeave
CoreWeaves implementering av Dell Integrated Rack-system med NVIDIA GB300 NVL72 markerar ett betydande steg framåt i skalbarheten och prestandan hos molnbaserade AI-tjänster. Lösningen utnyttjar vätskekylda Dell Integrated Rack Scalable Systems som drivs av PowerEdge XE9712 servrar. Varje rack är utrustat med 72 NVIDIA Blackwell Ultra GPU:er och 36 Arm-baserade NVIDIA Grace-processorer, vilket ger en robust grund för nästa generations AI-arbetsbelastningar.
NVIDIA Blackwell Ultra GPU:erna i hjärtat av detta system levererar 1.5 gånger fler AI-beräknings-FLOPS jämfört med sina föregångare, vilket möjliggör snabbare och effektivare bearbetning av komplexa modeller. Systemet har också utökat HBM3e-minne, som erbjuder upp till 21 TB GPU-minne med hög bandbredd per rack, 1.5 gånger mer än den tidigare GB200 NVL72-generationen. Denna betydande minnesökning möjliggör större batchstorlekar och mer komplexa modeller, vilket är avgörande för att maximera dataflödet i AI-resonemang och inferensuppgifter.
Femte generationens NVIDIA NVLink-teknik ger en imponerande sammanlagd bandbredd på 130 TB/s, vilket säkerställer sömlös kommunikation med hög hastighet mellan varje GPU i systemet. Denna nivå av sammankoppling är avgörande för att uppnå topprestanda i AI-modeller, särskilt de som arbetar i stor skala.
Nätverksuppkopplingen förbättras ytterligare av nästa generations InfiniBand, med NVIDIA Quantum-X800 InfiniBand-switchar och NVIDIA ConnectX-8 SuperNIC-kort levererar 800 gigabit per sekund (Gb/s) dedikerad anslutning till varje GPU. Denna arkitektur säkerställer klassledande fjärråtkomst till direktminne (RDMA), vilket maximerar effektiviteten för storskaliga AI-arbetsbelastningar.
Säkerhet och multitenancy hanteras genom NVIDIA DOCA-programvaruramverket, som körs på NVIDIA BlueField-3 DPU:er. Denna kombination accelererar AI-arbetsbelastningar genom att tillhandahålla hyresgästnätverk med hög linjehastighet på upp till 200 Gb/s och högpresterande GPU-dataåtkomst, vilket stöder säkra molnmiljöer med flera hyresgäster.
Utformad för AI i frontlinjen
Dells integrerade racklösning är utformad för snabb driftsättning och sömlös integration i produktionsmiljöer. Enligt Dell kan systemet förbättra användarnas svarstider med upp till tio gånger och leverera en femfaldig ökning av dataflödet per watt jämfört med den tidigare NVIDIA Hopper-generationen.
CoreWeave betonar att systemet är specialbyggt för AI i frontlinjeskala, vilket gör det möjligt för användare att träna, optimera och driftsätta modeller med flera biljoner parametrar. Det är specifikt utformat för att hantera de höga beräkningskraven för skalningsinferens under testtid, ett kritiskt krav för att driftsätta avancerade AI-modeller i produktion.
Denna implementering förbättrar CoreWeaves AI-molnplattform avsevärt, vilket förenklar träning, resonemang och realtidsinferens för stora språkmodeller. Systemets arkitektur stöder snabb GPU-till-GPU-kommunikation via NVIDIA NVLink-switchfack, levererar över en exaflop med tät AI-prestanda och ger upp till 40 TB höghastighetsminne i ett enda rack.
Engagemang för prestanda och skalbarhet
CoreWeave planerar att lansera NVIDIA GB300-accelererade Dell-servrar under hela året, vilket understryker deras engagemang för effektivitet, skalbarhet och branschledande prestanda. Detta initiativ stöds fullt ut av Dells AI Professional Services, som tillför djupgående expertis inom datacenterdesign och integration, vilket säkerställer att kunderna uppnår optimal prestanda och en smidig övergång till nästa generations AI-infrastruktur.
Amazon