AI-fabriker kräver mer än högpresterande datortyger för att fungera effektivt. Medan öst-väst-nätverk spelar en avgörande roll för att ansluta GPU:er, är lagringstyger – ansvariga för att länka samman höghastighetslagringsmatriser – lika viktiga. Lagringsprestanda påverkar avsevärt flera stadier av AI-livscykeln, inklusive träningskontroll och slutledningstekniker såsom retrieval-augmented generation (RAG). För att möta dessa krav har NVIDIA och dess lagringsekosystem utökat nätverksplattformen NVIDIA Spectrum-X för att förbättra lagringsstrukturens prestanda och påskynda tiden till AI-insikter.

Förstå nätverkskollisioner i AI-kluster 

Nätverkskollisioner uppstår när flera datapaket försöker korsa samma nätverksväg samtidigt, vilket resulterar i störningar, förseningar och, ibland, behov av omsändning. I storskaliga AI-kluster är sådana kollisioner mer sannolika när GPU:er är fullastad eller tung trafik från dataintensiva operationer.

Eftersom GPU:er bearbetar komplexa beräkningar samtidigt kan nätverksresurser bli mättade, vilket leder till kommunikationsflaskhalsar. Spectrum-X är utformat för att motverka dessa problem genom att automatiskt och dynamiskt omdirigera trafik och hantera överbelastning, vilket säkerställer att kritisk data flödar oavbrutet utan behov av implementeringar som Metas Enhanced ECMP som beskrivs i LLAMA 3-artikeln.

Optimera lagringsprestanda med Spectrum-X

NVIDIA Spectrum-X introducerar adaptiva routingfunktioner som mildrar flödeskollisioner och optimerar bandbreddsutnyttjandet. Jämfört med RoCE v2, Ethernet-nätverksprotokollet som ofta används i AI-beräknings- och lagringstyger, uppnår Spectrum-X överlägsen lagringsprestanda. Tester visar upp till 48 % förbättring av läsbandbredd och 41 % ökning av skrivbandbredd. Dessa framsteg leder till snabbare exekvering av AI-arbetsbelastningar, minskar slutförandetiden för utbildningsjobb och minimerar inter-token latens för slutledningsuppgifter.

Eftersom AI-arbetsbelastningar skalas i komplexitet måste lagringslösningar utvecklas därefter. Ledande lagringsleverantörer, inklusive DDN, VAST Data och WEKA, har samarbetat med NVIDIA för att integrera Spectrum-X i sina lagringslösningar. Detta samarbete gör det möjligt för AI-lagringstyger att dra nytta av banbrytande nätverkskapacitet, vilket förbättrar prestanda och skalbarhet.

Israel-1 Supercomputer: Validering Spectrum-X Impact

NVIDIA byggde Israel-1 generativa AI-superdatorn som en testbädd för att optimera Spectrum-X-prestanda i verkliga scenarier. Israel-1-teamet genomförde omfattande benchmarking för att utvärdera Spectrum-X:s inverkan på lagringsnätverkets prestanda. Med hjälp av Flexible I/O Tester (FIO) benchmark, jämförde de en standard RoCE v2-nätverkskonfiguration med Spectrum-X:s adaptiva routing och överbelastningskontroll aktiverad.

Testerna sträckte sig över konfigurationer från 40 till 800 GPU, vilket konsekvent visar överlägsen prestanda med Spectrum-X. Förbättringar av läsbandbredden varierade från 20 % till 48 %, medan skrivbandbredden ökade med mellan 9 % och 41 %. Dessa resultat överensstämmer nära med prestandaförbättringar som observerats i partners ekosystemlösningar, vilket ytterligare validerar teknikens effektivitet i AI-lagringstyger.

Storage Networks roll i AI-prestanda

Effektiviteten i lagringsnätverk är avgörande för AI-verksamhet. Modellträning sträcker sig ofta över dagar, veckor eller till och med månader, vilket kräver regelbunden kontrollpunktshantering för att förhindra dataförlust på grund av systemfel. Med storskaliga AI-modeller som når kontrollpunktstillstånd på terabytenivå säkerställer effektiv hantering av lagringsnätverk sömlös träningskontinuitet.

RAG-baserade slutledningsarbetsbelastningar betonar ytterligare vikten av högpresterande lagringstyger. Genom att kombinera en LLM med en dynamisk kunskapsbas förbättrar RAG svarsnoggrannheten utan att kräva omskolning av modellen. Vanligtvis lagrade i stora vektordatabaser, kräver dessa kunskapsbaser lagringsåtkomst med låg latens för att upprätthålla optimal slutledningsprestanda, särskilt i multi-tenant generativa AI-miljöer som hanterar höga frågevolymer.

Tillämpa adaptiv routing, överbelastningskontroll på lagring

Spectrum-X introducerar viktiga Ethernet-nätverksinnovationer anpassade från InfiniBand för att förbättra lagringstygets prestanda:

• Adaptiv routing: Spectrum-X balanserar nätverkstrafik dynamiskt för att förhindra kollisioner med elefantflöden under checkpointing och dataintensiva operationer. Spectrum-4 Ethernet-switchar analyserar överbelastningsdata i realtid och väljer den minst överbelastade vägen för varje paket. Till skillnad från äldre Ethernet, där out-of-order paket kräver omsändning, använder Spectrum-X SuperNICs och DPUs för att ordna om paket på destinationen, vilket säkerställer sömlös drift och högre effektiv bandbreddsanvändning.
• Trängselkontroll: Checkpointing och andra AI-lagringsoperationer resulterar ofta i många-till-en-stockning, där flera klienter försöker skriva till en enda lagringsnod. Spectrum-X mildrar detta genom att reglera datainjektionshastigheter med hjälp av hårdvarubaserad telemetri, vilket förhindrar överbelastningshotspots som kan försämra nätverkets prestanda.

Säkerställa motståndskraft i AI-lagringstyger

Storskaliga AI-fabriker har ett omfattande nätverk av switchar, kablar och transceivrar, vilket gör motståndskraft till en kritisk faktor för att upprätthålla prestanda. Spectrum-X använder global adaptiv routing för att snabbt omdirigera trafik under länkfel, minimera störningar och bevara optimalt utnyttjande av lagringsstrukturen.

Sömlös integration med NVIDIA AI Stack

Utöver Spectrum-X:s hårdvaruinnovationer erbjuder NVIDIA mjukvarulösningar för att påskynda AI-lagringsarbetsflöden. Dessa inkluderar:

• NVIDIA Air: Ett molnbaserat simuleringsverktyg för modellering av switchar, SuperNIC och lagring, för att effektivisera driftsättning och drift.
• NVIDIA Cumulus Linux: Ett nätverksoperativsystem med inbyggd automation och API-stöd för effektiv hantering i stor skala.
• NVIDIA DOCA: En SDK för SuperNIC och DPU, som ger förbättrad programmerbarhet och lagringsprestanda.
• NVIDIA NetQ: Ett nätverksvalideringsverktyg i realtid som integreras med switchtelemetri för förbättrad synlighet och diagnostik.
• NVIDIA GPUDirect-lagring: En teknologi för direkt dataöverföring som optimerar lagring-till-GPU-minnesvägar för förbättrad datagenomströmning.

Genom att integrera Spectrum-X i lagringsnätverk omdefinierar NVIDIA och dess partners prestanda för AI-infrastruktur. Kombinationen av adaptivt nätverk, överbelastningskontroll och mjukvaruoptimering säkerställer att AI-fabriker kan skalas effektivt, vilket ger snabbare insikter och förbättrad operativ effektivitet.