Hem FöretagAI KIOXIA E1.S SSD:er gör AI-arbetsflöden mer effektiva

KIOXIA E1.S SSD:er gör AI-arbetsflöden mer effektiva

by Jordan Ranous

Även om det finns en betydande hype kring täta GPU-servrar för AI, och med rätta, är verkligheten att de flesta AI-utbildningsprojekt börjar på arbetsstationer. Även om vi nu kan stoppa upp till fyra NVIDIA A6000 Ada GPU:er i en enda arbetsstation, är det som är mer utmanande att få robust lagring i dessa AI-lådor. Vi funderade på det här problemet och kom på en plan för att på bästa sätt förse några AI-arbetsstationer med höghastighetslagring. Vi arbetade med Supermicro och KIOXIA för att fylla upp en server med 24 7.68 TB XD7P SSD:er för att skapa en otroligt kapabel 1U-lagringsserver med ett slutledningstrick i rockärmen.

Även om det finns en betydande hype kring täta GPU-servrar för AI, och med rätta, är verkligheten att de flesta AI-utbildningsprojekt börjar på arbetsstationer. Även om vi nu kan stoppa upp till fyra NVIDIA A6000 Ada GPU:er i en enda arbetsstation, är det som är mer utmanande att få robust lagring i dessa AI-lådor. Vi funderade på det här problemet och kom på en plan för att på bästa sätt förse några AI-arbetsstationer med höghastighetslagring. Vi arbetade med Supermicro och KIOXIA för att fylla upp en server med 24 7.68 TB XD7P Series Data Center NVMe SSD:er för att skapa en otroligt kapabel 1U-lagringsserver med ett slutledningstrick i rockärmen.

Vi vet vad du tänker: Hur tänker du koppla ihop punkterna mellan en serverplattform fylld med E1.S SSD:er, arbetsstationer som tränar AI-modeller och slutsatser på samma lagringsserver? Tillåt lite utrymme för att förklara.

AI-arbetsstationer behöver inte vara under ett skrivbord

Med några få undantag bör högeffekts AI-arbetsstationer med dyra GPU:er förmodligen inte distribueras ut till kanten eller kanske ens i en kontorsbyggnad. Problemen är många. Dessa slutpunkter löper i första hand hög risk för säkerhetshot och dataläckage, och viktigare är att de lider av underutnyttjande. De flesta AI-proffs kan inte komma åt den stora mängd data som behövs för att träna sina modeller på grund av otillräckliga LAN-konfigurationer.

Om vi ​​däremot skulle placera dessa kraftfulla arbetsstationer i datacentret får vi nu flera fördelar. Först löses fysisk säkerhet och problem med fjärråtkomst kan mildras med tunna klienter eller åtkomst som bara skjuter pixlar i stället för data över tråden. I det här scenariot finns data på servern snarare än på arbetsstationen. För det andra är dessa system i datacentret snabbare, om inte lättare, att säkerhetskopiera. För det tredje, med smart provisionering kan vi öka utnyttjandet i hela företaget genom att dela dessa system med en distribuerad AI-arbetsstyrka. Slutligen, att vara i datacentret ger oss tillgång till den mest värdefulla AI-tillgången: data.

Vi förberedde en trio av Lenovo-arbetsstationer som vi hade i labbet för detta arbete. Var och en är konfigurerad lite annorlunda och utnyttjar både AMD- och NVIDIA GPU:er, vilket ger flexibilitet eftersom vissa modeller kan klara sig bättre på olika acceleratorer. Varje system har ett NVIDIA ConnectX-6 100GbE-kort installerat, vilket är grundläggande för att säkerställa att dessa system har snabb åtkomst till lagringen. Varje system ansluts sedan till en Dell Z9100 100GbE-switch, som lagringstjänsten också är kopplad till.

Del Arbetsstation 1 Arbetsstation 2 Arbetsstation 3
Modell lenovo P620 lenovo P620 lenovo P5
CPU AMD Ryzen Threadripper PRO 5995WX AMD Ryzen Threadripper PRO 3995WX Intel Xeon w7-2495X
Minne 128GB DDR4 3200 32GB DDR4 3200 32GB DDR5 4800Mhz
GPU AMD Radeon PRO W7900 Nvidia RTX A6000 Nvidia RTX A4500

Snabb AI-lagring med KIOXIA XD7P Series SSD:er

Med AI-arbetsstationens testbädd sorterad vänder vi oss till lagringsservern. I det här fallet använder vi en Supermicro Storage SuperServer SSG-121E-NES24R. Denna 1U-server har dubbla Intel Xeon Platinum 8450H-processorer med 28 kärnor och 56 trådar med en basfrekvens på 2.00 GHz. 8450H-processorerna kan nå en maximal turbofrekvens på 3.50 GHz samtidigt som de har en cache på 75MB och en TDP på ​​250W. 512 GB DDR5 RAM är ett relativt blygsamt RAM-fotavtryck. Servern använder samma NVIDIA ConnectX-6 100GbE NIC som arbetsstationerna för anslutning. Vi installerade också en NVIDIA A2 GPU för slutledning.

När det gäller lagring skickade KIOXIA oss 24x XD7P Series Data Center NVMe SSD:er. KIOXIA XD7P Series E1.S SSD: er är speciellt designade för att möta behoven hos hyperskala applikationer som finns i moderna datacenter, särskilt när det gäller prestanda, energieffektivitet och termiska krav som beskrivs av Open Compute Project (OCP) Datacenter NVMe SSD Specification.

Dessa SSD-enheter finns tillgängliga i 9.5 mm och 15 mm tjocklek E1.S-variationer, där den senare har en kylfläns för att förbättra värmeavledning. KIOXIAs egenutvecklade arkitektur för XD7P, som omfattar dess styrenhet, firmware och 5th-gen BiCS FLASH™, bidrar till den övergripande effektiviteten, tillförlitligheten och prestanda. Den nya serien erbjuds i kapaciteter från 1.92 TB till 7.68 TB för att möta varierande lagringsbehov.

Några nyckelfunktioner inkluderar strömförlustskydd (PLP) och end-to-end dataskydd, som är avgörande för att upprätthålla dataintegriteten i scenarier som involverar oväntat strömavbrott. Dessutom ger tillgången till self-encrypting-drive (SED) teknologi ett extra lager av datasäkerhet.

När det gäller prestanda erbjuder KIOXIA XD7P Series SSD: er imponerande potentiella siffror över olika kapaciteter. Med ihållande sekventiell läshastighet på upp till 7,200 4,800 MB/s och sekventiell skrivhastighet på upp till 1,650 200 MB/s för större kapacitet, är dessa SSD-enheter designade för att hantera dataintensiva uppgifter effektivt. Dessutom gör de ihållande slumpmässiga läs- och skrivhastigheterna på upp till XNUMX XNUMX XNUMX IOPS respektive XNUMX XNUMX IOPS dem lämpliga för arbetsbelastningar som kräver höga I/O-operationer.

XD7P utnyttjar E1.S-formfaktorn för att uppnå en unik balans mellan prestanda och densitet. Detta positionerar de nya hårddiskarna som en framtidsinriktad lösning för flashlagring i moln- och hyperskala datacenter, som möter de förändrade kraven i dessa krävande miljöer. XD7P:s standardiserade storlek och inbyggda kylflänsar ger ett effektivt sätt att rymma våra 24 frontmonterade enheter i 1U SuperServer SSG-121E-NES24R, vilket avsevärt ökar serverdensiteten. Dessutom positionerar E1.S:s hot-swappability, tillsammans med dess förmåga att hantera högpresterande arbetsbelastningar utan termiska problem, den som en praktisk ersättning för M.2-kontakten i datacenter, med förbättrad effektivitet och prestanda för lagringslösningar som datacenter .

XD7P stöder PCIe Gen4 x4-banor. Drivenheten spelar bra med Gen4 eller Gen5 bakplan.

KIOXIA XD7P Series Snabbspecifikationer

Kapacitet 7,680 GB 3,840 GB 1,920 GB 7,680 GB 3,840 GB 1,920 GB
Grundläggande specifikationer
Formfaktor E1.S 15mm E1.S 9.5mm
Gränssnitt PCIe 5.0, NVMe 2.0
Typ av flashminne BiCS FLASH TLC
Prestanda (upp till)
Uthållig 128 KiB sekventiell läsning 7,200MB / s
Uthållig 128 KiB sekventiell skrivning 4,800MB / s 3,100MB / s 4,800MB / s 3,100MB / s
Hållbar 4 KiB slumpmässig läsning 1,550K IOPS 1,650K IOPS 1,500K IOPS 1,550K IOPS 1,650K IOPS 1,500K IOPS
Sustained 4 KiB Random Write 200K IOPS 180K IOPS 95K IOPS 200K IOPS 180K IOPS 95K IOPS
Kraftbehov
Matningsspänning 12 V ± 10%
Strömförbrukning (aktiv) 20 W typ. 20 W typ. 16 W typ. 20 W typ. 20 W typ. 16 W typ.
Strömförbrukning (klar) 5 W typ.
Pålitlighet
MTTF 2,000,000 timmar
DWPD 1

Lagringsserverprestanda med KIOXIA XD7P Series SSD:er

För att bättre förstå hur bra den här kombinationen kan prestera började vi med att skaka ner lagringsservern med interna prestandatester. När vi tittade på lagringsserverns prestanda fokuserade vi på den fullständiga råprestandan i en JBOD-konfiguration i Ubuntu Linux för att karakterisera vad lagringen är kapabel till.

Vi tittade på toppkapacitet med en 4K slumpmässig arbetsbelastning och sedan toppbandbredd med en 64k sekventiell arbetsbelastning. Dessa tester kördes med VDbench i en Ubuntu 22.04-miljö.

Arbetsbelastning Läsa Skriva
64K sekventiell, 64-trådsbelastning 158GB / s 64.1GB / s
4K slumpmässig, 512-trådsbelastning 4.09M IOPS, 16GB/s 4.5M IOPS, 17.7GB/s

I vår experimentella uppställning bestämde vi oss för att använda Windows Storage Spaces i kombination med SMB3-protokollet för att utnyttja KIOXIA-höghastighetsenheterna. Genom att utnyttja Storage Spaces för att skapa en fjädrande speglad lagringspool kunde vi säkerställa dataintegritet och optimera I/O-prestanda.

SMB3:s förbättrade funktioner, som flerkanalsfunktioner och beständiga handtag, möjliggör direktströmning av stora databitar med hög genomströmning till flera GPU-arbetsstationer, och kringgår traditionella flaskhalsar som ofta förknippas med långsammare, CPU-bundet minne. Denna inställning hade den dubbla fördelen att möjliggöra snabb datahämtning samtidigt som flera arbetsstationer samtidigt kan komma åt och ladda data till och från vår KIOXIA-drivna delade lagring.

Medan våra tidigare tester mätte den råa prestandan för KIOXIA XD7P Series SSD-enheter utan ett filsystem på plats, tog vi en andra titt på prestanda i Windows Server 2022-miljön. I den här installationen, med den speglade virtuella disken på plats i vår stora lagringspool, använde vi filsystemet NTFS.

För att bekräfta stark prestanda från vår speglade volym använde vi CrystalDiskMark lokalt på servern. Detta test sattes upp för att mäta sekventiella läs- och skrivprestanda med en överföringsstorlek på 1 MB samt slumpmässiga 4K-överföringshastigheter. Här, med ett filavtryck på 64 GB, mätte vi 87.4 GB/s läsning och uppåt 18.4 GB/s skrivning.

För den här artikeln tittar vi på de övergripande funktionerna för hela AI-lösningen, så även om det är imponerande att ha den här typen av prestandaprofil, ger KIOXIA oss helt klart mer än vi behöver. Detta är en bra sak, eftersom det betyder att vi enkelt kan skala upp antalet AI-arbetsstationer eller tilldela ytterligare uppgifter till lagringsservern, vare sig det är att skrubba och rengöra våra data eller något helt annat.

Matning av AI-arbetsstationer Gott om höghastighetslagring

Med våra GPU-arbetsstationer placerade i labracket, nätverksanslutna med 100GbE till vår KIOXIA-baserade all-flash 1U-filserver och resurser inställda, gick vi iväg för att testa detta i praktiken. I vår testinställning valde vi en enkel enkel 100GbE-länk från varje arbetsstation till vår Dell Z9100 100GbE-switch, som sedan kopplades tillbaka till lagringsservern med en annan 100GbE-länk.

Här kunde vi mäta imponerande 11.4 GB/s läsning och 11 GB/s skrivning från en Windows-filandel från vår KIOXIA-lagringsserver.

Denna nivå av prestanda och täthet över tråden till AI-arbetsstationerna kommer att ge ett enormt värde. Istället för att försöka fylla AI-arbetsstationerna med lokal lagring, kan vi dela ännu mer presterande lagring över 100 GbE som är mer eller mindre obegränsad i kapacitet.

GenAI i praktiken – LLM Training Data Sets

Large Language Models (LLM) är de mest populära barnen på IT-blocket nuförtiden. Att träna och finjustera dem är ett enormt uppdrag som kräver monumentala datamängder och ännu större GPU-hästkrafter för att bearbeta dem. För att ladda upp några GPU-arbetsstationer och göra några verkliga tester, tog vi en dump av all text Reddit-inlämningar och kommentarer från 2012 till 2021 med några justeringar, såväl som Stanford Alpaca träningsdatauppsättning, till LLaMa modell för flera finjusteringsförsök. Syftet var att utvärdera effektiviteten, noggrannheten och livskraften hos LLaMa-modellen när den utsätts för storskaliga datauppsättningar i den verkliga världen.

Från Windows Server 2022-plattformen grupperades de 24 KIOXIA XD7P Series SSD:erna till en 168TB pool och sedan till en 83.7TB speglad volym. Denna volym delades sedan över 100 GbE-nätverket med en fildelning till var och en av de tre arbetsstationerna att utnyttja. Supermicro Superserver-lagringsservern som används kan hantera en datastorlek som fyller upp hela volymen på 84TB utan att påverka prestandan. Den nuvarande datastorleken som används är 5.6 TB, men volymen kan hantera en mycket större storlek.

Varje GPU-arbetsstation konfigurerades något annorlunda för att ge en mångsidig miljö. Vi behandlade varje maskin som om det vore en enskild utvecklare som arbetade med olika modeller på en delad datamängd och delade inte ut någon utbildning. Valet av Windows i detta sammanhang var att efterlikna ett tidigt forsknings- eller utvecklingsscenario.

För sammanhang på den omfattning av data vi har att göra med, bestod våra datamängder för detta test av 16,372 3.7 filer för LLM-träningsdata, som konsumerar 8,501 TB diskutrymme och ytterligare 1.9 24,873 filer för bildträningsdata som tar upp 5.6 TB. Totalt arbetade vi med XNUMX XNUMX filer på XNUMX TB. Det är viktigt att notera att vi medvetet begränsade storleken på våra datamängder och inte utnyttjade hela lagringskapaciteten för dessa experiment; annars skulle utbildningen eller finjusteringsprocessen ha varit tidsödande för detta projekt. Med denna konfiguration kunde alla arbetsstationer dela datamängder och spara kontrollpunkter och skärvor på servern för samarbete.

Filer Storlek på disk
LLM utbildningsdata 16,372 3.7TB
Bildträningsdata 8,501 1.9TB
Totalt 24,873 5.6TB

Mjukvarustacken för båda våra experiment var en enkel konfiguration, och vi lutade oss åt kraften i Anakonda och Windows Subsystem för Linux (WSL). Anaconda tillhandahåller en robust miljö för att hantera våra Python-baserade maskininlärningsbibliotek och beroenden, vilket möjliggör en modulär och lätt replikerbar installation över våra GPU-arbetsstationer. WSL hjälper till att överbrygga klyftan mellan Windows och Linux-baserade verktyg, och erbjuder flexibiliteten att köra Linux-specifika datamanipulerings- och orkestreringsverktyg sömlöst på våra Windows-arbetsstationer. Vi skulle kunna köra skalskript för dataförbearbetning och starta Python-baserade utbildningsjobb, allt inom ett enhetligt arbetsflöde. En del av anledningen till att vi valde den här vägen var inte bara enkel konfiguration utan också för att jämna ut spelplanen med vår blandade GPU-miljö.

Under utbildningsprocessen gjordes några viktiga observationer:

  1. Datadiversitet: Sammanslagningen av Reddit-inlämningar och kommentarer, som spänner över nästan ett decennium, gav modellen en eklektisk blandning av ämnen, lexikon och konversationssammanhang. Denna rika mångfald gav en omfattande plattform för modellen att förstå och anpassa sig till olika nyanser, känslor och kulturella förändringar över tid.
  2. Modellskalbarhet: Att hantera en sådan enorm mängd data var ett lackmustest för skalbarheten hos LLaMa-modellen. Vi fann att när utbildningsepoker ökade, förbättrades modellens förmåga att förutsäga och generera relevanta svar avsevärt, vilket belyser dess potential för storskaliga tillämpningar. Överanpassning var ett problem efter ungefär ett halvdussin men var inte nödvändigtvis ett problem för detta test, eftersom målet var att ladda upp våra GPU:er och nätverksdelning mer än att skapa en allmän LLM-modell.
  3. Resursoptimering: Med tanke på den monumentala GPU-hästkraften som krävdes var det avgörande att säkerställa ett effektivt utnyttjande av beräkningsresurser. Dynamisk lastbalansering, periodiska kontrollpunkter och on-the-fly dataökningstekniker användes för att säkerställa optimal prestanda.
  4. Överför inlärningsförmåga: Att använda Stanford Alpaca-utbildningsdatauppsättningen i kombination med Reddit-data var avgörande för att mäta modellens överföringsinlärningsförmåga. Alpaca-datasetets inneboende struktur och akademiska karaktär, tillsammans med den informella och varierande karaktären hos Reddit-data, utgjorde en spännande utmaning. Resultaten visade att LLaMa sömlöst kunde integrera kunskap från olika källor, vilket gör den mångsidig och anpassningsbar.
  5. Etiska överväganden: Även om den stora Reddit-datauppsättningen erbjuder en skattkammare av information, är det viktigt att säkerställa att personlig identifierbar information utesluts och att data används etiskt och ansvarsfullt. Rigorösa datarensnings- och anonymiseringsprocesser skulle behöva införas för publicering av modellen för att upprätthålla användarnas integritet.

Den här övningen underströk den viktiga roll som KIOXIAs högdensitetsmotorer spelade för att förbättra vår träningseffektivitet. Med tanke på den kolossala storleken på datamängderna och den iterativa karaktären av modellträning är lagringshastighet och kapacitet ofta flaskhalsar i sådana experiment. Med KIOXIAs enheter fick vi lyxen att lagra flera instanser av datasetet, mellanmodellvikter och dussintals finjusterade kontrollpunkter. Deras snabba läs- och skrivhastigheter underlättade snabb datahämtning, vilket gjorde att vi kunde bearbeta flera iterationer av finjusteringen med olika hyperparametrar parallellt, som visas nedan.

Detta var avgörande i vår strävan att hitta en optimal fungerande kontrollpunkt. Tack vare vår nybyggda KIOXIA-drivna lagringsserver kunde vi fokusera på att förfina modellen, justera parametrar och utvärdera resultat snarare än att begränsas av lagringsbegränsningar. Högdensitetsenheterna var därför inte bara en lagringslösning utan en avgörande tillgång som avsevärt accelererade vår experimentfas. Detta möjliggjorde en mer grundlig och effektiv utforskning av LLaMa-modellens potential och tillät oss att utveckla vårt eget nya konvolutionella neurala nätverk (CNN).

För oinitierade, ett konvolutionellt neuralt nätverk (CNN) är en specialiserad typ av djupinlärningsarkitektur som huvudsakligen används i bildbehandlings- och datorseendeuppgifter. Dess distinkta särdrag ligger i de konvolutionella lagren som automatiskt och adaptivt lär sig rumsliga hierarkier av funktioner från inmatade bilder. Till skillnad från traditionella neurala nätverk som förlitar sig på helt anslutna lager, utnyttjar CNN:er den rumsliga strukturen av datan genom att tillämpa faltningsfilter, som behandlar indata i små bitar eller mottagliga fält. Detta resulterar i ett nätverk som kan upptäcka intrikata mönster, såsom kanter, texturer och mer komplexa strukturer, genom att bygga upp från enklare. När data fortskrider djupare in i nätverket blir dessa mönster mer abstrakta, vilket gör att CNN:er kan känna igen och klassificera olika och ofta invecklade visuella enheter hierarkiskt.

Genom flera finjusteringsförsök visade modellen sin förmåga att effektivt bearbeta massiva datamängder och framhävde dess potential att producera relevanta, sammanhangsmedvetna och nyanserade utdata. När LLM:er fortsätter att få dragkraft ger sådana experiment ovärderliga insikter i deras praktiska tillämpningar och begränsningar, vilket banar väg för mer sofistikerade och användarcentrerade AI-lösningar i framtiden.

Serverns slutledningsförmåga

Att utföra slutledningsoperationer på samma datauppsättning erbjuder en strömlinjeformad struktur, vilket förenklar datahanteringens krångligheter. Vår server är inte bara ett lagringsverktyg – den är utrustad för att hantera slutledningsrelaterade aktiviteter, inklusive dataintag och förberedelse.

För att testa slutledning på större datamängder valde vi en uppsättning astrofotograferingsbilder från cirka 1 Mb till 20 Mb och körde en ny CNN som vi arbetar med mot dem. I vårt scenario laddas modellen till GPU:n och sedan laddas en bild eller serie bilder för bearbetning genom det neurala nätverket.

Detta är en bredare lagringsfotavtrycksprofil än du skulle stöta på i något som en datorseende objektklassificering från en standardiserad kamera. Ändå illustrerade det flexibiliteten och konsekvensen i plattformens prestanda. I grafen nedan, som är sorterad efter storlek och inte i vilken ordning den laddades (med undantag för några få extremvärden), är lästiden och återskrivningstiderna skalade på lämpligt sätt.

Det är viktigt att komma ihåg att denna plot är sorterad från minsta till största för att illustrera den linjära prestandan för enheterna och servern. Själva körningen och datauppsättningen randomiserades, så det kunde ha blivit en 1Mb-fil läst och skriven, följt omedelbart av en 20Mb-fil. Typen av den faktiska behandlingen var i ingen speciell ordning. Lästiderna varierade från 10 ms till 25 ms, med extremvärden som sträckte sig in i intervallet 70 ms+.

Diagrammet nedan illustrerar skrivning av en liknande linjär progression med mindre avvikelse och visar skrivningar av samma filer som sträcker sig från 12ms till 118ms.


En annan viktig del av information att komma ihåg är att denna plot är ett aggregat från spårning över tre GPU-arbetsstationer som samtidigt kör en slutledning till samma datauppsättning. KIOXIA-enheterna kunde tjäna och skriva tillbaka imponerande 10.5 GB till tre GPU-arbetsstationer som körde inferens mot en slumpmässig datauppsättning av 1000 bilder, exklusive den serialiserade bearbetningen som modellen använder. Hela processen tog bara 59.62 sekunder, eller 59 ms, att läsa och skriva tillbaka en enda bild.

Flera alternativ kan förbättra hastigheten och latensen eftersom den här designen skalas upp till flera arbetsstationer eller GPU-servrar. Implementering av NVIDIAs GPUDirect Storage, kombinerat med RDMA (Remote Direct Memory Access)-protokollet, skulle underlätta sömlös dataöverföring från den delade lagringen med hög densitet direkt in i GPU-minnet. Detta tillvägagångssätt skulle effektivt kringgå CPU- och systemminnesflaskhalsar. Genom att utnyttja NVMe över tyger och NVIDIA-nätverksutrustning kan stora datavolymer förinstalleras i GPU-minnet i nästan realtid. Detta skulle vara särskilt fördelaktigt när man arbetar med LLM:er, med tanke på deras stora datamängder och beräkningskrav. En sådan förmåga skulle kunna eliminera behovet av datacachning och skulle tillåta flera arbetsstationer att läsa och mata in data från den delade lagringspoolen samtidigt.

Avslutande tankar

Att ta itu med I/O-flaskhalsen för större modeller är avgörande för den fortsatta utvecklingen av maskininlärning, särskilt när man hanterar expansiva datamängder. En centraliserad nätverksdelning med hög hastighet erbjuder en trefaldig fördel jämfört med traditionell lokal lagring.

  • För det första effektiviserar det verksamheten genom att eliminera behovet av att migrera stora datamängder till individuella arbetsstationer för utbildning. Detta bekämpar direkt I/O-flaskhalsarna som kan lamslå maskininlärningsprojekt, särskilt de som involverar modeller för djupinlärning.
  • För det andra, genom att välja ett centraliserat tillvägagångssätt, undviker du att överväldiga arbetsstationens värdefulla PCIe-banor med överdrivna eller till och med ouppnåeliga mängder lokal lagring. Tack vare höghastighetsanslutningen kan detta göra det möjligt för fler GPU:er att bearbeta data mer effektivt parallellt, vilket gör maskininlärningsoperationer smidigare och smidigare.
  • För det tredje ger centraliserad lagring i sig bättre säkerhetsåtgärder. När data lagras på en säker, enda plats blir det lättare att hantera åtkomstkontroller och implementera säkerhetsprotokoll, vilket minskar risken för dataintrång, fysiska hot eller obehörig åtkomst.

Dessutom säkerställer centralisering av data förbättrad datakonsistens och ett extra lager av dataredundans. Arbetsstationer får tillgång till de mest uppdaterade data från en enda källa, vilket minimerar avvikelser i resultat på grund av föråldrad eller inkonsekvent träning eller finjustering av data eller modellkontrollpunkter. Detta förenklar också datahanteringen och sparar lagringsutrymme.

I takt med att skalbarhet, effektivitet och säkerhet blir allt viktigare i det hypersoniskt utvecklande landskapet av AI och maskininlärning, är övergången till centraliserad, tät, höghastighetslagring som tillhandahålls av teknik som KIOXIA E1.S-plattformen ett övertygande fall. Detta är avgörande inte bara för förbättrad prestanda utan för en grundläggande förändring av hur vi närmar oss datahantering och modellutbildning.

Specifikationsblad för KIOXIA XD7P Series E1.S NVMe Datacenter

Denna rapport är sponsrad av KIOXIA America, Inc. Alla åsikter och åsikter som uttrycks i denna rapport är baserade på vår opartiska syn på den eller de produkter som övervägs.

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde