Podcast #142: Vad blir nästa steg för lagring i AI-eran?

Brian och hans team landade nyligen i Montreal för att besöka Hypertecs laboratorieanläggning och bevittna några intressanta trender inom immersionskylning med ledande inom området.

Efter labbrundturen och produktdemonstrationerna sätter Brian sig ner med Scott Shadley, chef för ledarskapsberättelser på Solidigm. Scott och Brian har en livlig och öppen diskussion där de spårar utvecklingen av kylning, flashlagring och hur man bryter sig loss från äldre hårddiskformat.

Det handlar dock inte bara om immersionsteknik. Brian och Scott diskuterar utmaningar med signalintegritet i PCIe Gen5/6 och avvägningen mellan prestanda och tillförlitlighet. Naturligtvis kan det inte finnas en podcast utan ett AI-segment, så vi täcker ämnen som AI-driven datatillväxt, RAID-motståndskraft och hantering av stora hårddiskar med "blast radius".

Scott diskuterar Solidigms fokus på att utveckla produkter som kunderna vill ha, snarare än att gissa vad branschen behöver. Detta fungerar bara när leverantörer arbetar nära kunderna för att förstå deras smärtpunkter. Scott går in i samarbetet med NVIDIA. Det är lätt att höra entusiasmen i Scotts röst. Eftersom det är en massiv hårdvarumiljö har Brian naturligtvis svårt att torka bort leendet från läpparna.

Den här podcasten täcker allt från tidiga Fibre Channel-hårddiskar till flashminnen och NVMe, och utforskar även edge computing-applikationer, AI-inferensavlastning och utveckling av SSD-enheter med immersionskvalificering.

Den här podden är ett måste för alla som är intresserade av utvecklingen av immersionskylning och flashlagring, samt varför ett starkt partnerekosystem är avgörande för kundernas framgång. Om du har 35 minuter extra, lyssna på den här eller titta på den från början till slut; den är värd tiden. Om du vill utforska specifika ämnen har vi uppdelat den i femminuterssegment.

0:00 – 5:00 | Immersionskylning och branschtrender

Höjdpunkter:

• Öppnar från Montreal med Solidigm och Hypertec.
• Diskussion av nedsänkningskylning, vätskekylning kontra luftkylningoch en rundtur i Hypertecs anläggning.
• Omnämnande av OCP och hur datacenteringenjörer "blir rörmokare" på grund av utbredd vätskekyld infrastruktur.
• Solidigms samarbete med partners om direkt-till-chip vätskekylningslösningar är utformad i samarbete med NVIDIA.
• Filosofi bakom öppen innovation: Solidigm bidrar med IP till branschstandarder via SNIA för att säkerställa interoperabilitet.
• Betoning på kunddriven innovation jagar över nästa PCIe- eller gränssnittsgeneration.

5:00 – 10:00 | Utvecklingen av flashlagring och formfaktorer

Höjdpunkter:

• Reflekterar kring tidiga företagsflashminnen (Intel X25, SAS/Fibre Channel SSD-diskar).
• Övergången från äldre hårddiskar till SSD-diskar och "bryta igenom lådan"-ögonblicket med NVMe.
• Framväxten av nya formfaktorer (EDSFF) → E1.S, E1.L, E3).
• Diskussion om hur standardiseringen utvecklas utöver traditionella 2.5-tums och 3.5-tums hårddiskdesigner.
• Designutmaningar med immersionsmiljöer och flashplattformar med hög densitet.
• Betydelsen av termisk stabilitet: Konsekventa miljöer förbättrar uthållighet och tillförlitlighet.
• Innovationer inom kylning är direkt kopplade till längre livslängd för SSD-diskar och högre effektivitet.

10:00 – 15:00 | PCIe-generationer, signalintegritet och systemdesign

Höjdpunkter:

• Prata om kopplingsdesign utmaningar i nästa generations cold-plate- och PCIe Gen 5- och 6-miljöer.
• Problem med signalintegritet växer från PCIe 3→5→6: Varje generation ökar känsligheten för buller.
• Analogi: PCIe-utvecklingen från 3G till 5G: fler noder, kortare avstånd, snävare toleranser.
• Solidigms syn: optimera systemarkitektur och densitet istället för att jaga rå drivhastighet.
• Många företagskunder fortsätter att använda Gen4 eftersom det är "tillräckligt snabbt" för distribuerade arbetsbelastningar.
• Skift från ren prestation till holistisk genomströmning, tillförlitlighet och effektivitet.

15:00 – 20:00 | Tillförlitlighet, kapacitet och kundförtroende

Höjdpunkter:

• Prestandan är balanserad med kvalitet, lång livslängd och konsekvens.
• SSD-diskar når "tillförlitligheten hos ett DIMM". Många kunder slutar byta diskar; de misslyckas "vältaligt".
• Kundnöjdhet och förtroende är högsta prioritet; Solidigm får höga betyg i leverantörsbetyg.
• Uppkomsten av ultratäta enheter som 122TB-modeller (D5-P5336-familjen) och diskussion om adoption.
• Större kapaciteter är inte längre haloprodukter.
• Tillverkningsutmaning: Mindre hårddiskar är svårare att producera när NAND-densiteten ökar.
• Enheter dimensionerade för total ägandekostnad (TCO) optimering; metod för att ”ersätta snurrande skivor”.

20:00 – 25:00 | Datatillväxt, AI och oro kring sprängradier

Höjdpunkter:

• Branschskifte från att radera data till hålla allting påfyllt by AI-träning och inferens behov.
• Trenden med ”datasuveränitet”: Regionala utbildningsdataset leder till mer lokaliserade kapacitetskrav.
• Ökande efterfrågan på massiv lokal lagring att anpassa globala modeller som GPT.
• Diskussion om "sprängradie" och risken att förlora en 100 TB-enhet.
• Hårdvaru-RAID för NVMe är tillbaka; GPU-accelererade paritetsombyggnader blir alltmer populära.
• SSD-återuppbyggnader går snabbt. Det är driftstopp snarare än permanent dataförlust som är det verkliga problemet.
• Många operatörer nu design för arkitekturer som inte fungerar på plats istället för manuella byten.

25:00 – 30:00 | Framtida riktningar, AI-fördelar och innovationsmöjligheter

Höjdpunkter:

• Reflektion över branschomfattande lagerbrist driven av AI-boomen och eftersläpningar i NAND-leveranser.
• Unik möjlighet att ompröva arkitekturer och ev. nya formfaktorer eller integrerat flashminne + nätverk.
• Innovation på framkanten: NVIDIAs Spark och Jetson Produkter suddar ut gränserna mellan datacenter och stationära datorer.
• Utforskning av NVMe-avlastning för inferens- och hämtningsutökad generering (RAG).
• Hopp om en framtid där lagringsinnovationer står i centrum på GTC tillsammans med beräkningsteknik och DRAM.
• Betoning på samarbete mellan olika branscher. SNIA:s De nya arbetsgrupperna ”Storage.AI” integrerar lagring, nätverk och AI-anpassning.

30:00 – 34:00 | Avslutande tankar och testning på plats

Höjdpunkter:

• Återvänder till Hypertecs immersionsservrar för verkliga tester med Solidigm-diskar.
• Diskussion av fördelar med termisk stabilitet: jämna temperaturer motsvarar ingen strypning.
• Solidigm arbetar mot fullt kvalificerade SSD:er för kolvätebaserade immersionsvätskor.
• Avslutande samtal: Ömsesidig entusiasm över praktisk experimenterande, prestandakonsekvens och hårdvaruinnovation.
• Sammanfattning och adjö från Montreal.