Maulik Sompura van KIOXIA gaat met Brian in gesprek over alles wat met flash te maken heeft en andere evenementen in de branche. Het onderwerp is actueel en relevant, gezien de enorme groei van AI en moderne workloads.
Maulik Sompura is Senior Staff Director—Product Planning and Management bij KIOXIA en heeft meer dan 13 jaar ervaring met NAND, geheugen en SSD's, waarvan de laatste zes jaar bij KIOXIA. Daarnaast werkte hij onder meer bij Intel en Toshiba.
Het gesprek gaat verder dan opslag en geheugen en gaat over vloeistofkoeling, hyperscalers en form factors. Ook open-source software, nieuwe fabs, zorgen over schaalbaarheid en de angst voor een nieuwe 'Covid-boom-and-bust'-gebeurtenis komen aan bod.
Het is een informatief gesprek dat je aanzet tot nadenken over iets op de lange termijn. We hebben de podcast opgedeeld in stukjes van vijf minuten, zodat je direct naar het deel kunt springen dat het meest relevant is voor jou en je omgeving. Het is echter zeker de moeite waard om hem in zijn geheel te bekijken.
Brian en Maulik beginnen het gesprek met de radicale ontwikkeling van SSD's en flashopslag, vooral onder druk van AI en grootschalige datacenters.
0:00–5:00: Hyperscalers domineren in stilte
- SSD-portfolio's zijn enorm complex geworden: er zijn veel verschillende vormfactoren, duurzaamheidsniveaus en prestatieniveaus.
- Door de opkomst van AI is opslag een prioriteit geworden, net na GPU's/HBM.
- Hyperscalers (Meta, Google, Amazon, etc.) stellen gedetailleerde schijfvereisten en die aangepaste ontwerpen bepalen uiteindelijk wat ondernemingen krijgen.
- OCP-specificaties helpen de chaos te verenigen en te vereenvoudigen door iedereen een gemeenschappelijk doelwit te geven bovenop NVMe.
- De industrie probeert actief het aantal SKU's te verkleinen en te migreren naar moderne vormfactoren zoals de E3, ook al blijven oudere vormfactoren nog steeds bestaan.
5:00–10:00: E3-, E2- en Petabyte-klasse schijven
- E3 wordt de voorkeursuitvoeringsvormfactor voor Gen6+ vanwege de betere stroomvoorziening en thermische eigenschappen.
- 2.5″-schijven blijven nog jaren in gebruik vanwege de lange levenscyclus van producten, maar nieuwe ontwerpen worden overgezet naar EDSFF.
- De E2 is een grotere SSD-vormfactor die vooral op capaciteit is gericht en die bij extreme capaciteiten als een echte vervanging voor harde schijven kan worden gezien.
- Met geavanceerde NAND-stacking kan een enkele E2-schijf uiteindelijk 1 PB bereiken.
- Hyperscalers beperken de risico's van grote schijven door middel van sharding, erasure coding en voorspellende analyses. Bovendien zijn de herbouwtijden voor grote SSD's nog steeds veel korter dan voor grote HDD's.
10:00–15:00: Vloeistofkoeling is ook beschikbaar voor SSD's
- AI-trainingssystemen zorgen voor een wijdverbreide acceptatie van vloeistofkoeling, en dat wordt nu ook toegepast bij opslag.
- SSD's in E3-vormfactoren worden opnieuw ontworpen voor direct contact met koude platen (oppervlaktevlakheid, materialen en connectordetails).
- Vloeistofgekoelde Gen5 SSD's maken de weg vrij voor Gen6, waarbij het vermogen en de warmte nog hoger liggen.
- Bedrijven zijn voorzichtig met het binnenbrengen van water in datacenters, maar door de stijgende energiekosten en de GPU-dichtheid wordt vloeistofkoeling steeds moeilijker te vermijden.
15:00–20:00: AI-opslag: capaciteit, prestaties en weefselspanning
- AI stimuleert opslag op twee vlakken: enorme capaciteit en zeer hoge prestaties.
- De 245 TB-klasse schijf van KIOXIA (met 32 QLC-stacks) is gericht op datalakes en grote opslagplaatsen, niet alleen op generieke workloads.
- In een moderne behuizing kan opslag 250–280 GB/s aan. De bottleneck wordt echter steeds meer het netwerk, en niet de schijven.
- Hyperscalers racen naar 400/800 GbE en slimmere NIC's/DPU's, terwijl klanten in het middensegment moeite hebben om die mate van infrastructuurinvestering bij te benen.
- Traditionele databases en Fibre Channel blijven bestaan, maar vectordatabases en op AI gebaseerde gegevensopslag sluiten zich daarbij aan.
20:00–25:00: Slimmere software en een echte Flash-supercyclus
- KIOXIA levert niet alleen schijven, maar investeert ook in software (bijvoorbeeld ISAAC) om de HBM/DRAM-behoeften te verminderen en tegelijkertijd de AI-prestaties te behouden.
- De strategie is holistisch: verbeter de kosten en efficiëntie op systeemniveau, niet alleen via snellere NAND.
- Nieuwe fabrieken zoals Kitakami (K2) worden steeds populairder, maar leveranciers zijn voorzichtig na de piek- en neergangcycli in het Covid-tijdperk, die de sector zo'n $ 30 miljard hebben gekost.
- Het opschalen van NAND (meer lagen, fijnere lithografie) wordt duurder en sneller, dus het aanbod zal toenemen, maar op een gecontroleerde manier.
- Velen zien dit als een meerjarige ‘supercyclus’, aangestuurd door AI en de groei van data, en niet slechts als een normale plotselinge opleving van één tot twee jaar.
25:00–Einde: AI Everywhere, Flash vs. HDD en leren van HPC
- De hoeveelheid data blijft groeien en wordt zelden verwijderd. AI beweegt zich naar alle plekken waar die data zich bevindt, zoals de edge, back-ups en secundaire lagen.
- SSD's met hoge capaciteit kunnen ~100 PB per rack leveren, vergeleken met meerdere racks met HDD's voor dezelfde capaciteit, met veel betere prestaties en efficiëntie.
- De prestaties van HDD's schalen niet mee met de capaciteit. SSD's leveren veel hogere IOPS/GB en doorvoer, waardoor de TCO wordt verlaagd en flash op grote schaal wordt bevoordeeld.
- Op beurzen als OCP en Supercomputing (SC) wordt de toekomst voor het eerst zichtbaar: brede racks, 800V-busbars, exotische koeling en stroomontwerpen.
- Innovaties op het gebied van hyperscalers en HPC bepalen gestaag hoe ‘normale’ bedrijfsservers en datacenters eruit zullen zien, met veerkracht en efficiëntie.
Amazon