Tijdens het SC25-evenement in St. Louis sprak Brian met zijn oude vriend Mark Klarzynski, oprichter en waarnemend CTO van PEAK:AIO. Als u StorageReview volgt, bent u wellicht bekend met onze berichtgeving over PEAK:AIO, van reguliere nieuwsberichten tot medische AI en dierenbescherming.
Zoals Mark uitlegt, heeft hij "zijn hele leven in de opslag doorgebracht en kent hij Brian al heel lang." Dat blijkt uit het openhartige, ongedwongen gesprek over hardware en software, en de evolutie van beide.
In deze zeer korte podcast praten Brian en Mark over softwareontwikkeling, Dell's PowerEdge en GPU-servers. Mark is enthousiast over de vooruitgang in hardwareontwerp, met name de Dell PowerEdge R7725xd , die wordt aangedreven door AMD EPYC CPU's.
Deze korte podcast bestrijkt veel terrein en is de moeite waard om in één keer te beluisteren. Mocht je echter geen 20 minuten over hebben, dan hebben we hem opgedeeld in stukjes van vijf minuten, zodat je kunt wisselen.
0:00 - 5:00
- PEAK:AIO-software maakt de extreme prestaties van de Dell 7725XD mogelijk.
- Moderne hardware (CPU's, NVMe, netwerken) is eindelijk goed genoeg dat software 'uit de weg kan gaan'.
- PEAK:AIO heeft tientallen jaren aan verouderde opslagfuncties verwijderd om dichter bij de 'bare metal' te komen.
- Hun verbazing: de Dell-box leverde veel hogere prestaties dan verwacht; ze dachten dat de tests niet klopten.
- Filosofie: Dingen maken eenvoudig en stabiel is ingewikkelder dan ze alleen maar snel te maken.
5:00 - 10:00
- PEAK:AIO heeft ervoor gekozen om onafhankelijk te blijven en geen onderdeel te worden van de productlijn van een prominente leverancier.
- Ze werken rechtstreeks samen met onderzoeksteams (bijvoorbeeld met hersentumormodellen), wat meer oplevert dan alleen het versnellen van databases.
- Vroege focus: het comprimeren van wat voorheen 4-10 opslagknooppunten vereiste tot een enkele krachtige server.
- Traditionele parallelle bestandssystemen zijn gebouwd voor 10GbE + HDD; tegenwoordig zijn NVMe en enorme PCIe-bandbreedte vereist.
- Met Los Alamos bouwen ze een open, moderne NFS stof - geen gepatenteerde lock-in.
10:00 - 15:00
- Hardware ‘verlanglijstje’: meer PCIe-lanes en PCIe Gen 6 om nog meer bandbreedte vrij te maken.
- Visie: GPU-servers die een modelbox, inferentiebox en opslagknooppunt alles in één, maar toch onderdeel van een grotere naamruimte.
- Begin klein op een GPU-server. Wanneer de opslagruimte vol is, voegt u een 7725XD toe en laat u PEAK:AIO automatisch uitbreiden en opnieuw in balans brengen.
- Klanten willen hun opslag alleen opschalen als AI-projecten hun waarde bewijzen, en niet meteen een gigantische array kopen.
- Economische overwegingen spelen een rol: je kunt een opslagarray van $ 1 miljoen achter een GPU-server van $ 300 niet rechtvaardigen voor ziekenhuizen en vergelijkbare budgetten.
15:00 - 20:00
- Strategie: Gebruik commodity-servers plus PEAK:AIO-software ter vervanging van dure, gespecialiseerde opslagarrays.
- OEM's als Dell pakken fundamentele hardwareproblemen aan; PEAK:AIO richt zich op software, stabiliteit en prestaties.
- Ingebouwde monitoring en voorspellende intelligentie; jarenlang in het veld zonder downtime van hun platform.
- Resultaten van het gezamenlijke project: ~70M IOPS in één knooppunt en honderden GB/s doorvoer – recordaantallen voor hen.
- Volgende stap: modellen plaatsen binnen het opslagknooppunt (met reserve CPU/GPU-capaciteit), zodat de inferentie in de box plaatsvindt en niet via het netwerk.
Amazon