ZutaCores tvåfaskylning på en Supermicro-server med AMD EPYC, ger förbättrad kylning, effektivitet och rekordstor prestanda.
Som en del av vår pågående utvärdering av avancerad kylningsteknik för högpresterande servrar, testade vi ZutaCore® tvåfas direkt-till-chip (DTC) kyllösning på en Supermicro-server med dubbla AMD EPYC Bergamo-processorer. Denna testning ägde rum i Centersquare Datacenter i Reading, Berkshire, Storbritannien, i samarbete med integratören Boston Limited.
Behovet av effektiva kyllösningar
När CPU:er fortsätter att växa i antal kärnor och energiförbrukning, kämpar traditionella luftkylningslösningar för att hålla jämna steg med de termiska kraven från banbrytande processorer. Detta är särskilt uppenbart i beräkningsnoder med hög densitet, där luftkylningsmetoder inte effektivt hanterar den betydande värme som produceras av högpresterande flerkärniga processorer, såsom AMD:s 128-kärniga EPYC Bergamo.
Eftersom dessa kraftfulla processorer genererar en betydande termisk effekt, blir begränsningarna för luftkylning mer uttalade. Även de mest avancerade kylflänsarna står inför utmaningar när det gäller att upprätthålla optimal termisk prestanda utan att lägga till brus eller dra överskottsström.
Det här projektet handlar om att uppgradera ett Supermicro-chassi med dubbla uttag från traditionell luftkylning till ZutaCores tvåfasiga DTC-lösning. Vi testade systemets förkonvertering, observerade betydande kylningseffektivitetsbegränsningar och jämförde servern efter DTC-installationen.
Maskinvaruinställningen
Testsystemet innehöll ett 1U Supermicro-chassi med dubbla AMD EPYC Bergamo-processorer, var och en med 128 kärnor. Med 256 kärnor under huven och 768 GB RAM, är denna server designad för att hantera täta arbetsbelastningar, särskilt i AI och dataintensiva miljöer. Men även med stora traditionella luftkylande kylflänsar kämpade systemet för att hålla temperaturen i schack under stresstestning, vilket resulterade i termisk strypning.
Vi valde ZutaCores tvåfas vätskekylningssystem för att förbättra kylningen och förbättra prestandan. Detta innovativa system använder en värmeöverföringsvätska som övergår från vätska till ånga i de kalla plattorna som är direkt anslutna till CPU:erna. Denna fasförändring möjliggör mycket högre termisk effektivitet än traditionella vätske- eller luftkylare, eftersom den latenta värmen från vätskeförångningen hjälper till att dra bort värme från CPU-kärnorna mer effektivt.
Konverteringsprocessen
Förbereder servern
Konverteringsprocessen började med att demontera de vanliga luftkylningskomponenterna. Att ta bort de traditionella kylflänsarna avslöjade de små, täta värmespridarna på Bergamo-processorerna, klart underdimensionerade för att hantera den termiska belastningen av dessa kraftkrävande chips. Under de första testerna märkte vi att CPU:erna nådde höga temperaturer och kämpade med ihållande prestanda under stress.
Installation av ZutaCore Cold Plates
Nästa steg var att introducera hjärtat i det tvåfasiga kylsystemet: ZutaCores specialdesignade kylplattor. Dessa kalla plattor är försedda med interna förångare som tillåter värmeöverföringsvätskan att absorbera värme och avdunsta när den passerar genom systemet. Den förångade vätskan återförs sedan till kondensorn, kyls och återinförs i systemet för att fortsätta cykeln.
En av de mer fascinerande egenskaperna hos detta system är dess mekaniska självreglering. Varje förångares flytmekanism justerar värmeöverföringsvätskeflödet baserat på CPU:ns termiska belastning. Ett slutet system som detta säkerställer att varje CPU får den nödvändiga mängden vätska utan manuella ingrepp.
De kalla plattorna var försiktigt placerade på CPU:erna, vilket säkerställde konsekvent tryck och optimal termisk kontakt. Slangen som bär värmeöverföringsvätskan var ansluten till de kalla plattorna, och vi körde en serie trycktester för att säkerställa att det inte fanns några läckor innan vi fortsatte med den fullständiga installationen.
Integration med serverns kraft- och värmehanteringssystem
Nästa utmaning var att integrera kylsystemet i den bredare datacenterinfrastrukturen. ZutaCores DTC-system integreras med serverns befintliga värmehanteringssystem och erbjuder förbättrad kontroll genom ZutaCores kylhanteringsprogramvara. Den här programvaran möjliggör realtidsövervakning av nyckelmått, såsom köldmedietryck, temperatur vid olika punkter i systemet och CPU-övergångstemperaturer.
Mjukvaran ansluter till serverns IPMI (Intelligent Platform Management Interface), vilket möjliggör sömlös övervakning och kontroll av kylparametrar. Vi blev särskilt imponerade av detaljerna, inklusive fläkthastigheter, ångtemperaturer och pumpdriftscykler. Denna granulära insyn i kylprocessen gör det möjligt att finjustera systemets prestanda för att matcha arbetsbelastningen.
Efter att ha kopplat in systemet i värmeavvisningsenheten med snabbkopplingskopplingarna och snabbt tömt atmosfärsgaserna från slingan med hjälp av det medföljande servicepaketet, var systemet redo att startas.
Prestandahöjdpunkter
Resultat före konvertering
Som nämnts ovan, innan vi bytte till ZutaCores tvåfassystem, körde vi en serie benchmarks med lagerluftkylning. Genom att använda arbetsbelastningar utformade för att stressa alla 256 kärnor nådde systemet snabbt termiska gränser, vilket fick processorerna att strypa prestanda för att hålla sig inom säkra driftstemperaturer. Ihållande tunga belastningar resulterade i att CPU-temperaturer svävade nära 85°C, med märkbara fall i klockhastigheter.
Resultat efter konvertering
Efter att ha installerat DTC-lösningen körde vi om dessa riktmärken, och resultaten var dramatiska. CPU-temperaturerna, under full belastning, sjönk avsevärt, med topptemperaturer kvar under 65°C. Ännu viktigare, termisk strypning eliminerades. Det tvåfasiga systemet höll Bergamo-processorerna igång med högre klockhastigheter under hela testet.
Föga överraskande sjönk systemets strömförbrukning, eftersom fläktarna inte längre behövde snurra upp till maximalt varvtal för att kompensera för höga temperaturer. Den tystare driften märktes omedelbart, även i en bullrig datacentermiljö.
Eftersom denna övning var avsedd för praktisk erfarenhet av ZutaCore-lösningen var alla mätningar kvalitativa. Det är värt att notera att det ZutaCore-kylda Bergamo-systemet vid tidpunkten för filmning och skrivning uppnådde några världsrekord i y-cuncher BBP-kategorierna och verifierades på HWBot.org.
Effekt- och kyleffektivitet
En av de framstående fördelarna med ZutaCores system är potentialen för energibesparingar. Det minskade beroendet av luftkylning minskar behovet av högvarvtalsfläktar och luftkonditionering, vilket leder till verkliga energikostnader. Dessutom tillåter systemet servern att arbeta i högre omgivningstemperaturer utan risk för överhettning. Den här funktionen är ovärderlig för datacenter som vill optimera sin PUE (Power Usage Effectiveness) genom att höja temperaturen i sina anläggningar.
Långsiktiga konsekvenser för datacenter
ZutaCores tvåfasiga kylningslösning hanterar effektivt höga termiska belastningar och ger långsiktiga fördelar för datacenter. Dess förbättrade energieffektivitet och lägre kylningskostnader kan göra den avgörande för datormiljöer med hög densitet.
För datacenter som använder nästa generations processorer och GPU:er, såsom AMD:s EPYC och NVIDIA:s H100, presenterar ZutaCore-kylningslösningen ett skalbart alternativ för att hantera den ökande värmeeffekten utan att kräva betydande förändringar av befintlig infrastruktur.
Dessutom är den tvåfasiga kylmetoden rimligt miljövänlig. ZutaCores värmeöverföringsvätskor är giftfria och har låg GWP (Global Warming Potential). Användningen av dielektriska vätskor säkerställer att det, även vid läckage, inte finns någon risk för elektrisk kortslutning eller skada på utrustningen.
Slutsats
Konverteringen av Supermicro dual AMD EPYC Bergamo-servern till ZutaCores tvåfasiga direkt-till-chip-kylningslösning visade en tydlig förbättring av termisk prestanda, brusreducering och energieffektivitet. När datacenter fortsätter att skala upp och tänja på gränserna för serverprestanda, erbjuder avancerad kylteknik som ZutaCore en lovande väg framåt för att hantera de växande termiska kraven i moderna datormiljöer.
Om du använder högdensitetsarbetsbelastningar och pressar din hårdvara till dess gränser, kan investeringar i avancerade kyllösningar som ZutaCores förbättra prestandan och spara på driftskostnaderna i det långa loppet.
Stort rop till Boston Limited för att tillhandahålla hårdvaran och Centersquare för att tillhandahålla datacentret!
Engagera dig med StorageReview
Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde
