Edge Inferencing med SuperMicro Edge Server

Edge-servrar underlättar beslutsfattande i realtid genom att tillhandahålla datorresurser borta från datacenter och molnet. I den här artikeln kör vi flera edge benchmarks på en SuperMicro IoT SuperServer SYS-210SE-31A, en mångsidig multi-nod edge-server. Det är uppenbart att ingenjörerna hade kantinferencing i åtanke under utformningen, eftersom den här rutan föddes för att sluta.

Edge-servrar underlättar beslutsfattande i realtid genom att tillhandahålla datorresurser borta från datacenter och molnet. I den här artikeln kör vi flera edge benchmarks på en SuperMicro IoT SuperServer SYS-210SE-31A, en mångsidig multi-nod edge-server. Det är klart att ingenjörerna hade det kantslutning i åtanke under dess befruktning, eftersom denna ruta föddes för att sluta.

SuperMicro IoT SuperServer SYS-210SE-31A Översikt

Vår Fullständig recension av SuperMicro IoT SuperServer SYS-210SE-31A avslöjar sitt löfte inte bara för 5G och IoT utan även detaljhandel och till och med lagring om den paras ihop med ett PCIe-minneskort och ett höghastighets-NIC.

Denna servers multi-nodkaraktär gör den mycket mångsidig. Den passar tre CPU-noder, var och en med följande:

• En tredje generationens Intel Xeon Scalable-processor ("Ice Lake") upp till 32C/64T och 205W, med alternativ för 270W-chips med speciell konfiguration.
• Fyra fläktmoduler.
• Åtta DIMM-platser; minnestaket är 2TB med 256GB 3DS DIMMS.
• Två M.2 2280/22110 PCIe Gen4-platser.
• Två PCIe Gen4 x16 helhöjd/halvlängd och en PCIe Gen4 x16 halvhöjd/halvlängd.
• En GbE för IMPI 2.0 och en KVM-dongel.

Här kan du se noderna utdragna, som sina egna mini-rackmonterade servrar.

Detta är insidan av en nod. Observera hur tätt allt passar ihop.

Den här serverns främsta svaghet är lagring, med lagring i nod begränsad till två M.2-startstationsplatser och inga inbyggda 2.5-tums eller 3.5-tums fack. Som nämnts kan du lägga till PCIe-lagring ganska enkelt. Nätverkslagring är också ett alternativ; dess anslutningsmöjligheter över 1 GbE är beroende av expansionskort.

Att lyfta fram denna servers kantfokus är dess förmåga att arbeta i miljöer upp till 45 grader C, med korta snålar vid 55 grader C, och dess tillgängliga dammfilter.

Edge Inferencing: Fallet för Edge-servrar

Vår funktion, Edge Inferencing blir seriös tack vare ny hårdvara, förklarar tillståndet för edge computing. Dagens förflyttning till kanten skulle ha verkat som ett bakåtdrag i den gamla tiden, där den hierarkiska "hub and spoke"-metoden var att få tillbaka data till en central plats. Beslutsfattande i realtid driver dagens steg mot kanten, vilket ger snabbare insikter och svarstider och mindre beroende av nätverksanslutning.

Edge-inferencing kan göras i molnet, men vanligtvis endast för icke-tidskänsliga, icke-kritiska applikationer. Naturligtvis innebär brist på nätverksanslutning att molnet är ett no-go.

Testa kanten på SuperMicro IoT SuperServer SYS-210SE-31A

Och nu, till våra tester. En GPU:s förmåga att bearbeta data driver edge inferencing, och edge-servrar håller sig vanligtvis till single-slot, lågprofilkort som NVIDIA A2 och den äldre men populära T4. SuperMicro IoT SuperServer SYS-210SE-31A som vi utvärderar har T4. Nedan är de två korten, T4 till höger och A2 till vänster. Hårdvarukonfigurationen för varje nod inkluderade en Intel Xeon Gold 6330 CPU och 128 GB DDR4 RAM.

Och här är T4 installerad i en av SuperMicro-noderna.

T4:s profil på 70 watt betyder att den får all sin kraft från PCIe-kortplatsen. Dess Turing-arkitektur har tensorkärnor för mycket bättre FP32, FP16, INT8 och INT4 precisionsprestanda än vad en processor kan hantera. NVIDIA A2 har en något lägre 40W till 60W profil men en nyare, mer effektiv arkitektur. Se jämförelser mellan de två korten i vår kant slutledningsartikel där vi testade dem i Lenovo ThinkEdge SE450.

Vi arbetar med MLPerf Inference: Edge benchmark suite, som jämför slutledningsprestanda för populära DL-modeller i olika verkliga edge-scenarier. I vår testning har vi siffror för ResNet50-bildklassificeringsmodellen och BERT-Large NLP-modellen för frågesvarsuppgifter. Båda körs i Offline- och SingleStream-konfigurationer.

Offline-scenariot utvärderar slutledningsprestanda i ett "batch-läge", när alla testdata är omedelbart tillgängliga och latens inte är ett övervägande. I denna uppgift kan slutledningsskriptet behandla testdata i valfri ordning, och målet är att maximera antalet frågor per sekund (QPS=throughput). Ju högre QPS-tal, desto bättre.

Däremot bearbetar Single Stream-konfigurationen ett testprov åt gången. När slutledning har utförts på en enskild ingång (i ResNet50-fallet är ingången en enda bild), mäts latensen och nästa prov görs tillgängligt för slutledningsverktyget. Målet är att minimera latens för bearbetning av varje fråga; ju lägre latens desto bättre. Frågeströmmens 90:e percentilfördröjning fångas som målmått för korthetens skull.

Bilden nedan är från en NVIDIA blogg inlägg om MLPerf inferens 0.5, som visualiserar scenarierna mycket väl. Du kan läsa mer om de olika scenarierna i originalet MLPerf Inference paper här.

Vi testade arbetsbelastningen på två noder inuti SuperMicro IoT SuperServer SYS-210SE-31A. Den tredje noden sattes som reserv.

NVIDIA T4 imponerade överlag. Nod 1 visade marginellt bättre prestanda. Som sagt, T4 är ett äldre kort med en högre effektprofil än den nyare A2. Vi såg att testa A2 i ThinkEdge SE450 att den också har lägre latens än T4 på vissa ställen, samtidigt som den använder mycket mindre ström. Applikationerna och maktövervägandena bör avgöra valet mellan de två. Än så länge är vi dock nöjda med den densitet som Supermicro-chassit kan ge för dessa typer av arbetsbelastningar.

Avslutande tankar

Kapplöpet mot kanten ger snabba framsteg inom edge computing. Ingenstans är det mer uppenbart än GPU:er, särskilt lågprofilerade, lågeffektalternativ som NVIDIA T4 och nyare A2. Vi testade T4 i SuperMicro IoT SuperServer SYS-210SE-31A, en mycket mångsidig kantserver med tre noder.

T4 visade utmärkta prestanda, vilket är ännu mer imponerande med tanke på dess ålder. Det smutsar dock på lite mer kraft än A2, så välj klokt beroende på ditt behov av kantslutning. Vi förväntar oss att den ärevördiga GPU:n fortfarande har mycket av sitt liv framför sig eftersom kantdrivna företag fortsätter att optimera GPU-användningen.

Dessutom är Supermicro IoT-servern mycket välutrustad för att hantera dessa kort, och levererar mycket tät slutledningsprestanda vid kanten.

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | Facebook | TikTok | Rssflöde