Edge-Inferenz mit SuperMicro Edge Server

Edge-Server ermöglichen Echtzeit-Entscheidungen, indem sie Rechenressourcen außerhalb von Rechenzentren und der Cloud bereitstellen. In diesem Artikel führen wir verschiedene Edge-Benchmarks auf einem SuperMicro IoT SuperServer SYS-210SE-31A durch, einem vielseitigen Multi-Node-Edge-Server. Offensichtlich hatten die Entwickler bei der Konzeption dieses Servers Edge-Inferenz im Blick, denn er wurde speziell für diesen Zweck entwickelt.

SuperMicro IoT SuperServer SYS-210SE-31A Übersicht

Unser vollständiger Test des SuperMicro IoT SuperServer SYS-210SE-31A zeigt sein Potenzial nicht nur für 5G und IoT, sondern auch für den Einzelhandel und sogar für Speicheranwendungen, wenn er mit einer PCIe-Speicherkarte und einer Hochgeschwindigkeits-Netzwerkkarte kombiniert wird.

Da dieser Server über mehrere Knoten verfügt, ist er äußerst vielseitig. Es passt auf drei CPU-Knoten mit jeweils Folgendem:

• Ein skalierbarer Intel Xeon-Prozessor der dritten Generation („Ice Lake“) mit bis zu 32C/64T und 205 W, mit Optionen für 270-W-Chips mit spezieller Konfiguration.
• Vier Lüftermodule.
• Acht DIMM-Steckplätze; Die Speicherobergrenze beträgt 2 TB bei Verwendung von 256 GB 3DS-DIMMS.
• Zwei M.2 2280/22110 PCIe Gen4-Steckplätze.
• Zwei PCIe Gen4 x16 voller Höhe/halber Länge und ein PCIe Gen4 x16 halber Höhe/halber Länge.
• Ein GbE für IMPI 2.0 und ein KVM-Dongle.

Hier sehen Sie die herausgezogenen Knoten, wie eigene Mini-Rackmount-Server.

Dies ist das Innere eines Knotens. Beachten Sie, wie eng alles zusammenpasst.

Die Hauptschwäche dieses Servers ist der Speicher, da der In-Node-Speicher auf zwei M.2-Startlaufwerkssteckplätze beschränkt ist und keine nativen 2.5-Zoll- oder 3.5-Zoll-Schächte vorhanden sind. Wie bereits erwähnt, können Sie PCIe-Speicher relativ einfach hinzufügen. Auch Netzwerkspeicher ist eine Option; Seine Konnektivität über 1 GbE hinaus ist von Erweiterungskarten abhängig.

Der Edge-Fokus dieses Servers unterstreicht seine Fähigkeit, in Umgebungen mit bis zu 45 °C (mit kurzen Unterbrechungen bei 55 °C) betrieben zu werden, und sein verfügbarer Staubfilter.

Edge-Inferenzierung: Der Fall für Edge-Server

Unser Artikel „ Edge-Inference wird dank neuer Hardware immer wichtiger“ erläutert den aktuellen Stand des Edge-Computing. Der heutige Trend hin zum Edge-Computing wäre in der Vergangenheit, als Daten im hierarchischen „Hub-and-Spoke“-Ansatz an einen zentralen Ort zurückgeleitet wurden, wie ein Rückschritt gewirkt. Echtzeit-Entscheidungsfindung treibt diese Entwicklung voran und ermöglicht schnellere Erkenntnisse, kürzere Reaktionszeiten und eine geringere Abhängigkeit von der Netzwerkverbindung.

Edge-Inferenz kann in der Cloud durchgeführt werden, allerdings normalerweise nur für nicht zeitkritische, unkritische Anwendungen. Mangelnde Netzwerkkonnektivität bedeutet natürlich, dass die Cloud ein No-Go ist.

Testen des Edge auf dem SuperMicro IoT SuperServer SYS-210SE-31A

Und nun zu unseren Tests. Die Fähigkeit einer GPU, Daten zu verarbeiten, treibt die Edge-Inferenz voran, und Edge-Server bleiben in der Regel bei Low-Profile-Karten mit einem Steckplatz wie NVIDIA A2 und der älteren, aber beliebten T4. Der von uns evaluierte SuperMicro IoT SuperServer SYS-210SE-31A verfügt über den T4. Unten sind die beiden Karten, T4 rechts und A2 links. Die Hardwarekonfiguration jedes Knotens umfasste eine Intel Xeon Gold 6330-CPU und 128 GB DDR4-RAM.

Und hier ist der T4, der in einem der SuperMicro-Knoten installiert ist.

Die T4 mit ihrem 70-Watt-Profil bezieht ihre gesamte Energie aus dem PCIe-Steckplatz. Ihre Turing-Architektur mit Tensor-Kernen ermöglicht eine deutlich höhere Präzision bei FP32-, FP16-, INT8- und INT4-Berechnungen als eine herkömmliche CPU. Die NVIDIA A2 hat ein etwas niedrigeres Profil mit 40 bis 60 Watt, verfügt aber über eine neuere und effizientere Architektur. Einen Vergleich der beiden Karten finden Sie in unserem Artikel zum Thema Edge-Inferenz, in dem wir sie im Lenovo ThinkEdge SE450 getestet haben.

Wir arbeiten mit der Benchmark-Suite MLPerf Inference: Edge, die die Inferenzleistung für beliebte DL-Modelle in verschiedenen realen Edge-Szenarien vergleicht. In unseren Tests haben wir Zahlen für das Bildklassifizierungsmodell ResNet50 und das NLP-Modell BERT-Large für Frage-Antwort-Aufgaben. Beide werden in Offline- und SingleStream-Konfigurationen ausgeführt.

Das Offline-Szenario bewertet die Inferenzleistung im „Batch-Modus“, wenn alle Testdaten sofort verfügbar sind und die Latenz keine Rolle spielt. Bei dieser Aufgabe kann das Inferenzskript Testdaten in beliebiger Reihenfolge verarbeiten. Ziel ist es, die Anzahl der Abfragen pro Sekunde (QPS = Durchsatz) zu maximieren. Je höher die QPS-Zahl, desto besser.

Im Gegensatz dazu verarbeitet die Single Stream-Konfiguration jeweils ein Testbeispiel. Sobald die Inferenz für eine einzelne Eingabe durchgeführt wird (im Fall von ResNet50 handelt es sich bei der Eingabe um ein einzelnes Bild), wird die Latenz gemessen und das nächste Beispiel wird dem Inferenztool zur Verfügung gestellt. Das Ziel besteht darin, die Latenz für die Verarbeitung jeder Abfrage zu minimieren. Je geringer die Latenz, desto besser. Der Kürze halber wird die 90. Perzentillatenz des Abfragestroms als Zielmetrik erfasst.

Die Abbildung unten stammt aus einem Blogbeitrag von NVIDIA zur MLPerf-Inferenz 0.5 und veranschaulicht die Szenarien sehr gut. Weitere Informationen zu den verschiedenen Szenarien finden Sie im Original- Paper zur MLPerf-Inferenz (hier).

Wir haben die Arbeitslast auf zwei Knoten im SuperMicro IoT SuperServer SYS-210SE-31A getestet. Der dritte Knoten wurde als Ersatzknoten festgelegt.

Benchmark	Knoten 1 (NVIDIA T4)	Knoten 3 (NVIDIA T4)
RestNet50 offline	5,587 Proben/s	5,492 Proben/s
BERT SingleStream	6.8 ms (90th pct)	7.0 ms (90th pct)
BERT offline	397 Proben/s	396 Proben/s

Der NVIDIA T4 hat insgesamt überzeugt. Knoten 1 zeigte eine geringfügig bessere Leistung. Allerdings ist die T4 eine ältere Karte mit einem höheren Leistungsprofil als die neuere A2. Beim Testen des A2 im ThinkEdge SE450 haben wir festgestellt, dass er an bestimmten Stellen auch eine geringere Latenz als der T4 aufweist und dabei viel weniger Strom verbraucht. Die Anwendungs- und Leistungsaspekte sollten die Wahl zwischen den beiden bestimmen. Vorerst sind wir jedoch mit der Dichte zufrieden, die das Supermicro-Gehäuse für diese Art von Arbeitsbelastung bieten kann.

Fazit

Der Wettlauf zum Edge bringt rasante Fortschritte im Edge Computing mit sich. Nirgendwo ist das deutlicher als bei GPUs, insbesondere bei Low-Profile- und Low-Power-Optionen wie dem NVIDIA T4 und dem neueren A2. Wir haben den T4 im SuperMicro IoT SuperServer SYS-210SE-31A getestet, einem äußerst vielseitigen Edge-Server mit drei Knoten.

Der T4 zeigte eine hervorragende Leistung, was angesichts seines Alters umso beeindruckender ist. Allerdings verbraucht es etwas mehr Strom als das A2, also wählen Sie es mit Bedacht aus, je nachdem, welche Edge-Inferenzanforderungen Sie benötigen. Wir gehen davon aus, dass die ehrwürdige GPU noch einen Großteil ihrer Lebensdauer vor sich hat, da Edge-getriebene Unternehmen weiterhin die GPU-Nutzung optimieren.

Darüber hinaus ist der Supermicro IoT-Server sehr gut für den Umgang mit diesen Karten gerüstet und bietet eine sehr dichte Inferenzleistung am Edge.