Home EnterpriseAI De Dell PowerEdge XE9680 voor generatieve AI: stabiel platform, stabiele verspreiding, superieure prestaties

De Dell PowerEdge XE9680 voor generatieve AI: stabiel platform, stabiele verspreiding, superieure prestaties

by Jordaan Ranous

In de high-stakes arena van enterprise AI zijn tech-titanen in een meedogenloze race om de volgende belangrijke innovatie in hardware te onthullen. Dell Technologies heeft onlangs de Dell PowerEdge XE9680 voor Generative AI geïntroduceerd en is dat ook buigen in een recente whitepaper. De PowerEdge XE9680, expliciet ontworpen om AI-workloads aan te pakken, is niet alleen een nieuwkomer in de race - het is een potentiële koploper.

In de high-stakes arena van enterprise AI zijn tech-titanen in een meedogenloze race om de volgende belangrijke innovatie in hardware te onthullen. Dell Technologies heeft onlangs de Dell PowerEdge XE9680 voor Generative AI geïntroduceerd en is dat ook buigen in een recente whitepaper. De PowerEdge XE9680, expliciet ontworpen om AI-workloads aan te pakken, is niet alleen een nieuwkomer in de race - het is een potentiële koploper.

Terwijl we de whitepaper doorzochten, keken we naar hoe deze krachtpatser het AI-landschap herdefinieert en waarom het misschien wel het geheime wapen van uw bedrijf is om de AI-grens te veroveren.

Dell PowerEdge XE9680 voor generatieve AI

Uw partner voor Dell PowerEdge XE9680 is een GPU-dichte rackserver die is ontworpen voor krachtige toepassingen die gericht zijn op het gebied van kunstmatige intelligentie. Het is uitgerust met twee 4e generatie Intel Xeon schaalbare processors, elk met maximaal 56 cores, en kan worden uitgerust met acht NVIDIA HGX H100 of acht NVIDIA HGX A100 GPU's; allemaal onderling verbonden met NVIDIA NVLink-technologie.

Dell PowerEdge XE9680 voor generatieve AI

De PowerEdge XE9680 ondersteunt DIMM-snelheden tot 4800 MT/s en heeft 32 DDR5 DIMM-slots, met een maximale RAM-capaciteit van 4 TB. Het biedt tot 8 x 2.5-inch NVMe SSD-schijven voor opslag, met een maximale capaciteit van 122.88 TB. De server bevat ook een reeks beveiligingsfuncties, zoals cryptografisch ondertekende firmware, Data at Rest Encryption (DRE), Secure Boot en meer. Het wordt beheerd via het ingebouwde iDRAC9-systeem en ondersteunt een verscheidenheid aan beheertools en integraties. De server is gehuisvest in een 6U-rackvormfactor en weegt 235.89 lbs. (107 kilo).

Dell PowerEdge XE9680 voor Generative AI GPU's

Dell PowerEdge XE9680-specificaties

De PowerEdge XE9680 is ontworpen om AI-workloads met een enorm geheugengebruik aan te kunnen. Dankzij NVLink krijgen de GPU's toegang tot een enorme hoeveelheid geheugen van andere GPU's in het systeem, waardoor ze snel toegang krijgen tot gedeelde bronnen. Deze aanzienlijke geheugencapaciteit zou moeten leiden tot hogere prestaties, complexere modellen en de mogelijkheid om met grotere, meer gedetailleerde datasets te werken, waardoor de nauwkeurigheid en bruikbaarheid worden verbeterd door gebruik te maken van grotere parametermodellen.

Model:

  • Dell PowerEdge XE9680

Processormogelijkheden:

  • Geschikt voor 2 stopcontacten
  • Tot twee 4e generatie Intel Xeon schaalbare processors met maximaal 56 cores per processor

Fysieke eigenschappen:

  • 6U luchtgekoeld, tot 35C omgevingstemperatuur
  • Geschikt voor een rek van 1200 mm

Geheugenondersteuning:

  • Tot 32 DDR5 DIMM's
  • Tot 4800 MT/s (1DPC) of 4400 MT/s (2DPC)
I/O-mogelijkheden:

  • 10 x 16 PCIe Gen5-slots
  • Eén OCP-NIC 3.0
  • 2x1GbELOM

GPU-optimalisatie:

  • NVIDIA 8 x H100 SXM5 700 W 80 GB GPU's of NVIDIA 8 x A100 SXM4 500 W 80 GB GPU's
  • Volledige NVLINK-interconnectiviteit

Mogelijkheden van kunstmatige intelligentie:

  • AI Grote modeltraining

Drive-ondersteuning:

  • Ondersteuning voor maximaal 16 schijven
  • Tot 8 x SAS/SATA/ NVMe Gen4 of 16x E3.S
  • Hot-pluggable BOSS N -1 achterzijde (2 x M.2 MVNe) voor boot (optioneel)
  • SW RAID/PERC12-ondersteuning

Modellen voor het genereren van afbeeldingen: de kunstwetenschap

Heb je ooit gewenst dat je kon schilderen zoals Van Gogh of schetsen zoals Da Vinci, maar eindigen met stokfiguren die niet eens indruk zouden maken op een kleuter? Betreed de wereld van Image Generation Models (IGM's), het machine learning-equivalent van een wonderbaarlijke artiest, minus de excentriciteiten en baretten.

IGM's zijn een subset van machine learning-modellen die zijn ontworpen om het maken van nieuwe afbeeldingen aan te pakken. IGM's vallen in het bredere veld van generatieve modellering, waarbij alles draait om het begrijpen en repliceren van gegevenspatronen. Maar in plaats van cijfers of tekst te genereren, maken deze modellen visuals. In de afgelopen maanden hebben IGM's het nieuws gehaald door van alles te genereren, van nieuwe kunstwerken tot griezelig realistische menselijke gezichten.

Deze modellen hebben hun weg gevonden naar alles, van kunst en amusement tot reclame en wetenschappelijk onderzoek. Ze maken afbeeldingen van cellen voor medische diagnose, simuleren de ruimte en genereren selfies die zo realistisch zijn dat je jezelf kunt catfishen. Naarmate deze modellen evolueren, nemen de eisen om ze snel uit te voeren toe.

Dell PowerEdge XE9680 voor generatieve AI: Powering the Edge, van stabiele diffusie

Diffusiemethoden zijn bij het genereren van nieuwe afbeeldingen tijdens inferentie doorgaans afhankelijk van enorme GPU-clusters die synchroon werken en vereisen een uitgebreide hardwareruntime. Uit de whitepaper van Dell blijkt echter dat met de Dell PowerEdge XE9680-server deze generatieve AI-bewerkingen aanzienlijk kunnen worden versneld.

Hierdoor kunnen in slechts enkele seconden tientallen tot honderden redelijk opgeloste afbeeldingen worden geproduceerd. Dell wijst erop dat door gebruik te maken van de mogelijkheden van de Dell PowerEdge XE9680 voor Generative AI, binnen enkele seconden grote afbeeldingen met een hoge resolutie (Dell gebruikte 2,096 x 2,096) kunnen worden geproduceerd op basis van een enkele tekstprompt.

Afbeeldingen gegenereerd op de PowerEdge XE9680 met tekstprompt = "Portret van gelukkige hond, close-up,"

XE9680 gegenereerd met tekstprompt = "Portret van gelukkige hond, close-up,"

Uw partner voor whitepaper evalueert de latentie voor het genereren van afbeeldingen voor het tekst-naar-afbeelding-model van HuggingFace Diffusers op de PowerEdge XE9680-server, rekening houdend met de batchgrootte en variaties in de afbeeldingsresolutie. De XE9680-server kan afbeeldingen genereren met resoluties tot 2,048 x 2,048.

Naarmate de batchgroottes toenamen, namen ook de geheugeneisen aan de infrastructuur toe. Daarom waren enorme batchgroottes haalbaar met afbeeldingen met een lagere resolutie (zoals 256 x 256). Vanwege geheugenbeperkingen konden afbeeldingen met een zeer hoge resolutie (zoals 2,048 x 2,048) echter slechts een batchgrootte van één genereren.

PowerEdge XE9680 Tijden voor het genereren van batchafbeeldingen

PowerEdge XE9680 Tijden voor het genereren van batchafbeeldingen

Als we ons concentreren op het genereren van afbeeldingen in batches met resoluties van 256 x 256 en 512 x 512, worden de krachtige mogelijkheden van de Dell PowerEdge XE9680 voor Generative AI getoond die binnen enkele seconden meerdere afbeeldingen genereert. Deze mogelijkheid versnelt de evaluatie, snelle afstemming en verdere evaluatie die nodig is voor creatieve ontwerpcycli. Deze resultaten laten zien hoe batches van 32 afbeeldingen met een resolutie van 512 x 512 kunnen worden gegenereerd met het HuggingFace Diffusers-pakket op de Dell PowerEdge XE9680-server in minder dan 10 seconden. Verder kunnen batches van 64 afbeeldingen met een resolutie van 256 x 256 in minder dan 5 seconden worden gemaakt met hetzelfde platform, waardoor snelle prototyping en creatieve ontwerpcycli voor bedrijven en professionals mogelijk worden.

Benchmarks voor beeldgeneratie

In de analyse van de whitepaper werd de Dell PowerEdge XE9680-server geëvalueerd op basis van de latentiebenchmarks voor het genereren van afbeeldingen die zijn opgesteld door Lambda. Deze vergelijking omvatte een enkele NVIDIA H100 GPU met 80 GB RAM op de Dell PowerEdge XE9680-server en de NVIDIA H100 GPU Stable Diffusion-benchmark die is uitgebracht door het ML Labs-team van Lambda.

Latentiewaarden voor het genereren van batchimages voor zowel de Dell PowerEdge XE9680-server (blauw) als de Lambda-server (oranje). Beide onderzoeken gebruikten een enkele NVIDIA® H100 GPU met 80 GB GPU RAM, waarbij de GPU-vormfactor voor de Dell-server-GPU HGX was en de Lambda-server-GPU PCIe. Alle afbeeldingen gebruikten dezelfde HuggingFace tekst-naar-afbeelding Diffusers PyTorch-code met tekstprompt = "een foto van een astronaut die op een paard op mars rijdt", aantal iteraties = 30, 512 x 512 beeldresolutie, float16 precisie, DDIM Scheduler, Stable Verspreiding v1.4.

Dell PowerEdge XE9680 latentie voor het genereren van afbeeldingen

De studie toonde aan dat de XE9680 de Lambda-benchmarks overtrof en ongeveer het dubbele van de doorvoer bereikte. De bevindingen van Dell worden gepresenteerd in hetzelfde formaat als die van Lambda, waarbij gebruik wordt gemaakt van gegevens uit hun NVIDIA H100 GPU-onderzoek onder identieke door software gedefinieerde omstandigheden. Het enige verschil was de hardware: Lambda gebruikte een PCIe-vormfactor NVIDIA H100 GPU, terwijl de Dell PowerEdge XE9680-server een HGX-vormfactor gebruikte, wat enkele prestatieverschillen zou kunnen verklaren.

Zakelijke impact van modellen voor het genereren van afbeeldingen

Het genereren van afbeeldingen door Stable Diffusion stelt creatieve professionals in staat om snel prototypen te maken en hun werk te verfijnen, zoals het verbeteren van de efficiëntie van marketing- en advertentiestrategieën en het verkorten van de time-to-market. Professionals op gebieden als architectuur, reclame, marketing, creativiteit, film, speciale effecten, fotografie en kunst hebben deze technologie al overgenomen.

Generatieve AI-technologieën, zoals Stable Diffusion, kunnen transformatieve veranderingen in bedrijfsactiviteiten teweegbrengen, vooral wanneer snelheid van cruciaal belang is. Bij productontwerp en -ontwikkeling kunnen deze modellen snel visuele prototypen genereren, waardoor ontwerpteams concepten in realtime kunnen evalueren en verfijnen. Dit versnelt het ontwerpproces en verkort de time-to-market.

Een van de meest interessante concepten komt uit de detailhandel. AI kan snel realistische afbeeldingen genereren van verschillende productconfiguraties of kleuropties op basis van klantvoorkeuren, zoals "Laat me deze stoel zien, maar dan in het rood" of "Hoe zou die bank eruit zien met luipaardprint." Voor vastgoed- en bouwbedrijven kan generatieve AI snel visualisaties maken van nieuwe gebouwen of verbouwingsprojecten, wat helpt bij planning en verkooppresentaties.

Op het gebied van training en opleiding binnen een onderneming kunnen door AI gegenereerde afbeeldingen worden gebruikt om realistische scenario's te creëren voor trainingsprogramma's voor werknemers, waardoor de leerresultaten worden verbeterd. De snelheid van het genereren van afbeeldingen kan de flexibiliteit van bedrijven aanzienlijk verbeteren, waardoor ze effectiever kunnen reageren op marktveranderingen, klantbehoeften en interne vereisten.

Sluiting Gedachten

De Dell PowerEdge XE9680 is een krachtige server met indrukwekkende mogelijkheden die gemakkelijk veeleisende AI-workloads aankan (althans voorlopig). Hoewel de XE9680 gericht is op de trending AI-markt, kunnen er andere intrigerende use-cases zijn in analyse en gegevensverwerking voor zo'n krachtige box. Opgemerkt moet worden dat de XE9680 ten grondslag ligt Project Helix van Dell, een service om organisaties te helpen hun AI-projecten sneller online te krijgen.

XE9680 Witboek

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed