Con la continua adozione e integrazione dell'IA nelle infrastrutture di calcolo da parte dei vari settori, le risorse vengono messe a dura prova e l'efficienza energetica diventa sempre più difficile da mantenere. Nel complesso, il calcolo accelerato e la tecnologia sottostante offrono l'efficienza necessaria per sviluppare la prossima generazione di innovazione, con le GPU NVIDIA, l'IA NVIDIA e i processori di nuova generazione come la nuova piattaforma di processori Intel Xeon Scalable di quarta generazione a fare da apripista.
Con il lancio dei processori Intel Xeon Scalable di quarta generazione, NVIDIA e i suoi partner inaugurano una nuova generazione di sistemi di calcolo ad alta efficienza energetica e accelerazione AI. In combinazione con le GPU NVIDIA H100 Tensor Core , questi sistemi offrono prestazioni nettamente superiori, maggiore scalabilità ed efficienza rispetto alle generazioni precedenti.
I nuovi sistemi aggiungono prestazioni ed efficienza all’AI aziendale
I nuovi sistemi basati su NVIDIA e Intel consentiranno alle aziende di eseguire carichi di lavoro 25 volte più efficienti rispetto ai server data center dotati di sola CPU. Fornire queste prestazioni per watt equivale a utilizzare meno energia, il che significa più energia per i data center per accelerare i carichi di lavoro moderni.
La nuova generazione di server accelerati da NVIDIA accelera l'addestramento e l'inferenza, aumentando l'efficienza energetica di 3.5 volte, che si traduce in risparmi effettivi, riducendo il TCO per i data center AI di 3 volte.
Le CPU Intel Xeon di quarta generazione supportano PCIe Gen 4
La nuova CPU Intel Xeon di quarta generazione supporta PCIe Gen 4, raddoppiando la velocità di trasferimento dei dati dalla CPU alle GPU NVIDIA e alla rete. Le corsie PCIe aumentate forniscono una maggiore densità di GPU e reti ad alta velocità all'interno di ciascun server.
Una larghezza di banda di memoria più veloce migliora le prestazioni dei carichi di lavoro ad alta intensità di dati come l'intelligenza artificiale, mentre velocità di rete fino a 400 gigabit al secondo (Gbps) per connessione supportano trasferimenti di dati più rapidi tra server e storage.
I sistemi e i server NVIDIA DGX H100 dei partner NVIDIA che forniscono sistemi e server NVIDIA DGX H100 dotati di GPU H100 PCIe includono una licenza per NVIDIA AI Enterprise , una suite completa, sicura e nativa per il cloud di software per lo sviluppo e la distribuzione di intelligenza artificiale, che offre una piattaforma completa per un'IA aziendale efficiente.
Sistemi NVIDIA DGX H100 basati su NVIDIA Base Command
I sistemi NVIDIA DGX H100 offrono una piattaforma ottimizzata basata sul sistema operativo NVIDIA Base Command, progettato per i data center ad alte prestazioni. Ogni sistema è dotato di otto GPU NVIDIA H100, dieci schede di rete NVIDIA ConnectX-7 e due processori Intel Xeon Scalable di quarta generazione, per garantire le prestazioni necessarie alla creazione di modelli di intelligenza artificiale generativa di grandi dimensioni, modelli linguistici complessi, sistemi di raccomandazione e molto altro.
Combinata con la rete NVIDIA, si prevede che questa architettura potenzierà l’elaborazione efficiente su larga scala offrendo prestazioni fino a 9 volte superiori rispetto alla generazione precedente e da 20 a 40 volte superiori rispetto ai server X86 dual-socket non accelerati per la formazione AI e i carichi di lavoro HPC. Con questo tipo di prestazione, quello che un modello linguistico richiedeva un treno di 40 giorni poteva essere completato in meno di due giorni.
I sistemi NVIDIA DGX H100 sono i componenti fondamentali di NVIDIA DGX SuperPOD , in grado di offrire prestazioni AI fino a un exaflop, un notevole incremento di efficienza per le implementazioni di IA aziendali su larga scala.
I partner NVIDIA aumentano l'efficienza dei data center
Per i carichi di lavoro dei data center AI, le GPU NVIDIA H100 consentono alle aziende di creare e distribuire applicazioni in modo più efficiente.
Si prevede che i partner NVIDIA, tra cui ASUS, Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo, QCT e Supermicro, inizieranno presto a fornire il nuovo portafoglio di GPU H100 e server CPU scalabili Intel Xeon di quarta generazione.
Il collegamento dei server con la rete NVIDIA ConnectX-7 e i processori scalabili Intel Xeon di quarta generazione aumenterà l'efficienza e ridurrà l'infrastruttura e il consumo energetico. Gli adattatori NVIDIA ConnectX-4 supportano PCIe Gen 7 e velocità di connessione di 5 Gbps su Ethernet o InfiniBand, raddoppiando il throughput di rete tra server e storage.
Gli adattatori supportano offload avanzati di rete, archiviazione e sicurezza. ConnectX-7 riduce il numero di cavi e porte switch necessari, risparmiando il 17% o più sulla potenza richiesta per collegare in rete grandi cluster HPC e AI accelerati da GPU e contribuendo alla migliore efficienza energetica di questi nuovi server.
Il software NVIDIA AI Enterprise offre una soluzione AI full-stack
Questi sistemi di nuova generazione sono ottimizzati per NVIDIA AI Enterprise Suite. Eseguendo su NVIDIA H100, NVIDIA AI Enterprise accelera la pipeline di data science. Semplifica lo sviluppo e l'implementazione di modelli di intelligenza artificiale predittiva per automatizzare i processi essenziali e ottenere informazioni rapide dai dati.
Con un'ampia libreria di software full-stack, inclusi flussi di lavoro AI di applicazioni di riferimento, framework, modelli pre-addestrati e ottimizzazione dell'infrastruttura, il software fornisce una base ideale per scalare il successo dell'IA aziendale.
Amazon