Le nostre attuali recensioni di sistemi di intelligenza artificiale si concentrano sull'inferenza in laboratorio, con modelli open-weight delle famiglie Llama, Qwen, DeepSeek e gpt-oss eseguiti tramite vLLM o SGLang e misurati in termini di throughput di output e latenza del primo token. La copertura spazia dall'edge al nodo GPU completo: la NVIDIA RTX PRO 4500 Server Edition ha fornito una media di 2.7 volte i token di output al secondo rispetto alla L4 che è stata progettata per sostituire all'interno di un HPE ProLiant DL145 Gen11, con un consumo di circa 105 W in più; le versioni Dell, GIGABYTE e HP di DGX Spark hanno eseguito l'inferenza distribuita come cluster a due nodi sulla rete a 200 Gb; e Supermicro JumpStart ci ha permesso di testare in prima persona un sistema NVIDIA HGX B200 e un sistema AMD Instinct MI350X. Anche lo storage riceve lo stesso trattamento, poiché il percorso dati determina il livello di utilizzo delle GPU; pertanto, misuriamo il throughput di GPUDirect Storage con GDSIO e testiamo l'offload della cache KV su memoria flash per carichi di lavoro a contesto lungo e agentici.
Se stai dimensionando l'hardware per l'IA, la pagina Migliori server elenca le nostre attuali scelte per l'inferenza IA e l'edge computing, basate sui dati di queste recensioni; la pagina Migliori SSD aziendali illustra le unità che alimentano le GPU; e la pagina Migliori array di storage illustra le piattaforme di storage per l'IA utilizzate nei cluster di training e nei neocloud.
La NVIDIA RTX PRO 4500 Blackwell Server Edition è la scheda video progettata da NVIDIA per i server già presenti nella maggior parte delle aziende. Si tratta di una scheda a singolo slot, con raffreddamento passivo, da 165 W, dotata di 32 GB di memoria GDDR7 e di tutte le funzionalità Blackwell: Tensor Core di quinta generazione con FP4, RT Core di quarta generazione, tre encoder e tre decoder, e supporto Multi-Instance GPU.
La NVIDIA RTX PRO 4500 Blackwell Server Edition è la scheda che NVIDIA ha progettato principalmente per sostituire l'L4 nei server che si trovano al di fuori del data center: singolo slot, PCIe Gen5, raffreddamento passivo, 165 W, con 32 GB di GDDR7 e il set completo di funzionalità Blackwell, inclusi FP4 Tensor Core e Multi-Instance GPU. HPE ci ha inviato un ProLiant DL145
L'infrastruttura AI aziendale si è spostata dall'ottimizzazione dei modelli di training alla loro erogazione, e questo cambia l'economia. Il training è un progetto di capitale con un punto di arrivo. L'inferenza è un carico di lavoro di produzione che viene eseguito finché il servizio è attivo, con output misurato in token. Questo è il problema tokenomics che ora si trova ad affrontare gli operatori AI: una volta che il
Due cose tendono a venire subito in mente quando si parla di NVIDIA DGX Spark. La prima è la specifica principale: 128 GB di memoria unificata in un case desktop da circa 4,000 dollari, un numero che sarebbe sembrato improbabile da mettere sulla scrivania di un ingegnere anche solo due anni fa. La seconda è il 200
Quando abbiamo pubblicato il nostro articolo sulla ricerca sull'imaging del plancton dell'Oregon State University lo scorso novembre, il titolo era la scienza: un'infrastruttura accelerata dall'IA a bordo di navi da ricerca, che elaborava terabyte di dati oceanici quasi in tempo reale prima ancora che la nave raggiungesse il porto. Ma qualcos'altro è successo silenziosamente nelle settimane successive. La notizia si è diffusa nel campus riguardo a cosa...
Il programma JumpStart di Supermicro si è affermato come uno degli strumenti più utili nel kit di valutazione pre-acquisto per le infrastrutture di intelligenza artificiale. Anziché una demo predefinita in un ambiente condiviso, JumpStart offre agli utenti qualificati un accesso gratuito e limitato nel tempo a server di produzione reali tramite SSH, IPMI e VNC, consentendo loro di eseguire carichi di lavoro su hardware effettivo.
Abbiamo trascorso una settimana testando un HGX B200 tramite Supermicro JumpStart per vedere come l'accesso remoto bare-metal velocizza le decisioni sulla piattaforma AI.
L'Oregon State sta portando avanti la ricerca oceanica basata sull'intelligenza artificiale con GPU, elaborazione e NVMe denso per analizzare i dati del plancton in tempo reale in mare.
L40S è particolarmente utile per la generazione di dati sintetici, lo sviluppo di intelligenza artificiale multimodale e le applicazioni Omniverse che richiedono prestazioni sia di elaborazione che grafiche.
Pliops XDP LightningAI potenzia l'inferenza LLM scaricando la cache KV, consentendo un'intelligenza artificiale più rapida e scalabile con l'integrazione di NVIDIA Dynamo.
Amazon