Nos tests actuels de systèmes d'IA portent sur l'inférence en laboratoire, avec des modèles à poids ouverts des familles Llama, Qwen, DeepSeek et gpt-oss exécutés via vLLM ou SGLang et mesurés en termes de débit de sortie et de latence du premier jeton. La couverture s'étend de la périphérie au nœud GPU complet : la NVIDIA RTX PRO 4500 Server Edition a fourni un débit médian de jetons de sortie par seconde 2.7 fois supérieur à celui du processeur L4 qu'elle remplaçait au sein d'un serveur HPE ProLiant DL145 Gen11, pour une consommation électrique supérieure d'environ 105 W ; les versions Dell, GIGABYTE et HP de DGX Spark ont exécuté l'inférence distribuée sous forme de clusters à deux nœuds sur une infrastructure 200 Gb/s ; et Supermicro JumpStart nous a permis de prendre en main un système composé d'une carte NVIDIA HGX B200 et d'un système AMD Instinct MI350X. Le stockage bénéficie du même traitement car le chemin de données détermine le niveau d'activité de ces GPU. Nous mesurons donc le débit de stockage GPUDirect avec GDSIO et testons le déchargement du cache KV vers la mémoire flash pour les charges de travail à contexte long et les charges de travail d'agents.
Si vous dimensionnez du matériel pour l'IA, la page « Meilleurs serveurs » présente nos choix actuels en matière d'inférence IA et de périphérie sur la base des données de ces évaluations, la page « Meilleurs SSD d'entreprise » couvre les disques qui alimentent les GPU et la page « Meilleurs systèmes de stockage » couvre les plateformes de stockage IA qui sous-tendent les clusters d'entraînement et les néoclouds.
La NVIDIA RTX PRO 4500 Blackwell Server Edition est la carte graphique conçue par NVIDIA pour les serveurs que la plupart des entreprises possèdent déjà. Il s'agit d'une carte simple emplacement, à refroidissement passif, de 165 W, dotée de 32 Go de GDDR7 et de l'ensemble des fonctionnalités Blackwell : cœurs Tensor de cinquième génération avec FP4, cœurs RT de quatrième génération, trois encodeurs et trois décodeurs, et prise en charge des GPU multi-instances.
La NVIDIA RTX PRO 4500 Blackwell Server Edition est la carte graphique que NVIDIA a conçue principalement pour remplacer le cache L4 dans les serveurs hors centre de données : format simple emplacement, PCIe Gen5, refroidissement passif, 165 W, 32 Go de GDDR7 et l’ensemble des fonctionnalités Blackwell, notamment les cœurs Tensor FP4 et le GPU multi-instance. HPE nous a envoyé un ProLiant DL145.
L'infrastructure d'IA d'entreprise est passée de l'optimisation des modèles d'entraînement à leur déploiement, ce qui modifie la donne économique. L'entraînement est un investissement initial avec un objectif final. L'inférence, quant à elle, est une charge de travail de production qui s'exécute tant que le service est opérationnel, et dont le résultat est mesuré en jetons. C'est le problème de la tokenomics auquel sont désormais confrontés les opérateurs d'IA : une fois que…
Deux choses reviennent systématiquement lorsqu'on aborde le sujet de la NVIDIA DGX Spark. La première concerne sa principale caractéristique : 128 Go de mémoire unifiée dans un boîtier de bureau à environ 4 000 $, une capacité qui aurait semblé inconcevable il y a encore deux ans. La seconde est son débit de 200 Go.
Lorsque nous avons publié notre article sur les recherches de l'Université d'État de l'Oregon en imagerie du plancton en novembre dernier, le titre principal mettait l'accent sur la science : une infrastructure accélérée par l'IA à bord des navires de recherche, traitant des téraoctets de données océaniques en temps quasi réel avant même que le navire n'atteigne le port. Mais quelque chose d'autre s'est produit discrètement dans les semaines qui ont suivi. La nouvelle s'est répandue sur le campus :
Le programme JumpStart de Supermicro s'est imposé comme l'un des outils les plus utiles pour l'évaluation préalable à l'achat d'infrastructures d'IA. Plutôt qu'une simple démonstration dans un environnement partagé, JumpStart offre aux utilisateurs qualifiés un accès gratuit et limité dans le temps à de véritables serveurs de production via SSH, IPMI et VNC, leur permettant ainsi d'exécuter des charges de travail sur du matériel réel.
Nous avons passé une semaine à tester un HGX B200 via Supermicro JumpStart pour voir comment l'accès bare-metal à distance accélère les décisions de la plateforme d'IA.
L'université d'État de l'Oregon fait progresser la recherche océanographique en intelligence artificielle grâce aux GPU, à la puissance de calcul et à la technologie NVMe haute densité pour analyser en temps réel les données sur le plancton en mer.
Le L40S est particulièrement utile pour la génération de données synthétiques, le développement d'IA multimodale et les applications Omniverse qui nécessitent à la fois des performances informatiques et graphiques.
Pliops XDP LightningAI améliore l'inférence LLM en déchargeant le cache KV, permettant une IA plus rapide et évolutive avec l'intégration de NVIDIA Dynamo.
Amazon