L'infrastructure d'IA d'entreprise est passée de l'optimisation des modèles d'entraînement à leur déploiement, ce qui modifie la donne économique. L'entraînement est un investissement initial avec un objectif final. L'inférence, quant à elle, est une charge de travail de production qui s'exécute tant que le service est opérationnel, et dont le résultat est mesuré en jetons. C'est le problème de la tokenomics auquel sont désormais confrontés les opérateurs d'IA : une fois que…
Deux choses reviennent systématiquement lorsqu'on aborde le sujet de la NVIDIA DGX Spark. La première concerne sa principale caractéristique : 128 Go de mémoire unifiée dans un boîtier de bureau à environ 4 000 $, une capacité qui aurait semblé inconcevable il y a encore deux ans. La seconde est son débit de 200 Go.
Lorsque nous avons publié notre article sur les recherches de l'Université d'État de l'Oregon en imagerie du plancton en novembre dernier, le titre principal mettait l'accent sur la science : une infrastructure accélérée par l'IA à bord des navires de recherche, traitant des téraoctets de données océaniques en temps quasi réel avant même que le navire n'atteigne le port. Mais quelque chose d'autre s'est produit discrètement dans les semaines qui ont suivi. La nouvelle s'est répandue sur le campus :
Le programme JumpStart de Supermicro s'est imposé comme l'un des outils les plus utiles pour l'évaluation préalable à l'achat d'infrastructures d'IA. Plutôt qu'une simple démonstration dans un environnement partagé, JumpStart offre aux utilisateurs qualifiés un accès gratuit et limité dans le temps à de véritables serveurs de production via SSH, IPMI et VNC, leur permettant ainsi d'exécuter des charges de travail sur du matériel réel.
Nous avons passé une semaine à tester un HGX B200 via Supermicro JumpStart pour voir comment l'accès bare-metal à distance accélère les décisions de la plateforme d'IA.
L'université d'État de l'Oregon fait progresser la recherche océanographique en intelligence artificielle grâce aux GPU, à la puissance de calcul et à la technologie NVMe haute densité pour analyser en temps réel les données sur le plancton en mer.
Le L40S est particulièrement utile pour la génération de données synthétiques, le développement d'IA multimodale et les applications Omniverse qui nécessitent à la fois des performances informatiques et graphiques.
Pliops XDP LightningAI améliore l'inférence LLM en déchargeant le cache KV, permettant une IA plus rapide et évolutive avec l'intégration de NVIDIA Dynamo.
Les centres de données mobiles DUG Nomad offrent des capacités d'IA et de HPC refroidies par immersion à la périphérie avec des serveurs Hypertec et des SSD Solidigm.
À la pointe de l'IA de pointe, le kit de développement Jetson Orin Nano Super de NVIDIA offre une solution robuste pour les applications d'IA en dehors du centre de données traditionnel. Il s'agit d'un outil puissant et abordable pour les passionnés et les professionnels de l'IA.
Amazon