Intel cible l'inférence de l'IA à l'OCP 2025 avec le GPU Crescent Island et les racks Gaudi 3

Lors du Sommet mondial OCP 2025, Intel a mis l'accent sur l'inférence IA en dévoilant deux avancées majeures : un nouveau GPU pour centre de données appelé « Crescent Island » et une conception de référence à l'échelle du rack pour Gaudi 3. Ces deux développements s'inscrivent dans la transition croissante de l'apprentissage de modèles vers l'inférence généralisée en temps réel, où des facteurs tels que la latence, la bande passante mémoire, l'efficacité et la simplicité opérationnelle sont désormais cruciaux.

De l'entraînement statique à l'inférence généralisée en temps réel

Sachin Katti, CTO d'Intel, a résumé la transition en soulignant qu'avec la généralisation de l'IA agentique, l'inférence devient continue, riche en contexte et de plus en plus gourmande en ressources système. Pour gérer les volumes croissants de jetons, les combinaisons complexes de modalités et les exigences strictes des contrats de niveau de service (SLA), une infrastructure hétérogène combinant un silicium optimal à une pile logicielle ouverte et centrée sur les développeurs devient nécessaire. Dans cet environnement, les GPU Intel Xe pour centres de données offrent la capacité et la fiabilité nécessaires à l'augmentation de la longueur des séquences et du débit des jetons, tandis que Gaudi 3 prend en charge un écosystème d'inférence ouvert et évolutif avec un coût total de possession (TCO) prévisible.

L'essentiel ne réside pas simplement dans des puces plus rapides. Le succès de l'inférence repose sur l'intégration des systèmes : mémoire sensible à la topologie, interconnexions flexibles, alimentation et refroidissement adaptés aux profils d'utilisation, et orchestration qui traite les modèles, les jetons et les flux comme des composants de premier ordre. Les entreprises ne souhaitent pas être dépendantes au moment précis où elles doivent itérer entre les modèles, les frameworks et les piles de service.

Couvrant PC, Edge et Data Center

Intel affirme être particulièrement bien placé pour offrir une gamme complète de solutions, avec des PC IA, des solutions industrielles de pointe et des racks pour centres de données basés sur des processeurs Xeon 6, des accélérateurs Gaudi 3 et des GPU Intel. Les points communs incluent :

• La flexibilité PCIe en matière de diversité permet la réutilisation des empreintes existantes lorsque cela est approprié et permet une mise à l'échelle vers des racks centrés sur la structure si nécessaire.
• Les conceptions à l'échelle du rack garantissent des performances par watt prévisibles et incluent des options de refroidissement liquide lorsque la densité élevée et les exigences thermiques l'exigent.
• Une plate-forme logicielle complète et intégrée visant à garantir un développement transparent sur différents types de silicium et niveaux de déploiement.

Le partenariat avec OCP soutient la préférence de l'entreprise pour des conceptions ouvertes et référençables, qui sont plus faciles à obtenir, à valider et à faire évoluer dans les opérations.

Crescent Island : un GPU de centre de données optimisé pour l'économie d'inférence

Crescent Island est le prochain GPU Intel pour centres de données, conçu pour les serveurs d'entreprise refroidis par air nécessitant un débit de jetons élevé sans nécessiter de solutions d'alimentation ou de refroidissement avancées. Son objectif est pratique : privilégier la rentabilité et les performances énergétiques tout en offrant la capacité mémoire et la bande passante essentielles aux tâches d'inférence modernes.

Quelques points saillants :

• La microarchitecture Xe3P est axée sur les performances par watt. Elle s'intègre parfaitement à l'inférence en régime permanent, où l'utilisation est soutenue et la sensibilité aux coûts élevée.
• Mémoire LPDDR5X de 160 Go sur carte. Pour le service LLM/RAG, la synthèse de contexte long et les pipelines multimodaux, la capacité mémoire et la bande passante limitent souvent les QPS et la latence de queue plus que les TOPS bruts.
• Prise en charge étendue des types de données, conçue pour les fournisseurs de jetons en tant que service. La flexibilité de précision/quantification mixte est essentielle pour optimiser le débit tout en préservant la précision des points de terminaison de production.
• Préparation logicielle grâce à la pile ouverte et unifiée d'Intel. L'optimisation précoce des GPU Arc Pro série B vise à simplifier les flux de travail des développeurs et à minimiser les difficultés de portage.
• Calendrier : L'échantillonnage des clients pour Crescent Island est prévu au cours du second semestre 2026. Pour les acheteurs qui prévoient des cycles de rafraîchissement pour 2026-2027, cela offre une fenêtre pratique pour piloter dès maintenant la pile logicielle et les modèles de diffusion de modèles.

Crescent Island est une solution économique d'inférence à grande échelle. Refroidi par air, il est axé sur la capacité et axé sur les performances/W. Imaginez que vos charges de travail soient dominées par un service gourmand en jetons avec des SLO de latence stricts. Dans ce cas, les 160 Go embarqués et les types de données efficaces devraient se traduire par davantage de sessions simultanées par watt et moins de surprises au niveau des clusters à mesure que la longueur des séquences augmente.

Gaudi 3 : Rack référençable pour les grands modèles et l'inférence en temps réel

Gaudi 3 s'étend des déploiements PCIe aux configurations complètes à l'échelle du rack, offrant une solution évolutive sans imposer un choix architectural global et immédiat. Cette nouvelle conception de référence à l'échelle du rack cible les entreprises qui standardisent leurs systèmes d'inférence de modèles complexes et leurs systèmes temps réel critiques en termes de latence.

Éléments clé:

• La séquence PCIe vers rack commence par les cartes PCIe des serveurs actuels et s'étend aux racks, en fonction de la taille des modèles, de la concurrence et des profils SLA. Cette approche, une stratégie d'entreprise courante, permet de minimiser les risques liés aux projets.
• Prend en charge jusqu'à 64 accélérateurs par rack avec 8.2 To de mémoire à large bande passante. Sa fonctionnalité clé, le domaine mémoire (HBD), autorise davantage de paramètres et des contextes mémoire plus longs, ce qui réduit les baisses de performances et assure une latence de queue plus constante.
• Les options de refroidissement liquide sont essentielles aux densités d'accélérateurs où le refroidissement par air seul limite l'inférence soutenue.
• L'orchestration implique une pile logicielle ouverte, telle que Kubernetes, des serveurs de modèles standard et des frameworks populaires, ce qui simplifie l'intégration avec les architectures MLOps et service-mesh existantes.

En inférence de production, des facteurs comme la topologie de la mémoire et une gestion thermique cohérente surpassent les performances théoriques maximales. Le rack Gaudi 3, doté de 8.2 To de mémoire vive (HBM) répartis sur 64 accélérateurs, répond à des besoins pratiques tels que le chargement de plusieurs variantes volumineuses, la gestion des invites longues et la gestion des rafales sans provoquer de thrashing. Le refroidissement liquide n'est pas seulement optionnel à ces densités ; il est essentiel pour maintenir le nombre de points par seconde (QPS) et la latence en cas de stress thermique.

Forum

• Logiciels:La pile logicielle unifiée et ouverte d'Intel est en cours de préparation sur les GPU Arc Pro série B pour offrir aux développeurs une fenêtre précoce pour l'optimisation et l'intégration CI/CD.
• Île Crescent: Échantillonnage de clients prévu pour le second semestre 2026. Planifiez des évaluations en fonction de la préparation des logiciels, des profils de service pilotés par la mémoire et des contraintes des centres de données refroidis par air.
• Gaudi 3 racks:Les conceptions de référence spécifient jusqu'à 64 accélérateurs/rack, 8.2 To de HBM et un refroidissement liquide, alignant ainsi les installations et les enveloppes d'alimentation/refroidissement en amont avec vos équipes DC/colo.