IBM a annoncé un accord pluriannuel de 240 millions de dollars avec Together AI pour le déploiement d'un cluster d'inférence IA dédié, basé sur NVIDIA HGX B300, sur IBM Cloud. Together AI prévoit d'utiliser cet environnement pour fournir des services d'inférence pour les modèles open source, étendant ainsi sa plateforme AI Native Cloud destinée aux entreprises.
Ce déploiement se positionne comme le premier cluster d'inférence à grande échelle dédié d'IBM Cloud, construit autour de systèmes NVIDIA HGX B300, après l' ajout de la capacité Grace Blackwell via CoreWeave l'année dernière. Il exploitera également le réseau Ethernet NVIDIA Spectrum-X , créant une architecture de type « usine à IA » conçue pour prendre en charge des charges de travail d'inférence à haut débit et faible latence. IBM affirme que ce déploiement est conçu pour fournir un débit 30 fois supérieur à celui des générations précédentes. Cependant, les performances au niveau de la charge de travail dépendront de l'architecture du modèle, de sa précision, de la taille des lots et de la configuration de service.
Together AI propose des services d'infrastructure et logiciels couvrant l'inférence, l'entraînement de modèles, l'optimisation et les flux de travail d'IA agentielle. L'entreprise indique que sa plateforme d'inférence traite désormais 400 000 milliards de jetons par mois. Le nouveau déploiement sur IBM Cloud vise à augmenter la capacité GPU pour l'inférence en production, tout en améliorant les performances et la rentabilité des jetons pour les organisations déployant à grande échelle des modèles open-weight et open-source.
« Together AI est fier d'ouvrir la voie à la commercialisation de l'inférence de production grâce à la toute dernière infrastructure d'IA de NVIDIA sur IBM Cloud », a déclaré Vipul Ved Prakash, PDG de Together AI. « Notre collaboration avec IBM et NVIDIA accélère notre mission : rendre l'IA avancée largement accessible grâce à l'open source et fournir aux développeurs l'infrastructure et les capacités de plateforme dont ils ont besoin pour bâtir l'avenir. »
Cette collaboration réunit l'infrastructure d'entreprise d'IBM Cloud, les systèmes de calcul HGX B300 et le réseau Ethernet Spectrum-X de NVIDIA, ainsi que la plateforme d'inférence de Together AI. La solution ainsi créée est conçue pour accompagner les organisations qui déploient et exploitent des services d'IA dans des environnements cloud et hybrides, notamment pour les charges de travail où le débit, le temps de réponse et l'utilisation de l'infrastructure influent directement sur les coûts d'exploitation.
« Les entreprises se livrent une véritable course à l'adoption à grande échelle de l'IA agentielle pour obtenir des résultats concrets », a déclaré Alan Peacock, directeur général d'IBM Cloud. « IBM et NVIDIA fournissent une infrastructure d'IA évolutive, économique et de niveau entreprise qui permettra à Together AI d'accélérer l'innovation pour la prochaine génération d'infrastructures d'IA. »
Together AI a sélectionné IBM et NVIDIA en raison de leurs feuilles de route en matière d'infrastructure GPU et de leur capacité à fournir la capacité nécessaire au rythme d'expansion de ses services d'IA. L'entreprise a levé 800 millions de dollars lors d'un tour de table de série C en juillet, pour une valorisation de 8.3 milliards de dollars, afin de développer sa plateforme cloud native dédiée à l'IA.
IBM a présenté cet accord comme s'inscrivant dans le cadre de sa collaboration plus large avec NVIDIA sur les infrastructures et les logiciels d'IA. Les deux entreprises ont également évoqué un travail commun autour de l'analyse de données native GPU, de l'extraction de données non structurées, des infrastructures hybrides et des services de conseil. Pour les clients d'IBM Cloud, le déploiement de Together AI offre une nouvelle voie d'accès à une infrastructure d'inférence de niveau production, basée sur la plateforme HGX de dernière génération de NVIDIA et un réseau Ethernet haute performance.
Amazon