IBM宣布與Together AI達成價值240億美元的多年協議，將在IBM雲端部署一個基於NVIDIA HGX B300的專用AI推理集群。 Together AI計畫利用此環境為開源模式提供推理服務，從而擴展其面向企業客戶的AI原生雲端平台。
此次部署是 IBM Cloud 首個基於 NVIDIA HGX B300 系統建置的專用大規模推理集群，此前IBM已於去年透過 CoreWeave 為 Grace Blackwell 增加了容量。該叢集還將採用NVIDIA Spectrum-X以太網，建構一個旨在支援高吞吐量、低延遲推理工作負載的 AI 工廠架構。 IBM 表示，與前幾代產品相比，此次部署的 AI 工廠產出將提升 30 倍。然而，工作負載等級的效能將取決於模型架構、精確度、批次大小和服務配置。
Together AI 提供涵蓋推理、模型訓練、微調和智能體 AI 工作流程的基礎設施和軟體服務。該公司報告稱，其推理平台目前每月處理 400 兆個代幣。此次在 IBM Cloud 上的新部署旨在為生產推理增加 GPU 容量，同時提升大規模部署開源權重模型和開源模型的企業的效能和代幣經濟效益。
Together AI執行長Vipul Ved Prakash表示：「Together AI很榮幸能夠引領NVIDIA最新AI基礎設施在IBM Cloud上實現生產級推理技術的應用。與IBM和NVIDIA攜手合作，將加速我們透過開源技術讓先進AI廣泛普及的使命，並為開發者提供構建未來所需的基礎設施和平台能力。」
此次合作整合了 IBM Cloud 的企業級基礎架構、NVIDIA 的 HGX B300 運算系統和 Spectrum-X 乙太網路架構，以及 Together AI 的推理平台。由此產生的技術堆疊旨在為需要在雲端和混合環境中部署和運行 AI 服務的組織提供支持，尤其適用於吞吐量、響應時間和基礎設施利用率直接影響營運成本的工作負載。
IBM雲端總經理Alan Peacock表示：“企業正在競相大規模採用智能體人工智能，以推動真正的業務成果。IBM和NVIDIA正在提供可擴展、經濟高效的企業級人工智能基礎設施，這將有助於‘攜手AI’加速下一代人工智能基礎設施的創新。”
Together AI之所以選擇IBM和NVIDIA，是基於它們各自的GPU基礎設施路線圖以及能夠以AI服務擴展所需的速度提供容量。該公司於7月完成了8億美元的C輪融資，估值達8.3億美元，用於擴展其AI原生雲平台。
IBM 將此協定視為其與 NVIDIA 在人工智慧基礎架構和軟體領域更廣泛合作的一部分。兩家公司也提及了在 GPU 原生資料分析、非結構化資料擷取、混合基礎設施和諮詢服務等方面的合作。對於 IBM 雲端客戶而言，Together AI 部署方案為建置基於 NVIDIA 最新 HGX 平台和高效能乙太網路的生產級推理基礎架構提供了另一條途徑。
Amazon