IBM hat eine mehrjährige Vereinbarung im Wert von 240 Millionen US-Dollar mit Together AI bekannt gegeben. Ziel ist die Bereitstellung eines dedizierten KI-Inferenzclusters auf Basis der NVIDIA HGX B300 in der IBM Cloud. Together AI plant, mit dieser Umgebung Inferenzdienste für Open-Source-Modelle anzubieten und so seine KI-native Cloud-Plattform für Unternehmenskunden zu erweitern.
Diese Bereitstellung positioniert sich als IBM Clouds erster dedizierter, großflächiger Inferenzcluster auf Basis von NVIDIA HGX B300-Systemen und ergänzt die Grace Blackwell-Kapazität, die IBM letztes Jahr über CoreWeave hinzugefügt hat. Sie nutzt außerdem NVIDIA Spectrum-X Ethernet-Netzwerktechnologie und schafft so eine KI-Fabrikarchitektur, die Inferenz-Workloads mit hohem Durchsatz und geringer Latenz unterstützt. Laut IBM liefert diese Bereitstellung die 30-fache Leistung der KI-Fabrik im Vergleich zu Vorgängergenerationen. Die tatsächliche Leistung einzelner Workloads hängt jedoch von der Modellarchitektur, der Präzision, der Batchgröße und der Serverkonfiguration ab.
Together AI bietet Infrastruktur- und Software-Services für Inferenz, Modelltraining, Feinabstimmung und agentenbasierte KI-Workflows. Das Unternehmen berichtet, dass seine Inferenzplattform monatlich 400 Billionen Token verarbeitet. Die neue IBM Cloud-Bereitstellung soll die GPU-Kapazität für produktive Inferenz erhöhen und gleichzeitig die Leistung und Token-Ökonomie für Organisationen verbessern, die Open-Source-Modelle mit geringem Gewicht in großem Umfang einsetzen.
„Together AI ist stolz darauf, mit der neuesten KI-Infrastruktur von NVIDIA auf der IBM Cloud eine Vorreiterrolle bei der Markteinführung von Produktionsinferenz einzunehmen“, sagte Vipul Ved Prakash, CEO von Together AI. „Die Zusammenarbeit mit IBM und NVIDIA beschleunigt unsere Mission, fortschrittliche KI durch Open Source breit zugänglich zu machen und Entwickler mit der Infrastruktur und den Plattformfunktionen auszustatten, die sie für die Gestaltung der Zukunft benötigen.“
Die Zusammenarbeit vereint die Unternehmensinfrastruktur von IBM Cloud, die HGX B300-Rechensysteme und das Spectrum-X-Ethernet-Fabric von NVIDIA sowie die Inferenzplattform von Together AI. Der daraus resultierende Stack unterstützt Unternehmen, die KI-Dienste in Cloud- und Hybridumgebungen bereitstellen und betreiben müssen, insbesondere für Workloads, bei denen Durchsatz, Reaktionszeit und Infrastrukturauslastung die Betriebskosten direkt beeinflussen.
„Unternehmen wetteifern darum, agentenbasierte KI flächendeckend einzuführen, um konkrete Geschäftsergebnisse zu erzielen“, sagte Alan Peacock, General Manager von IBM Cloud. „IBM und NVIDIA bieten skalierbare, kostengünstige KI-Infrastruktur für Unternehmen, die Together AI dabei helfen kann, Innovationen für die nächste Generation von KI-Infrastruktur zu beschleunigen.“
Together AI wählte IBM und NVIDIA aufgrund ihrer GPU-Infrastruktur-Roadmaps und ihrer Fähigkeit, die für die KI-Diensterweiterung erforderliche Kapazität bereitzustellen. Das Unternehmen schloss im Juli eine Serie-C-Finanzierungsrunde über 800 Millionen US-Dollar bei einer Bewertung von 8.3 Milliarden US-Dollar ab, um seine KI-native Cloud-Plattform auszubauen.
IBM bezeichnete die Vereinbarung als Teil der umfassenderen Zusammenarbeit mit NVIDIA im Bereich KI-Infrastruktur und -Software. Die Unternehmen verwiesen zudem auf gemeinsame Projekte in den Bereichen GPU-native Datenanalyse, Extraktion unstrukturierter Daten, hybride Infrastruktur und Beratungsdienstleistungen. Für IBM Cloud-Kunden bietet die Together AI-Implementierung einen weiteren Zugang zu einer produktionsreifen Inferenzinfrastruktur, die auf NVIDIAs neuester HGX-Plattform und leistungsstarken Ethernet-Netzwerken basiert.
Amazon