IBM heeft een meerjarige overeenkomst ter waarde van 240 miljoen dollar aangekondigd met Together AI voor de implementatie van een speciaal NVIDIA HGX B300-gebaseerd AI-inferentiecluster op IBM Cloud. Together AI is van plan de omgeving te gebruiken om inferentiediensten te leveren voor open-source modellen, waarmee het zijn AI Native Cloud-platform voor zakelijke klanten uitbreidt.
De implementatie wordt gepresenteerd als IBM Cloud's eerste dedicated grootschalige inferentiecluster gebouwd rond NVIDIA HGX B300-systemen, na de Grace Blackwell-capaciteit die IBM vorig jaar via CoreWeave heeft toegevoegd. Het zal ook gebruikmaken van NVIDIA Spectrum-X Ethernet-netwerken, waarmee een AI-fabriekarchitectuur wordt gecreëerd die is ontworpen om inferentieworkloads met een hoge doorvoer en lage latentie te ondersteunen. IBM stelt dat de implementatie is ontworpen om 30 keer meer AI-fabriekoutput te leveren in vergelijking met eerdere generaties. De prestaties op workloadniveau zullen echter afhangen van de modelarchitectuur, precisie, batchgrootte en serverconfiguratie.
Together AI biedt infrastructuur- en softwarediensten aan voor inferentie, modeltraining, finetuning en agentische AI-workflows. Het bedrijf meldt dat zijn inferentieplatform nu maandelijks 400 biljoen tokens verwerkt. De nieuwe IBM Cloud-implementatie is bedoeld om de GPU-capaciteit voor productie-inferentie te vergroten en tegelijkertijd de prestaties en de token-economie te verbeteren voor organisaties die op grote schaal open-weight en open-source modellen inzetten.
"Together AI is er trots op voorop te lopen bij het op de markt brengen van productiegerichte inferentie met de nieuwste AI-infrastructuur van NVIDIA op IBM Cloud", aldus Vipul Ved Prakash, CEO van Together AI. "De samenwerking met IBM en NVIDIA versnelt onze missie om geavanceerde AI breed toegankelijk te maken via open source en om ontwikkelaars te voorzien van de infrastructuur en platformmogelijkheden die ze nodig hebben om de toekomst te bouwen."
De samenwerking brengt de bedrijfsinfrastructuur van IBM Cloud, de HGX B300-computersystemen en Spectrum-X Ethernet-fabric van NVIDIA en het inferentieplatform van Together AI samen. De resulterende stack is ontworpen om organisaties te ondersteunen die AI-services moeten implementeren en beheren in cloud- en hybride omgevingen, met name voor workloads waarbij doorvoer, responstijd en infrastructuurgebruik direct van invloed zijn op de operationele kosten.
"Bedrijven wedijveren om agentische AI op grote schaal te implementeren om concrete bedrijfsresultaten te behalen", aldus Alan Peacock, algemeen directeur van IBM Cloud. "IBM en NVIDIA leveren schaalbare, economische AI-infrastructuur van enterprise-niveau die Together AI kan helpen de innovatie voor de volgende generatie AI-infrastructuur te versnellen."
Together AI heeft IBM en NVIDIA geselecteerd op basis van hun roadmaps voor GPU-infrastructuur en hun vermogen om capaciteit te leveren in het tempo dat nodig is voor de uitbreiding van AI-diensten. Het bedrijf haalde in juli $800 miljoen op in een Series C-financieringsronde met een waardering van $8.3 miljard om zijn AI Native Cloud-platform uit te breiden.
IBM omschreef de overeenkomst als onderdeel van een bredere samenwerking met NVIDIA op het gebied van AI-infrastructuur en -software. De bedrijven hebben ook verwezen naar gezamenlijke projecten rondom GPU-native data-analyse, extractie van ongestructureerde data, hybride infrastructuur en adviesdiensten. Voor IBM Cloud-klanten biedt de Together AI-implementatie een extra mogelijkheid om toegang te krijgen tot productieklare inferentie-infrastructuur, gebouwd op NVIDIA's nieuwste HGX-platform en krachtige Ethernet-netwerken.
Amazon