Spoločnosť IBM oznámila viacročnú zmluvu v hodnote 240 miliónov dolárov so spoločnosťou Together AI o nasadení špecializovaného inferenčného klastra pre umelú inteligenciu založeného na technológii NVIDIA HGX B300 v cloude IBM Cloud. Together AI plánuje toto prostredie využiť na poskytovanie inferenčných služieb pre modely s otvoreným zdrojovým kódom a rozšíriť tak svoju platformu AI Native Cloud pre podnikových zákazníkov.
Toto nasadenie je pozicionované ako prvý špecializovaný rozsiahly inferenčný klaster spoločnosti IBM Cloud postavený na systémoch NVIDIA HGX B300, ktorý nadväzuje na kapacitu Grace Blackwell, ktorú IBM pridala minulý rok prostredníctvom CoreWeave. Bude tiež využívať ethernetovú sieť NVIDIA Spectrum-X , čím vytvorí architektúru továrne umelej inteligencie určenú na podporu vysokokapacitných inferenčných úloh s nízkou latenciou. IBM uvádza, že nasadenie je navrhnuté tak, aby poskytovalo 30-krát viac výstupu továrne umelej inteligencie v porovnaní s predchádzajúcimi generáciami. Výkon na úrovni pracovnej záťaže však bude závisieť od architektúry modelu, presnosti, veľkosti dávky a konfigurácie poskytovania.
Spoločnosť Together AI ponúka infraštruktúrne a softvérové služby zahŕňajúce inferenciu, trénovanie modelov, jemné doladenie a pracovné postupy agentickej umelej inteligencie. Spoločnosť uvádza, že jej inferenciálna platforma teraz mesačne obsluhuje 400 biliónov tokenov. Nové nasadenie IBM Cloud má za cieľ pridať kapacitu GPU pre produkčnú inferenciu a zároveň zlepšiť výkon a ekonomiku tokenov pre organizácie, ktoré vo veľkom meradle nasadzujú modely s otvorenou váhou a otvoreným zdrojovým kódom.
„Spoločnosť Together AI je hrdá na to, že je lídrom v prinášaní produkčnej inferencie na trh s najnovšou infraštruktúrou umelej inteligencie od spoločnosti NVIDIA v cloude IBM Cloud,“ povedal Vipul Ved Prakash, generálny riaditeľ spoločnosti Together AI. „Spolupráca IBM s NVIDIA urýchľuje našu misiu sprístupniť pokročilú umelú inteligenciu široko prostredníctvom open source a poskytnúť vývojárom infraštruktúru a platformové možnosti, ktoré potrebujú na budovanie budúcnosti.“
Táto spolupráca spája podnikovú infraštruktúru IBM Cloud, výpočtové systémy NVIDIA HGX B300 a ethernetovú štruktúru Spectrum-X a inferenčnú platformu Together AI. Výsledný balík je navrhnutý tak, aby podporoval organizácie, ktoré potrebujú nasadiť a prevádzkovať služby umelej inteligencie v cloudových a hybridných prostrediach, najmä pre pracovné zaťaženia, kde priepustnosť, čas odozvy a využitie infraštruktúry priamo ovplyvňujú prevádzkové náklady.
„Podniky sa predbiehajú v zavádzaní agentovej umelej inteligencie vo veľkom meradle, aby dosiahli skutočné obchodné výsledky,“ povedal Alan Peacock, generálny riaditeľ spoločnosti IBM Cloud. „IBM a NVIDIA poskytujú škálovateľnú, ekonomickú infraštruktúru umelej inteligencie na podnikovej úrovni, ktorá môže spoločnosti Together AI pomôcť urýchliť inovácie pre ďalšiu generáciu infraštruktúry umelej inteligencie.“
Spoločnosť Together AI si vybrala spoločnosti IBM a NVIDIA na základe ich plánov pre infraštruktúru GPU a ich schopnosti poskytovať kapacitu tempom potrebným pre rozširovanie služieb AI. Spoločnosť v júli získala investíciu do série C v hodnote 800 miliónov dolárov s ocenením 8.3 miliardy dolárov na rozšírenie svojej platformy AI Native Cloud.
Spoločnosť IBM charakterizovala túto dohodu ako súčasť širšej spolupráce so spoločnosťou NVIDIA v oblasti infraštruktúry a softvéru umelej inteligencie. Spoločnosti tiež spomenuli spoločnú prácu v oblasti analýzy dát natívnej pre GPU, extrakcie neštruktúrovaných dát, hybridnej infraštruktúry a konzultačných služieb. Pre zákazníkov IBM Cloud predstavuje nasadenie AI v rámci projektu Together ďalšiu cestu k inferenčnej infraštruktúre produkčnej úrovne, ktorá je postavená na najnovšej platforme HGX od spoločnosti NVIDIA a vysokovýkonnej ethernetovej sieti.
Amazonka