Společnost DeepInfra otevřela v Torontu nové datové centrum pro umělou inteligenci, což je první nasazení této společnosti mimo Spojené státy a celkově její devátý závod. Toto centrum, oznámené 8. července, rozšiřuje globální inferenční infrastrukturu společnosti DeepInfra, jelikož poptávka se přesouvá od školení modelů umělé inteligence k produkčním inferenčním úlohám.
Zařízení v Torontu poskytuje kapacitu 1.7 MW a bude hostit více než 1 000 grafických procesorů NVIDIA Blackwell B300. Po uvedení do provozu cluster zvýší globální inferenční kapacitu DeepInfra a zároveň sníží latenci pro zákazníky v Kanadě a na dalších mezinárodních trzích.
Tato expanze odráží širší trend v odvětví. Vzhledem k tomu, že podniky přesouvají generativní aplikace umělé inteligence do produkčního prostředí, poptávka po infrastruktuře se stále více zaměřuje na inferenci spíše než na školení. Inference modelů velkých jazyků vyžaduje trvalou dostupnost GPU, sítě s nízkou latencí a geograficky distribuovanou infrastrukturu pro podporu interaktivních aplikací, agentů umělé inteligence a služeb API s vysokým objemem. Výzkum společnosti McKinsey & Company, na který se odkazuje v oznámení, předpovídá, že inference bude do roku 2030 tvořit více než 40 % celkové poptávky po datových centrech a bude růst odhadovaným složeným ročním tempem 35 %.
Společnost DeepInfra uvedla, že nasazení v Torontu je navrženo tak, aby tyto požadavky splnilo tím, že přiblíží zdroje GPU uživatelům a datům a zároveň zvýší celkovou kapacitu platformy. Společnost vlastní a provozuje svou infrastrukturu GPU, podporuje více než 200 modelů s otevřeným zdrojovým kódem a uvádí, že na své platformě pro spravovanou inferenci, která slouží jak otevřeným, tak proprietárním modelům umělé inteligence, zpracovává téměř pět bilionů tokenů týdně.
Toto nasazení také zdůrazňuje rostoucí využívání architektury Blackwell od společnosti NVIDIA pro inferenční infrastrukturu. Grafické procesory Blackwell jsou navrženy tak, aby zlepšily propustnost inference a energetickou účinnost pro rozsáhlé jazykové modely a multimodální úlohy umělé inteligence ve srovnání s předchozími systémy založenými na technologii Hopper. Ačkoli společnost DeepInfra nezveřejnila další podrobnosti o infrastruktuře, jako je síťová nebo úložná architektura, nasazení v tomto rozsahu se obvykle spoléhají na propojení s vysokou šířkou pásma a distribuované úložiště, aby se GPU plně využily.
Podle generálního ředitele a spoluzakladatele Nikoly Borisova se podniková umělá inteligence přesunula od experimentování k produkčnímu nasazení, což zvyšuje potřebu globálně distribuované infrastruktury, která poskytuje nižší latenci a škálovatelnou inferenční kapacitu. Řekl, že cluster v Torontu představuje první expanzi společnosti mimo USA a umisťuje výpočetní zdroje blíže k zákazníkům a jejich datům.
Nasazení v Torontu navazuje na nedávné financování série B společností DeepInfra a je součástí širší strategie rozšiřování infrastruktury společnosti. Společnost uvedla, že zvažuje další nasazení mezinárodních datových center, jelikož poptávka po inferenčních službách založených na GPU stále roste.
Amazon