Firma DeepInfra otworzyła nowe centrum danych AI w Toronto, co stanowi pierwsze wdrożenie firmy poza Stanami Zjednoczonymi i dziewiąty obiekt w ogóle. Ogłoszone 8 lipca centrum rozszerza globalną infrastrukturę wnioskowania DeepInfra, w miarę jak popyt przesuwa się z uczenia modeli AI na obciążenia wnioskowania produkcyjnego.
Obiekt w Toronto oferuje moc 1.7 MW i będzie obsługiwał ponad 1,000 procesorów graficznych NVIDIA Blackwell B300. Po uruchomieniu klaster zwiększy globalną przepustowość DeepInfra w zakresie wnioskowania, jednocześnie zmniejszając opóźnienia dla klientów w Kanadzie i na innych rynkach międzynarodowych.
Ekspansja ta odzwierciedla szerszy trend branżowy. W miarę jak przedsiębiorstwa przenoszą generatywne aplikacje AI do produkcji, zapotrzebowanie na infrastrukturę coraz bardziej koncentruje się na wnioskowaniu, a nie na szkoleniu. Wnioskowanie w dużych modelach językowych wymaga stałej dostępności GPU, sieci o niskim opóźnieniu i geograficznie rozproszonej infrastruktury, aby obsługiwać interaktywne aplikacje, agentów AI i usługi API o dużej objętości. Badania McKinsey & Company cytowane w ogłoszeniu przewidują, że do 2030 roku wnioskowanie będzie stanowić ponad 40% całkowitego zapotrzebowania na centra danych, rosnąc w tempie szacowanym na 35% rocznie.
Firma DeepInfra poinformowała, że wdrożenie w Toronto ma na celu spełnienie tych wymagań poprzez przybliżenie zasobów GPU do użytkowników i danych, przy jednoczesnym zwiększeniu ogólnej przepustowości platformy. Firma jest właścicielem i operatorem infrastruktury GPU, obsługuje ponad 200 modeli open source i, jak twierdzi, przetwarza prawie pięć bilionów tokenów tygodniowo na swojej zarządzanej platformie wnioskowania, która obsługuje zarówno otwarte, jak i zastrzeżone modele sztucznej inteligencji.
Wdrożenie podkreśla również rosnącą popularność architektury Blackwell firmy NVIDIA w infrastrukturze wnioskowania. Procesory graficzne Blackwell zostały zaprojektowane z myślą o zwiększeniu przepustowości wnioskowania i efektywności energetycznej w przypadku dużych modeli językowych i multimodalnych obciążeń AI w porównaniu z poprzednimi systemami opartymi na platformie Hopper. Chociaż DeepInfra nie ujawnił dodatkowych szczegółów dotyczących infrastruktury, takich jak architektura sieciowa czy pamięci masowej, wdrożenia na taką skalę zazwyczaj opierają się na połączeniach o dużej przepustowości i rozproszonej pamięci masowej, aby w pełni wykorzystać potencjał procesorów graficznych.
Według prezesa i współzałożyciela Nikoli Borisowa, sztuczna inteligencja w przedsiębiorstwach przeszła z etapu eksperymentalnego do wdrożeń produkcyjnych, co zwiększa zapotrzebowanie na globalnie rozproszoną infrastrukturę, która zapewnia mniejsze opóźnienia i skalowalną przepustowość wnioskowania. Dodał, że klaster w Toronto stanowi pierwszą ekspansję firmy poza Stany Zjednoczone i pozycjonuje zasoby obliczeniowe bliżej klientów i ich danych.
Wdrożenie w Toronto jest kontynuacją niedawnego finansowania serii B firmy DeepInfra i stanowi część szerszej strategii rozwoju infrastruktury. Firma poinformowała, że rozważa kolejne wdrożenia w międzynarodowych centrach danych, ponieważ popyt na usługi wnioskowania oparte na procesorach graficznych stale rośnie.
Amazon