Equinix rozszerzył współpracę z firmą NVIDIA i nawiązał nową współpracę z Together AI, aby uruchomić platformę Equinix Inference Exchange. Platforma, zaprojektowana jako rozproszona architektura wnioskowania AI dla przedsiębiorstw, ma na celu przeniesienie obciążeń obliczeniowych bliżej głównych repozytoriów danych, użytkowników końcowych i aplikacji operacyjnych. Inicjatywa, zapowiedziana wraz z platformą Equinix Fabric One podczas wydarzenia Equinix Horizon, łączy korporacyjną architekturę sprzętową firmy NVIDIA, platformę modelową typu open source Together AI oraz globalną infrastrukturę połączeń Equinix, aby rozwiązać problemy z opóźnieniami, suwerennością danych i wąskimi gardłami sieciowymi.
Rozwiązywanie problemów z rozproszonym wnioskowaniem i grawitacją danych
W miarę jak inicjatywy korporacyjne w zakresie sztucznej inteligencji przechodzą od walidacji prototypów do produkcji o wysokiej przepustowości, umiejscowienie wnioskowania dyktuje całkowity koszt, opóźnienie reakcji i poziom zgodności. Przeniesienie wykonywania modelu bliżej źródeł danych zmniejsza koszty backhaulingu danych w chmurach publicznych , zapewniając jednocześnie deterministyczne profile opóźnień. Zarządzanie rozproszoną infrastrukturą w różnych środowiskach wiąże się jednak z narzutem operacyjnym i złożonością sieciową.
Equinix rozwiązuje ten problem operacyjny, wykorzystując swoją sieć ponad 280 centrów danych w 77 metropoliach, 230 punktów dostępowych dla chmury oraz sieć ponad 10 500 połączonych ze sobą przedsiębiorstw. Z ośmioma z dziesięciu czołowych dostawców modeli sztucznej inteligencji (AI) i dziewięcioma z dziesięciu czołowych chmur AI już działającymi w obiektach Equinix, platforma pełni funkcję neutralnej warstwy agregującej dla rozproszonych potoków AI.
Architektura i integracja stosu
Pakiet Equinix Inference Exchange jest podzielony na trzy odrębne warstwy obejmujące infrastrukturę obliczeniową, programową i fizyczną:
Equinix zarządza podstawową infrastrukturą fizyczną i sieciową. Obejmuje to zapewnienie zasilania, zaawansowane funkcje chłodzenia cieczą, obsługę obiektów od drugiego dnia oraz prywatną łączność z sieciami, chmurami publicznymi i platformami SaaS za pośrednictwem Equinix Fabric.
NVIDIA zapewnia warstwę obliczeniową i walidacji referencyjnej, dostarczając infrastrukturę AI dla przedsiębiorstw zaprojektowaną z myślą o wysokiej przepustowości tokenów i obniżonych kosztach wnioskowania na zapytanie.
Together AI zapewnia warstwę oprogramowania obsługującą wnioskowanie, która obsługuje ponad 200 modeli open source. Platforma obsługuje zarówno współdzielone środowiska wielodostępne dla ogólnej wydajności obliczeniowej, jak i dedykowane topologie jednodostępne dla obciążeń wymagających izolowanej pojemności.
Kierując ruch przez Equinix Fabric, platforma skraca czas potrzebny na uzyskanie pierwszego tokena (TTFT) dla użytkowników regionalnych, jednocześnie ustanawiając prywatne ścieżki wymiany danych między lokalnym magazynem danych a punktami końcowymi modelu.
Cele i dostępność wdrożeń w przedsiębiorstwach
Platforma obsługuje trzy główne topologie wdrożenia. W przypadku inferencji metropolitalnej (metro-edge) organizacje mogą uruchamiać modele w lokalnych węzłach metropolitalnych, zapewniając odpowiedzi API o niskim opóźnieniu, przy jednoczesnym zachowaniu scentralizowanego zarządzania i prywatnych połączeń międzysystemowych. W przypadku migracji modeli open source, architektura zapewnia płynną ścieżkę przejścia z zamkniętych, zastrzeżonych interfejsów API do modeli bazowych open source, zmniejszając uzależnienie od dostawców przy jednoczesnym wykorzystaniu istniejących struktur sieciowych. W przypadku suwerennych wymogów dotyczących sztucznej inteligencji i zgodności, rozproszony układ umożliwia przedsiębiorstwom z sektorów regulowanych utrzymanie wykonywania inferencji i przetwarzania danych w określonych granicach geograficznych, co pomaga spełnić surowe wymogi dotyczące rezydencji danych i zarządzania nimi.
Przedstawiciele firm Equinix, NVIDIA i Together AI zauważyli, że integracja ta pozwala na stworzenie niezależnej od dostawcy struktury wnioskowania o wysokiej przepustowości, która równoważy wydajność obliczeniową ze sprawnością operacyjną.
Rozwiązanie Equinix Inference Exchange ma być powszechnie dostępne dla przedsiębiorstw w pierwszym kwartale 2027 roku.
Amazon