Smartbird i WEKA ogłosiły partnerstwo, które umieszcza platformę WEKA NeuralMesh w dedykowanych klastrach AI firmy Smartbird, sprzedawanych jako usługa zarządzana dla obciążeń AI w przedsiębiorstwach. Smartbird projektuje, buduje i obsługuje każdy klaster dla obciążeń pojedynczego klienta, lokalnie lub w dedykowanej lokalizacji kolokacyjnej. Firmy opisują rezultat jako suwerenny z założenia, a dane klientów pozostają w środowisku kontrolowanym przez klienta i gotowe do produkcji od pierwszego dnia. Umowa jest pierwszą w planowanej sieci partnerstw infrastrukturalnych Smartbird.
Smartbird to firma wcześniej znana jako Allbirds. Allbirds sprzedała swoją markę obuwia i aktywa, w czerwcu zmieniła nazwę na Smartbird, Inc., utrzymała notowania na NASDAQ pod symbolem BIRD i mianowała dr Nadię Carlsten, poprzednią dyrektor generalną firmy DCAI, dostawcy rozwiązań obliczeniowych GPU, na stanowisko prezesa i dyrektora generalnego. W momencie zmiany nazwy pierwsze klastry były wciąż w fazie projektowania, a centra danych były w budowie w Stanach Zjednoczonych i Europie, co sprawia, że umowa WEKA stanowi pierwszy krok w kierunku tego, co będzie zawierał stos.
Przepustowość danych i roszczenia wnioskowania
Sieć NeuralMesh zapewnia warstwę danych i pamięci. Firmy twierdzą, że procesory graficzne są stale zasilane danymi z przepustowością sięgającą setek gigabajtów na sekundę, ale nie ujawniły konfiguracji sprzętowych, wersji oprogramowania ani warunków testowych, które stoją za tą wartością. W przypadku wnioskowania i ciągłego działania aplikacji agentowych, firmy twierdzą, że połączona platforma zwiększa pojemność pamięci procesora graficznego, skraca czas do pierwszego tokena i ogranicza konieczność ponownego obliczania, co wiąże z niższymi kosztami tokenów.
Odpowiedzią WEKA na te trzy elementy w NeuralMesh jest Augmented Memory Grid , warstwa pamięci podręcznej KV, która rozszerza pamięć GPU o przestrzeń dyskową NeuralMesh. Dane WEKA dotyczące tego rozwiązania to nawet 1000-krotnie większa pojemność pamięci GPU, nawet 20-krotnie krótszy czas oczekiwania na pierwszy token oraz 10-krotnie większa liczba jednoczesnych użytkowników na tych samych GPU, co firma przypisuje testom wydajności produkcyjnej. Są to ogólne dane WEKA dotyczące NeuralMesh; ogłoszenie Smartbird nie ujawnia, z których komponentów NeuralMesh korzystają klastry, ani nie zawiera żadnych zmierzonych danych dotyczących wykorzystania GPU, poboru mocy ani kosztu na token.
„Przedsiębiorstwa nie chcą składać infrastruktury AI z pojedynczych elementów. Chcą kompletnego, działającego rozwiązania, obsługiwanego przez osoby, które już to robiły” – powiedziała dr Nadia Carlsten, prezes i dyrektor generalna Smartbird. „Każdy klaster AI Smartbird jest projektowany z uwzględnieniem specyficznych wymagań klienta, niezależnie od tego, czy jest to bank, szpital, producent, czy agencja rządowa. Dzięki zastosowaniu technologii WEKA NeuralMesh, Smartbird zapewnia klientom warstwę danych i pamięci o sprawdzonej wydajności na dużą skalę”.
„Agentna sztuczna inteligencja jest bezlitosna: bezczynne procesory graficzne (GPU) i zastoje w procesach od razu trafiają do rachunku zysków i strat. Przedsiębiorstwa słyszały, że rozwiązanie to kwestia kompromisu, wydajności lub suwerenności, ale zawsze była to awaria infrastruktury, a nie prawo fizyki” – powiedział Liran Zvibel, współzałożyciel i dyrektor generalny WEKA. „WEKA NeuralMesh eliminuje ten kompromis. Smartbird oferuje go w postaci dedykowanych klastrów, których klienci nie muszą budować ani obsługiwać. Razem zapewniamy regulowanym branżom inteligencję produkcyjną, która działa z pełną prędkością, wykorzystując infrastrukturę, z którą mają styczność tylko oni, oferując większą wydajność na procesor graficzny (GPU), na wat i na dolara”.
Dedykowana infrastruktura i zarządzane operacje
Smartbird obsługuje pełen stos, obejmujący infrastrukturę, zasoby obliczeniowe, sieć, infrastrukturę danych i koordynację danych, dzięki czemu klient ma jednego odpowiedzialnego partnera i nie integruje dostawców ani nie śledzi wielu cykli wydań sprzętu. Każdy klaster jest mapowany indywidualnie na klienta, a firmy twierdzą, że w pełni dedykowana infrastruktura zapewnia izolację, szyfrowanie i audytowalność, niezbędne w przypadku obciążeń w sektorze administracji publicznej, opieki zdrowotnej i usług finansowych. Firmy nie podały konkretnych jurysdykcji wdrożeniowych, implementacji szyfrowania ani certyfikatów zgodności.
Chociaż firmy opisują platformę jako gotową do produkcji od pierwszego dnia, nie podano daty ogólnej dostępności ani konkretnych klientów, a strony Smartbird były wciąż w fazie rozwoju w momencie zmiany nazwy w czerwcu. Sam NeuralMesh jest produktem startowym w tym zestawie: WEKA wprowadziła go do ogólnej dostępności w marcu, a w lipcu przeniosła do wielodostępnej platformy NeuralMesh 6 , wraz z równoległą umową, która umieszcza go w gronie ponad 50 dostawców GPU Andromedy.
Amazon