SambaNova i Supermicro będą budować i sprzedawać rozproszone systemy wnioskowania, które łączą procesory graficzne NVIDIA z rekonfigurowalnymi jednostkami przepływu danych (RDU) SN50 firmy SambaNova. Supermicro planuje początkowo dostarczyć 10 000 układów SN50. Szafy dołączają do katalogu rozwiązań Data Center Building Block Solutions (DCBBS) firmy Supermicro, a Supermicro będzie je integrować, testować, dostarczać i wspierać. Obie firmy określają liczbę 10 000 układów jako liczbę planowaną, która będzie wdrażana etapami; żadna z nich nie ujawniła zobowiązania zakupowego, cen ani daty dostawy.
Procesory graficzne NVIDIA uruchamiają funkcję Prefill, a jednostki RDU SN50 uruchamiają funkcję Decode
Podział wynika z dwóch faz wnioskowania LLM. Faza prefill przetwarza monit i jest ograniczona obliczeniowo, co SambaNova przypisuje do procesorów graficznych NVIDIA; faza decode generuje odpowiedź po jednym tokenie na raz i jest ograniczona pamięcią, co przypisuje do SN50. Argumentem SambaNova za tym parowaniem jest to, że obciążenia agentów spędzają większość czasu na dekodowaniu, ponieważ agent wykonuje tysiące wywołań modelu, a każda odpowiedź bramkuje swoją kolejną akcję, więc szybszy etap dekodowania skraca całą pętlę.
SN50 to moduł RDU piątej generacji firmy SambaNova, który, jak twierdzi firma, obsługuje największe modele przy wysokiej przepustowości, bez ekstremalnej gęstości mocy w szafie. Dzięki temu operatorzy mogą zwiększyć moc obliczeniową wnioskowania w istniejących obiektach i zachować posiadane procesory graficzne w trybie prefill. SambaNova deklaruje 5-krotnie większą moc obliczeniową na akcelerator i 4-krotnie większą przepustowość sieciową niż poprzednia generacja w przypadku modułu SambaRack SN50, który jest chłodzony powietrzem i skalowalny do 256 akceleratorów.
SambaRack SN50 obsługuje 16 jednostek RDU na szafę, więc początkowy plan 10 000 chipów oznacza około 625 szaf, jeśli Supermicro utrzyma tę gęstość. SambaNova nie opublikowała danych dotyczących przepustowości, opóźnień ani poboru mocy dla połączonych systemów GPU i RDU, a Supermicro nie określiło konfiguracji serwerów, modeli GPU ani połączeń między nimi, ani liczby jednostek GPU i RDU w każdym systemie. Katalog DCBBS Supermicro obejmuje już szafy NVIDIA Vera Rubin NVL72 oraz szafę Vera CPU , którą pozycjonuje na potrzeby środowisk sandboxingowych agentów.
Supermicro zajmuje się integracją i wsparciem na miejscu
Supermicro zajmuje się integracją systemu, testowaniem, dostawą i wsparciem klienta, w tym serwisem na miejscu, podczas gdy inżynierowie SambaNova wdrażają modele do SN50, dostrajają je do sprzętu i pomagają Supermicro we wdrożeniach. Dla kupujących zmiana dotyczy kanału dystrybucji: jednostki RDU SN50 można zamówić w Supermicro wraz z procesorami GPU w taki sam sposób, jak resztę szafy rack, a za system odpowiada jeden dostawca.
„Agentna sztuczna inteligencja to kolejna fala wnioskowania i musi działać wszędzie” – powiedział Rodrigo Liang, współzałożyciel i prezes SambaNova. „Supermicro buduje infrastrukturę AI dla centrów danych na całym świecie. Teraz klienci mogą zamawiać jednostki RDU SN50 wraz z procesorami graficznymi od wiodącego światowego partnera, któremu ufają. W ten sposób szybkie i wydajne wnioskowanie staje się skalowalne”.
„Nasza współpraca z SambaNova rozszerza nasze szerokie portfolio DCBBS, umożliwiając stosowanie heterogenicznych architektur, które integrują obliczenia GPU ze specjalistycznym przyspieszeniem wnioskowania, pomagając klientom wdrażać wydajne, skalowalne rozwiązania AI” — powiedział Charles Liang, prezes i dyrektor generalny Supermicro.
NeoClouds i Sovereign Clouds to pierwsze cele
Firmy rozpoczną od NeoClouds i suwerennych chmur, a następnie rozszerzą działalność na przedsiębiorstwa wdrażające sztuczną inteligencję lokalnie. SambaNova spodziewa się, że partnerstwo pozwoli na wprowadzenie do użytku znacznie większej, wydajnej mocy obliczeniowej w zakresie wnioskowania do 2027 roku, niż byłoby to możliwe w pojedynkę, i nie podała jeszcze nazw klientów ani harmonogramu dostaw 10 000 układów. Umowa jest następstwem pierwszego w lipcu zamknięcia przez SambaNova finansowania o wartości 1 miliarda dolarów przy wycenie 11 miliardów dolarów, które obejmowało wdrożenie przez JPMorganChase systemów SN40 i SN50 do wnioskowania lokalnego oraz współpracę w zakresie heterogenicznego wnioskowania z firmą Intel.
Amazon