AMD Instinct Coder wykorzystuje 8 procesorów graficznych MI325X do lokalnego kodowania AI, co zapewnia o 70% niższe koszty tokenów

Firmy AMD, Spectro Cloud i Supermicro ogłosiły wprowadzenie AMD Instinct Coder, przetestowanej platformy wnioskowania korporacyjnego przeznaczonej do zadań związanych z kodowaniem AI. Rozwiązanie łączy akceleratory GPU AMD Instinct, infrastrukturę AI Supermicro oraz platformę PaletteAI Inference Launchpad firmy Spectro Cloud, oferując gotowe rozwiązanie do wdrażania prywatnych i hybrydowych środowisk wnioskowania AI.

Architektura została zaprojektowana dla przedsiębiorstw, dostawców usług chmurowych i niezależnych operatorów sztucznej inteligencji (AI), którzy muszą zrównoważyć przetwarzanie lokalne, dostęp do modeli granicznych, zarządzanie operacyjne i zużycie tokenów. Zamiast kierować wszystkie żądania agentów kodujących do zewnętrznych modeli języka dużego, AMD Instinct Coder wykorzystuje routing oparty na regułach, aby określić, czy żądanie jest obsługiwane przez lokalnie wdrożony model, czy przekazywane do zewnętrznego punktu końcowego modelu granicznego.

To podejście jest ukierunkowane na obciążenia, w których rutynowe kodowanie, generowanie kodu, podsumowywanie i podobne zadania mogą być wykonywane lokalnie, podczas gdy bardziej złożone wnioskowanie lub wyspecjalizowane funkcje pozostają dostępne za pośrednictwem modeli zewnętrznych. Platforma ma na celu zmniejszenie zależności od jednego dostawcy modelu, przy jednoczesnym zachowaniu wrażliwego kodu, monitów i danych kontekstowych w kontrolowanej infrastrukturze, tam gdzie jest to właściwe. Partnerzy twierdzą, że takie rozwiązanie może obniżyć koszty tokenów kodowania AI nawet o 70%, a własne materiały AMD podają tę samą wartość jako całkowity koszt posiadania (TCO) i deklarują zwrot inwestycji w ciągu zaledwie sześciu miesięcy. Żadna z tych wartości nie została niezależnie zweryfikowana.

Ogłoszenie pojawia się w momencie, gdy organizacje skalują narzędzia do kodowania AI w zespołach programistycznych i zautomatyzowanych przepływach pracy. Gartner w swoim raporcie z 24 czerwca 2026 roku, „ Gartner Predicts AI Coding Costs Will Surpe Average Developer's Salary by 2028 as Token Consumption Rosse”, stwierdził , że koszty tokenów mogą przewyższyć wzrost produktywności bez ustrukturyzowanego modelu operacyjnego. AMD Instinct Coder rozwiązuje ten problem poprzez routing modeli, pomiary, limity i zasady dotyczące obciążenia.

Oczekuje się, że początkowa konfiguracja będzie wykorzystywać procesory graficzne AMD Instinct MI325X. Każdy akcelerator MI325X zawiera 256 GB pamięci HBM3E i szczytową przepustowość pamięci do 6 TB/s, co pozwala na obsługę generatywnych obciążeń wnioskowania AI wymagających dużej ilości pamięci. AMD pozycjonuje platformę wokół swojego portfolio akceleratorów Instinct i ekosystemu oprogramowania ROCm, dążąc do obsługi wnioskowania obsługiwanego lokalnie bez konieczności samodzielnego składania i walidacji całego stosu sprzętowego i programowego przez organizacje. Lokalne wnioskowanie wykorzystuje model GLM-5.2 zoptymalizowany za pomocą mikrousług AMD Inference, a platforma udostępnia limity tokenów, ścieżki audytu i wgląd w koszty za pośrednictwem pulpitów Grafana i Prometheus.

SPECYFIKACJA

Firma Supermicro zapewnia podstawową infrastrukturę AI dla przedsiębiorstw. Obsługiwane przez nią systemy obejmują platformy z ośmioma procesorami graficznymi chłodzone powietrzem i cieczą, kompatybilne z akceleratorami AMD Instinct serii MI325X i MI350 . Wkład Supermicro obejmuje wstępną walidację, integrację z szafą serwerową i kwalifikację systemu, co ma na celu zmniejszenie złożoności wdrożenia i skrócenie okresu przejściowego od dostarczonej infrastruktury do wnioskowania produkcyjnego.

Spectro Cloud PaletteAI Inference Launchpad zapewnia warstwę oprogramowania operacyjnego. Platforma obsługuje routing w modelach lokalnych i granicznych, egzekwowanie zasad specyficznych dla obciążeń, pomiar tokenów, limity zużycia oraz separację wielodostępową dla zespołów i użytkowników. Oprogramowanie zostało zaprojektowane z myślą o utrzymaniu lokalnego wykonywania dla odpowiednich obciążeń, przy jednoczesnym zachowaniu awaryjnej łączności z zewnętrznie hostowanymi modelami granicznymi.

Powstała architektura wykorzystuje wielopoziomowe wnioskowanie, przypisując punkty końcowe modelu na podstawie wymaganej wydajności, czułości, możliwości modelu, celów kosztowych i dostępnej pojemności infrastruktury. Dla zespołów platformowych pozwala to na standaryzację sposobu, w jaki zapotrzebowanie na kodowanie AI jest zapewniane i zarządzane przez użytkowników wewnętrznych i aplikacje. Dan McNamara, starszy wiceprezes i dyrektor generalny ds. obliczeń i sztucznej inteligencji w przedsiębiorstwie w AMD, określił tę zmianę jako odejście od kodowania AI dla indywidualnych narzędzi programistycznych na rzecz decyzji podejmowanych przez platformę korporacyjną. BMC jest jednym z pierwszych użytkowników, a Tom Davies, wiceprezes ds. operacji SaaS, opisał AMD Instinct Coder jako ekonomiczną i wydajną warstwę wnioskowania dla prac firmy Helix Agentic Engineering.

Oczekuje się, że wstępna konfiguracja AMD Instinct Coder zostanie dostarczona na systemach Supermicro z procesorami graficznymi AMD Instinct MI325X. Partnerzy zaprezentują platformę na targach Ai4 w Las Vegas w tym tygodniu. Ostateczne konfiguracje produktów, dostępność, wsparcie regionalne i ceny nadal podlegają walidacji i zatwierdzeniu przez partnerów, dlatego powyższa specyfikacja dotyczy wersji referencyjnej, a nie gotowego produktu z opublikowanymi cenami. Organizacje zainteresowane testowaniem mogą skontaktować się z firmą Spectro Cloud za pośrednictwem strony „Get Starts”.