AMD Instinct Coder 將 8 個 MI325X GPU 用於本地 AI 編碼，聲稱代幣成本降低 70%。

AMD、Spectro Cloud 和 Supermicro 聯合發布了 AMD Instinct Coder，這是一個經過驗證的企業級推理平台，專為 AI 編碼工作負載而設計。該解決方案整合了 AMD Instinct GPU 加速器、Supermicro AI 基礎設施以及 Spectro Cloud 的 PaletteAI 推理啟動平台，為部署私有和混合 AI 推理環境提供了一站式解決方案。

該架構專為需要平衡本地處理、前沿模型存取、營運治理和代幣消耗的企業、雲端服務提供商和自主人工智慧營運商而設計。 AMD Instinct Coder 並非將所有編碼代理請求都導向到外部大型語言模型，而是採用基於策略的路由來決定請求是由本地部署的模型處理，還是轉發到外部前沿模型端點。

這種方法針對的是那些可以在本地處理常規編碼、程式碼產生、摘要等類似任務的工作負載，而更複雜的推理或專業功能則透過外部模型實現。該平台旨在減少對單一模型提供者的依賴，同時在適當情況下將敏感程式碼、提示和上下文資料保留在受控的基礎設施中。合作夥伴聲稱，這種安排可以將 AI 編碼代幣成本降低高達 70%，AMD 的宣傳資料也將這一數字作為總體擁有成本，並指出投資回報期最短可達六個月。但這兩個數字均未經獨立驗證。

隨著各組織機構在開發團隊和自動化工作流程中大規模部署 AI 編碼工具，AMD 發布了這項公告。 Gartner 在 2026 年 6 月 24 日發布的報告《Gartner 預測：隨著代幣消耗激增，AI 編碼成本將在 2028 年超過開發人員的平均薪資》中指出，如果沒有結構化的營運模式，代幣成本的成長速度可能會超過生產力的提升速度。 AMD Instinct Coder 透過模型路由、計量、配額和工作負載策略來解決這個問題。

初始配置預計將採用 AMD Instinct MI325X GPU。每顆 MI325X 加速器配備 256GB HBM3E 顯存，峰值記憶體頻寬高達 6TB/s，專為記憶體密集型生成式 AI 推理工作負載而設計。 AMD 將該平台定位在其 Instinct 加速器產品組合和 ROCm 軟體生態系統之上，旨在支援本地運行的推理，無需企業自行組裝和驗證完整的硬體和軟體堆疊。本地推理運行的是透過 AMD 推理微服務優化的 GLM-5.2 模型，該平台透過 Grafana 和 Prometheus 控制面板公開令牌配額、審計追蹤和成本可見性。

論文規範

Supermicro 提供底層企業級 AI 基礎架構。其支援的系統包括風冷和液冷八 GPU 平台，相容於 AMD Instinct MI325X 和MI350 系列加速器。 Supermicro 的貢獻包括預先驗證、機架整合和系統認證，旨在降低部署複雜性，並縮短從交付的基礎設施到生產推理的過渡時間。

Spectro Cloud PaletteAI推理啟動平台提供維運軟體層。該平台支援本地模型和前沿模型之間的路由、工作負載特定的策略執行、令牌計量、消費配額以及團隊和使用者的多租戶隔離。該軟體旨在為適當的工作負載保持本地執行，同時保留與外部託管前沿模型的備用連接。

最終的架構採用分層推理，根據所需的效能、靈敏度、模型功能、成本目標和可用基礎設施容量來分配模型端點。對於平台團隊而言，這提供了一種標準化的方式，可以跨內部用戶和應用程式配置和管理 AI 編碼需求。 AMD 運算與企業 AI 資深副總裁兼總經理 Dan McNamara 將這一轉變描述為 AI 編碼從個人開發者工具轉向企業平台決策。 BMC 是早期用戶之一，其 SaaS 營運副總裁 Tom Davies 將 AMD Instinct Coder 描述為公司 Helix Agentic Engineering 工作中經濟高效、高性能的推理層。

首批 AMD Instinct Coder 配置預計將搭載於採用 AMD Instinct MI325X GPU 的 Supermicro 系統上，合作夥伴已於本週在拉斯維加斯舉行的 Ai4 大會上展示了該平台。最終產品配置、供貨情況、區域支援和定價仍需經合作夥伴驗證和批准，因此上述規格描述的是參考版本，而非已公佈定價的上市 SKU。有意進行評估的機構可透過 Spectro Cloud 的「開始使用」頁面與其聯繫。