AMD Instinct Coder использует 8 графических процессоров MI325X для локального ИИ-программирования, заявляя о снижении стоимости токенов на 70%.

AMD, Spectro Cloud и Supermicro анонсировали AMD Instinct Coder, проверенную корпоративную платформу для выполнения задач искусственного интеллекта. Решение объединяет графические ускорители AMD Instinct, инфраструктуру ИИ Supermicro и панель запуска PaletteAI Inference Launchpad от Spectro Cloud, предоставляя готовое решение для развертывания частных и гибридных сред выполнения задач ИИ.

Архитектура разработана для предприятий, облачных провайдеров и суверенных операторов ИИ, которым необходимо сбалансировать локальную обработку, доступ к передовым моделям, оперативное управление и потребление токенов. Вместо того чтобы направлять все запросы к агенту кодирования к внешним крупным языковым моделям, AMD Instinct Coder использует маршрутизацию на основе политик для определения того, будет ли запрос обработан локально развернутой моделью или перенаправлен на внешнюю конечную точку передовой модели.

Этот подход ориентирован на рабочие нагрузки, где рутинное кодирование, генерация кода, суммирование и аналогичные задачи могут выполняться локально, в то время как более сложные рассуждения или специализированные возможности остаются доступными через внешние модели. Платформа призвана уменьшить зависимость от одного поставщика моделей, сохраняя при этом конфиденциальный код, подсказки и контекстные данные в контролируемой инфраструктуре, где это необходимо. Партнеры утверждают, что такая схема может снизить стоимость токенов для кодирования ИИ до 70%, при этом собственные материалы AMD приводят ту же цифру в качестве общей стоимости владения и указывают на окупаемость всего за шесть месяцев. Ни одна из этих цифр не была независимо подтверждена.

Это объявление появилось на фоне того, как организации масштабируют инструменты для разработки ИИ в командах разработчиков и автоматизированных рабочих процессах. В своем отчете от 24 июня 2026 года «Gartner прогнозирует, что к 2028 году затраты на разработку ИИ превысят среднюю зарплату разработчика из-за резкого роста потребления токенов» компания Gartner заявила , что затраты на токены могут опередить рост производительности без структурированной операционной модели. AMD Instinct Coder решает эту проблему за счет маршрутизации моделей, учета, квот и политик рабочей нагрузки.

Предполагается, что в начальной конфигурации будут использоваться графические процессоры AMD Instinct MI325X. Каждый ускоритель MI325X включает 256 ГБ памяти HBM3E и пиковую пропускную способность памяти до 6 ТБ/с, что ориентировано на ресурсоемкие задачи генеративного ИИ. AMD позиционирует платформу на основе своего портфеля ускорителей Instinct и программной экосистемы ROCm, стремясь поддерживать локальное выполнение задач вывода без необходимости самостоятельной сборки и проверки всего аппаратного и программного обеспечения. Локальный вывод выполняется на основе модели GLM-5.2, оптимизированной с помощью микросервисов AMD Inference, а платформа предоставляет доступ к квотам токенов, журналам аудита и информации о затратах через панели мониторинга Grafana и Prometheus.

Характеристики

Компания Supermicro предоставляет базовую инфраструктуру для корпоративного ИИ. Поддерживаемые ею системы включают платформы с восемью графическими процессорами с воздушным и жидкостным охлаждением, совместимые с ускорителями AMD Instinct MI325X и MI350 Series . Вклад Supermicro включает предварительную проверку, интеграцию в стойки и квалификацию системы, что призвано снизить сложность развертывания и сократить переход от предоставленной инфраструктуры к производственной обработке данных.

Платформа Spectro Cloud PaletteAI Inference Launchpad предоставляет операционный программный уровень. Платформа поддерживает маршрутизацию между локальными и внешними моделями, применение политик, специфичных для каждой рабочей нагрузки, учет токенов, квоты потребления и разделение на многопользовательские системы для команд и пользователей. Программное обеспечение разработано для поддержания локального выполнения для подходящих рабочих нагрузок, сохраняя при этом резервное подключение к внешним моделям.

В результате была создана архитектура, использующая многоуровневый вывод, назначающая конечные точки модели на основе требуемой производительности, чувствительности, возможностей модели, целевых показателей стоимости и доступной мощности инфраструктуры. Для команд, занимающихся платформой, это создает способ стандартизации предоставления и управления спросом на кодирование ИИ для внутренних пользователей и приложений. Дэн Макнамара, старший вице-президент и генеральный директор подразделения вычислительных и корпоративных решений в области ИИ в AMD, охарактеризовал этот сдвиг как переход от индивидуального инструмента разработчика к решению, принимаемому на уровне корпоративной платформы. BMC входит в число первых пользователей, а Том Дэвис, вице-президент по операциям SaaS, описал AMD Instinct Coder как экономически эффективный и высокопроизводительный слой вывода для работы компании над проектом Helix Agentic Engineering.

Ожидается, что первоначальная конфигурация AMD Instinct Coder будет поставляться на системах Supermicro с использованием графических процессоров AMD Instinct MI325X, а партнеры продемонстрируют платформу на выставке Ai4 в Лас-Вегасе на этой неделе. Окончательные конфигурации продукта, доступность, региональная поддержка и цены остаются предметом проверки и утверждения партнерами, поэтому приведенные выше характеристики описывают эталонную сборку, а не готовую модель с опубликованными ценами. Организации, заинтересованные в оценке, могут связаться со Spectro Cloud через страницу «Начало работы».