Компания VAST Data представила новую архитектуру для выполнения инференции, поддерживающую платформу хранения контекста инференции NVIDIA Inference Context Memory Storage Platform. Эта система ориентирована на приложения ИИ, включающие непрерывные многоэтапные сессии, управляемые агентами. VAST представляет эту платформу как класс хранения, разработанный для ИИ, улучшающий доступ к кэшу типа «ключ-значение» (KV), обеспечивающий быструю передачу контекста инференции между узлами и повышающий энергоэффективность. В конструкции используются DPU NVIDIA BlueField-4 и сетевое соединение Spectrum-X Ethernet, а операционная система VAST AI Operating System (AI OS) предоставляет необходимое программное обеспечение для эффективного управления этим общим инфраструктурным ресурсом.
Чтобы узнать больше о важности KV-кэша, ознакомьтесь с подробным анализом, который мы провели совместно с Pliops.
Это объявление сигнализирует об изменении факторов, ограничивающих производительность вывода в реальных приложениях. По мере того, как вывод переходит от простых подсказок к непрерывному рассуждению с участием множества агентов и пользователей, идея о том, что контекст остается в рамках одного сервера с графическим процессором, устаревает. В таких ситуациях общая производительность все больше зависит от того, насколько хорошо история вывода хранится, восстанавливается, повторно используется, расширяется и совместно используется в ходе текущих операций. Кэш ключ-значение эволюционирует от внутренней оптимизации к основному пути передачи данных, влияя на время до получения первого токена (TTFT), использование графического процессора и эффективность кластера.
Перестройка пути передачи данных для вывода результатов вокруг DPU.
Стратегия VAST заключается в запуске программного обеспечения VAST AI OS непосредственно на DPU NVIDIA BlueField-4. Вместо того чтобы рассматривать службы хранения и контекста как внешние компоненты, доступ к которым осуществляется через типичную клиент-серверную модель, архитектура интегрирует эти службы данных непосредственно в сервер GPU, где происходит вывод результатов, а также поддерживает конфигурации выделенных узлов данных. Такой подход направлен на минимизацию узких мест и устранение ненужных копирований и задержек, которые замедляют производительность по мере увеличения параллельной обработки.
Эта архитектура, ориентированная на DPU, явно учитывает практические потребности больших систем вывода. Когда одновременно работают сотни или тысячи сессий, управление кэшем ключ-значение превращается в непрерывную работу ввода-вывода (I/O). Система должна быстро считывать контекст для поддержания работы сессий, хранить его для долговременного использования и распределять между рабочими процессами, чтобы предотвратить дублирование обработки, когда инфраструктура направляет операции по более медленным каналам или требует обширной координации. Время ожидания (TTFT) увеличивается, из-за чего графические процессоры вынуждены ждать, а не обрабатывать. VAST утверждает, что перемещение плоскости данных на сервер через BlueField-4 обеспечивает более эффективную передачу контекста, более высокую пропускную способность и более надежную задержку, ближе к циклу обработки графического процессора.
VAST также делает акцент на эффективном маршруте от памяти графического процессора к постоянному хранилищу NVMe с использованием RDMA-сети. Это позволяет плавно передавать контекст между серверами с графическими процессорами и хранилищем, сокращая повторяющуюся обработку данных, характерную для традиционных систем. Цель состоит в том, чтобы обеспечить передачу контекста «в рамках полосы пропускания» высокопроизводительной сети, минимизируя при этом участие ЦП и накладные расходы на стороне клиента.
Общий, согласованный контекст в масштабе
Новая архитектура работает совместно с параллельной архитектурой VAST Disaggregated Shared Everything (DASE). VAST объясняет, что это позволяет каждому хосту получать доступ к общему, глобально согласованному пространству имен контекста без затрат на координацию, которые обычно возникают в больших масштабах. В долговременном выводе данных, управляемом агентами, эта деталь становится критически важной. Контекст не только большой, но и все чаще используется совместно.
Агентные системы часто требуют одновременного использования инструментов, передачи управления между несколькими агентами и поведения, подобного работе с памятью, во время взаимодействия. Это требует повторного использования контекста, а не его воссоздания и совместного использования между рабочими процессами вывода, а не привязки к одному узлу. Если системы не могут поддерживать локальность контекста из-за планирования, вытеснения или восстановления после сбоя, они должны быстро восстанавливать и продолжать сессии без повторной обработки длинных историй запросов. Таким образом, кэш ключ-значение превращается в жизненно важный ресурс кластера, и задача смещается в сторону обеспечения его широкой доступности без превращения в узкое место синхронизации.
В VAST считают, что сочетание служб данных на основе DPU с общей конфигурацией хранилища создает глобально доступный контекстный слой, который остается эффективным по мере роста числа одновременных сессий. Вместо масштабирования путем добавления изолированных контекстных разделов платформа позволяет кластерам расширяться, сохраняя при этом преимущества повторного использования и совместного доступа.
Контекст как новая граница исполнительского искусства
Исполнительный директор VAST Джон Мао отметил, что конкурентное преимущество больших систем вывода смещается от чистой вычислительной мощности к памяти и системам контекста. Он резюмировал, что наиболее эффективными будут не просто кластеры с самым высоким пиковым значением FLOPS; это будут кластеры, способные к обмену и управлению контекстом в реальном времени. Он также подчеркнул важность мгновенного доступа к контексту по запросу как ключевого фактора производительности, предупредив, что без быстрого получения и повторного использования контекста графические процессоры простаивают, и эффективность снижается.
Эта точка зрения совпадает с опытом многих операторов, поскольку модели масштабируются, а продолжительность сессий увеличивается. Системы вывода часто настраиваются для максимального производства токенов, но на качество работы влияют задержка в хвосте распределения и время отклика (TTFT) в условиях нагрузки. По мере увеличения длины запросов и продолжительности сессий время, затрачиваемое на управление контекстом, возрастает. Если контекст не может быть быстро восстановлен или повторно использован, циклы графического процессора тратятся впустую на восстановление состояния или ожидание перемещения данных. Архитектурный подход VAST рассматривает кэш ключ-значение как общую инфраструктуру, уменьшая эти проблемы и повышая общую эффективность кластера.
Переход от экспериментирования к управляемому производственному выводу
VAST также позиционирует платформу как переход от экспериментальных развертываний к готовым к использованию в производственной среде сервисам вывода данных, в том числе в регулируемых условиях. Поскольку вывод данных становится сервисом, приносящим доход, со специфическими требованиями к безопасности и соответствию нормативным требованиям, управление кэшем ключ-значение требует не только скорости, но и контроля.
В длительных сессиях контекст может включать конфиденциальные подсказки, этапы рассуждений, результаты работы инструментов и предоставленную пользователем информацию. Предприятиям все чаще требуются средства контроля политик, меры изоляции, журналы аудита и управление жизненным циклом для такого контекста. VAST утверждает, что эти встроенные в ИИ сервисы обработки данных интегрированы в ОС ИИ, что позволяет организациям рассматривать кэш ключ-значение как управляемый ресурс, а не как временное состояние.
С операционной точки зрения, VAST стремится решить распространенные проблемы в больших средах вывода: проблемы с перестройкой контекста, возникающие при потере или невозможности совместного использования кэшей, и потери времени GPU, когда узким местом становится контекст, а не вычисления. Компания считает, что улучшение сохранения и повторного использования контекста сократит объем повторных вычислений и увеличит его использование, тем самым повысив как пропускную способность на ватт, так и пропускную способность на доллар по мере роста размеров контекста и количества параллельных сессий.
NVIDIA: Управление контекстом способствует масштабируемости экономики.
Кевин Дейерлинг, старший вице-президент NVIDIA по сетевым технологиям, подчеркнул важность контекста в ИИ, сравнив его с человеческой памятью. Он заявил, что эффективное управление контекстом имеет важное значение для масштабирования многопоточного и многопользовательского вывода, что, в свою очередь, меняет подход к обработке контекстной памяти в больших масштабах. Он отметил, что VAST Data AI OS в сочетании с NVIDIA BlueField-4 поддерживает это, обеспечивая высокоскоростной и стабильный канал передачи данных по мере увеличения рабочей нагрузки. Это партнерство важно, поскольку оно интегрирует DPU и Ethernet-сеть в основной контекст вывода, а не только для доступа к основному хранилищу или сети. Ключевой момент заключается в том, что контекст теперь представляет собой проблему как для сети, так и для хранилища, помимо того, что является проблемой для графического процессора, и современные системы вывода потребуют целенаправленного ускорения и надежного перемещения данных для обеспечения эффективной работы графических процессоров.
Если архитектура VAST обеспечит обещанные преимущества, реальный эффект будет заключаться не столько в пиковых показателях производительности, сколько в стабильной работе сервиса: меньшее время отклика (TTFT) при большом количестве активных сессий, меньшее падение производительности по мере увеличения контекста, лучшее использование ресурсов за счет сокращения перестроения контекста и более простой путь к многоузловому выводу, где совместное использование контекста является преимуществом, а не недостатком. Это также подталкивает инфраструктуру вывода к более «собственной для ИИ» модели, рассматривая кэш ключ-значение как управляемый уровень памяти, поддерживаемый постоянным NVMe и совместно используемый узлами с жесткими ограничениями по задержке.
Конференция VAST Forward
Компания VAST Data представит свою стратегию на первой конференции пользователей VAST Forward, которая состоится 24–26 февраля 2026 года в Солт-Лейк-Сити, штат Юта. Компания планирует включить в программу подробные технические сессии, практические занятия и программы сертификации с участием руководства VAST , клиентов и партнеров.




Amazon