Оперативная память, графический процессор и хранилище для агентного ИИ: сколько вам действительно нужно?

Обновлено 13 октября 2026 г.: Копирование прошло проверку на соответствие фирменному стилю, и примечание GB300 теперь отражает опубликованный обзор WS300; данные о размерах остаются неизменными до проверки GB300. Первоначально опубликовано 16 августа 2026 г., размеры моделей проверены по официальным данным на момент публикации и обновляются ежеквартально.

Любое руководство по аппаратному обеспечению для локального ИИ в конечном итоге сводится к одному вопросу: подойдет ли модель? Эта страница отвечает на него цифрами, а затем идет еще дальше, чем просто расчеты, указанные в технических характеристиках. Там, где в таблицах ниже указан класс модели, мы протестировали его в лаборатории StorageReview, а рекомендации по аппаратному обеспечению содержат ссылки на системы, которые мы протестировали в наших рейтингах локального ИИ для настольных компьютеров и ноутбуков .

Вкратце: одного лишь количества параметров уже недостаточно для прогнозирования требований к оборудованию. Квантование уменьшает веса примерно в 4 раза, модели, использующие смешанный состав экспертов, работают значительно легче, чем предполагает общее количество параметров, а агентные рабочие нагрузки добавляют нагрузку на память, которую большинство руководств по расчету размеров полностью игнорируют, и в разделах ниже рассматривается распределение ресурсов по всем трем параметрам.

Требования к памяти модели

Указанные ниже размеры файлов соответствуют стандартным квантованным версиям Q4_K_M (или собственному формату, где это указано), опубликованным на Ollama и Hugging Face в августе 2026 года. В столбце «Память для выполнения» добавлены накладные расходы и умеренное контекстное окно; значения, отмеченные звездочкой, являются расчетными оценками, а значения для GPT-OSS и DeepSeek 671B — это собственные заявления поставщиков.

Модель	Параметры	4 квартал / Нативная загрузка	Память для выполнения*	Работает на
Лама 3.1 8Б	8B	4.9 ГБ	~6–8 ГБ	Ноутбуки с 8 ГБ видеопамяти и вверх
Фи-4 14Б	14.7B	9.1 ГБ	~11–12 ГБ	16 ГБ видеопамяти или Ноутбуки с 64 ГБ общей памяти
GPT-OSS 20B (MXFP4)	21Б (3.6Б активен)	От 12 до 14 ГБ	~13–16 ГБ	16 ГБ видеопамяти, ноутбуки с общей памятью
Мистраль Малый 3.2 24Б	24B	15 ГБ	~18–20 ГБ	Ноутбуки с 24 ГБ RTX PRO
Джемма 3 27Б	27B	17 ГБ	~20–22 ГБ	Ноутбуки с 24 ГБ RTX PRO, настольные компьютеры с унифицированной памятью
Qwen3 30B-A3B	30.5Б (3.3Б активен)	19 ГБ	~22–24 ГБ	24 ГБ видеопамяти (с ограниченным объемом) или единая память
QwQ 32B / DeepSeek-R1 32B	32B	20 ГБ	~22–24 ГБ	24 ГБ видеопамяти (с ограниченным объемом) или единая память
Лама 3.3 70B / R1 Дистилл 70B	70B	43 ГБ	~48–50 ГБ	96 ГБ+ объединенной памяти, корпуса RTX PRO 6000
GPT-OSS 120B (MXFP4)	117Б (5.1Б активен)	65 ГБ	~65–80 ГБ	Единая память от 96 ГБ до 128 ГБ96 ГБ видеокарт
DeepSeek-R1 671B (полная версия)	671Б (37Б активен)	404 ГБ	450+ ГБ	Недоступно для настольных компьютеров; подходит для установки в стойку.

*Примерные оценки основаны на использовании примерно 8 КБ активного контекста и около 15% дополнительных затрат времени выполнения сверх объема файла весов. Контексты большего размера обходятся значительно дороже; см. ниже информацию о налоге на агента.

В этой таблице заслуживают внимания две закономерности. Во-первых, использование разных экспертов меняет расчеты: GPT-OSS 120B содержит 117 миллиардов параметров, но активирует только 5.1 миллиарда на токен, поэтому он работает на одном пуле памяти объемом от 96 до 128 ГБ, а OpenAI указывает в качестве целевой платформы один графический процессор с 80 ГБ памяти. Мы запускали его на HP Z2 Mini G1a , литровом устройстве без дискретного графического процессора. Во-вторых, полная версия DeepSeek-R1 с 671 миллиардом параметров находится в совершенно другом мире: 404 ГБ только для загрузки в 4 квартале, примерно 450 ГБ объединенной памяти для приемлемой работы. Ни один из наших лидеров не может его запустить, и ни один настольный компьютер не должен пытаться это сделать.

Что и где работает

Ноутбуки с 8 ГБ видеопамяти (класс RTX PRO 500–2000). Комфортная работа с моделями 7B–8B от Q4, а также более компактными вариантами Phi и Gemma. Однако потолок производительности реален: в наших тестах модель 13B, которой требовалось около 12 ГБ видеопамяти, просто не справлялась с 8-гигабайтными картами. На нашей странице «Лучшие ноутбуки для локального ИИ» мы подробно рассмотрим этот сегмент.

Системы с 24 ГБ видеопамяти (ноутбуки RTX PRO 5000, настольные видеокарты RTX). Оптимальный вариант для моделей с 14–27 битами памяти и достаточным объемом контекстной информации, а также самый быстрый способ их запуска; наш Dell Pro Max 18 Plus лидирует в этом сегменте со скоростью 185 токенов в секунду на Phi. Класс с 32 битами памяти подходит для Q4, но оставляет мало места для контекстной информации, которая имеет большее значение, чем вы думаете, когда в дело вступают агенты.

Системы с унифицированной и общей памятью (от 96 ГБ до 128 ГБ). В машинах на базе AMD Strix Halo можно выделить до 96 ГБ системной оперативной памяти для графического процессора, а в системах GB10, таких как NVIDIA DGX Spark, используется 128 ГБ когерентной памяти. В этом классе работают модели 70B на процессоре Q4 и GPT-OSS 120B, что означает обмен скорости на объем памяти. В рейтинге лучших настольных компьютеров для локального ИИ они занимают высокие позиции, а та же архитектура используется в ноутбуках HP ZBook Ultra G1a 14 , которые в наших тестах работали с процессором DeepSeek-R1 70B.

Рабочие станции RTX PRO 6000 в корпусе Tower (96 ГБ на карту, протестировано до 384 ГБ). Скорость и емкость одновременно: модели 70B с более высоким квантованием и полным контекстом, GPT-OSS 120B с запасом по памяти или несколько моделей, работающих одновременно в многоагентных конвейерах. В нашем рейтинге лучших настольных рабочих станций этот класс возглавляет HP Z8 Fury G6i с поддержкой четырех графических процессоров.

Агентский налог: контекст — это второй бюджет памяти

Определение размера на основе одного только файла весов подходит для коротких сеансов чата, но агенты нарушают это предположение, потому что агент зацикливается: он считывает выходные данные инструмента, файлы и предыдущие шаги обратно в свое контекстное окно, и каждый токен, хранящийся в контексте, требует памяти в кэше ключ-значение в дополнение к весам, а в таблице ниже показано, насколько велики эти затраты.

Модель Класс	Кэш KV на уровне 32K Контекст	Кэш KV на уровне 128K Контекст	Примерная стоимость за 1,000 токенов
8B (Llama 3.1 8B, FP16 KV)	4.19 ГБ	16.78 ГБ	~ 0.13 ГБ
70B (Llama 3.3 70B, FP16 KV)	10.49 ГБ	41.94 ГБ	~ 0.33 ГБ

Сравните эту таблицу с таблицей размеров, приведенной выше, и проблема станет очевидной. Модель 70B при Q4 занимает 43 ГБ памяти для весов, но при полном контексте 128K ей требуется примерно 85 ГБ в общей сложности, что вдвое больше, чем весов. Модель 8B при 128K тратит больше памяти на контекст (16.78 ГБ), чем на свои собственные веса Q4 (4.9 ГБ). Квантование кэша KV помогает: FP8 уменьшает эти показатели вдвое, а INT4 — вчетверо, что приводит к некоторому снижению качества, но правило планирования остается в силе: для агентной работы бюджет контекста должен соответствовать бюджету второй модели.

Использование механизма обслуживания увеличивает нагрузку еще больше, поскольку если система одновременно обслуживает несколько агентов или пользователей, каждый запрос имеет свой собственный кэш ключ-значение. vLLM, стек обслуживания, который мы используем в наших бенчмарках Local AI, по умолчанию предварительно выделяет 90 процентов памяти графического процессора именно потому, что именно пространство ключ-значение определяет, сколько одновременных запросов может остаться без прерывания, снижающего пропускную способность. Машина, которая комфортно обрабатывает один чат, может оказаться недостаточно мощной для трех агентов.

Системная оперативная память: забытая третья составляющая.

Для вывода данных только на GPU системная оперативная память должна оставаться в пределах допустимого объема, и 32–64 ГБ — это комфортный минимум на тестируемых нами машинах, который становится решающим в двух случаях. Выгрузка данных, при которой слои, не помещающиеся в VRAM, переносятся на CPU, работает через отображаемые в память файлы моделей, поэтому системная оперативная память должна как минимум соответствовать размеру файла модели плюс запас оперативной памяти операционной системы.

На машинах с унифицированной памятью системная оперативная память — это память графического процессора, именно поэтому конфигурации с 64 ГБ и 128 ГБ доминируют в наших локальных рейтингах ИИ. Собственные минимальные требования Ollama предусматривают 8 ГБ оперативной памяти для моделей 7B, 16 ГБ для 13B и 32 ГБ для класса 33B; рассматривайте это как минимальные, а не целевые значения.

Хранение: та часть, которую все пропускают.

Библиотеки моделей быстро разрастаются, поскольку десять моделей в нашей таблице размеров в сумме занимают примерно 240 ГБ в своих распространенных квантизациях, а рабочая библиотека с несколькими вариантами, встроенными моделями для поиска и векторными хранилищами для памяти агентов может превысить 500 ГБ еще до поступления каких-либо данных проекта. Кроме того, рабочие процессы агентов генерируют реальный временный трафик: журналы, контрольные точки и индексы поиска, которые существуют параллельно с моделями.

Время загрузки — вот где проявляется класс накопителя. Расчеты просты: чтение файла GPT-OSS размером 65 ГБ (120 байт) занимает около 109 секунд на скорости SATA, примерно 17 секунд на накопителе NVMe Gen3 и менее 9 секунд на скорости Gen4, только при первой загрузке, поскольку кэш страниц ОС делает перезагрузку практически мгновенной. В реальных условиях загрузчики не всегда поддерживают полную скорость накопителя, поэтому мы планируем опубликовать собственные измеренные показатели загрузки моделей для разных классов накопителей; следите за изменениями. В нашем рейтинге накопителей представлены сами накопители.

Практические рекомендации: 2 ТБ NVMe — это разумный минимум для выделенной рабочей станции для ИИ, 4 ТБ — если машина размещает агентов, накапливающих состояние, а Gen4 или выше — если вы часто переключаетесь между большими моделями.

Часто задаваемые вопросы об оборудовании Agentic AI

Сколько видеопамяти мне потребуется для локального запуска модели 70B?

Примерно 48-50 ГБ в 4 квартале при умеренном объеме контекста, поэтому этот класс относится к машинам с унифицированной памятью на 96 ГБ и рабочим станциям с графическими процессорами на 96 ГБ, а не к любым потребительским картам. Если увеличить объем контекста до 128 КБ, общий объем приблизится к 85 ГБ. При запуске в 8 квартале одни только весовые коэффициенты составят 75 ГБ.

Можно ли запустить полную версию DeepSeek-R1 локально?

На сайтах, занимающих высокие позиции в рейтинге, это не так, поскольку полная модель 671B представляет собой загрузку объемом 404 ГБ в четвертом квартале и требует примерно 450 ГБ суммарной памяти для приемлемой работы. Практический вариант для локальной установки — это официальные версии, а версии на 32 и 70 ГБ, представленные в нашей таблице размеров, охватывают большую часть возможностей, необходимых для настольных компьютеров.

Изменяют ли модели, использующие смешанный состав экспертов, математические вычисления на аппаратном уровне?

В основном, это происходит потому, что модели MoE активируют лишь часть своих параметров на каждый токен, поэтому объем памяти масштабируется пропорционально общему количеству параметров, а скорость — ближе к количеству активных параметров. GPT-OSS 120B (5.1 млрд активных) и Qwen3 30B-A3B (3.3 млрд активных) работают быстрее, чем предполагают их размеры, на подходящих для них пулах памяти. Память по-прежнему необходима для всех весов; просто скорость увеличивается на гигабайт.

Какой объем памяти необходим рабочей станции для ИИ?

Для резервного копирования данных на NVMe-накопитель требуется минимум 2 ТБ, для хостов агентов — 4 ТБ. Даже небольшая библиотека моделей занимает сотни гигабайт, агенты накапливают журналы и векторные хранилища, а самые большие отдельные файлы (65 ГБ и более) делают медленные диски невыносимыми при каждой загрузке или замене модели.

Какое оборудование мне следует приобрести специально для местных агентов?

Приоритет отдается памяти, а не скорости, поскольку агенты хранят длительные контексты и иногда работают одновременно, поэтому объем кэша ключ-значение имеет такое же значение, как и общий объем памяти. Система с унифицированной памятью объемом от 96 до 128 ГБ в нашем рейтинге настольных локальных ИИ является наиболее экономичным вариантом, а системы RTX PRO 6000 в рейтинге рабочих станций — это решение, когда важны как скорость, так и параллелизм.

Обзор: Опубликованы данные по GB300.

Все вышеперечисленное отражает характеристики протестированного нами оборудования, и система, которая, как мы говорили, изменит ситуацию, действительно это сделала. Наш обзор MSI XpertStation WS300 , первой станции GB300 DGX, попавшей к нам в руки, уже доступен: пул когерентной памяти объемом 748 ГБ, включающий 252 ГБ HBM3e и 496 ГБ LPDDR5X, производительность 20 петафлопс в FP4, а в ходе наших тестов она обработала контрольную точку GLM-5.2 объемом 433 ГБ, которая не должна работать на рабочей станции, с 216 ГБ экспертных весов, размещенных в памяти Grace.

Для этого руководства важна память. Все рекомендации на этой странице учитывают жесткие ограничения, разделяя модели между графическими процессорами, используя квантизацию или принимая разгрузку ЦП, когда веса и кэш ключ-значение не помещаются. NVIDIA позиционирует настольные системы GB300 с несколькими сотнями гигабайт когерентной памяти, адресуемой ускорителем, что на порядок отличается от карт класса 96 ГБ, которые лежат в основе таблиц выше. Классы моделей, которые в настоящее время требуют многопроцессорной системы или которые мы указываем как непрактичные для локального запуска, переходят в категорию однопроцессорных систем.

Ни одно из значений в таблицах выше пока не основано на GB300; следующим этапом будет определение размеров на основе результатов WS300, и изменения будут отмечены в журнале ниже.

Как мы поддерживаем это руководство

Размеры моделей и список популярных моделей меняются ежеквартально, быстрее, чем любой цикл обновления оборудования. Мы ежеквартально перепроверяем таблицу размеров по официальным данным, а лабораторные чеки добавляются по мере того, как новые системы проходят наше локальное тестирование ИИ. Изменения отображаются в датированной заметке вверху страницы. Размеры, отмеченные как приблизительные, основаны на опубликованном файле весов, а также измеренных затратах на кэширование ключ-значение и стандартных накладных расходах во время выполнения; заявленные поставщиком значения обозначены соответствующим образом.