NVIDIA RTX PRO 4500 Blackwell Server Edition — это видеокарта, разработанная NVIDIA для серверов, которые уже есть у большинства предприятий. Это однослотовая плата с пассивным охлаждением, потребляемой мощностью 165 Вт, 32 ГБ памяти GDDR7 и полным набором функций Blackwell: тензорные ядра пятого поколения с поддержкой FP4, ядра RT четвертого поколения, три кодировщика и три декодера, а также поддержка многоэкземплярных графических процессоров, позволяющая разделить её на два изолированных раздела по 16 ГБ. Она заменяет L4 в качестве начальной модели в линейке серверных видеокарт NVIDIA RTX PRO и устанавливается в корпуса PowerEdge, ProLiant или ThinkSystem форм-фактора 2U без проблем с питанием или охлаждением.
Основная идея NVIDIA в отношении этой видеокарты заключается в оптимизации размеров: большинство предприятий не строят фабрики по производству ИИ; они используют центры обработки данных с воздушным охлаждением и жесткими ограничениями по мощности стоек, и им нужен первый этап ускоренных вычислений, не требующий нового класса серверов. Или же они работают на периферии, где RTX PRO 4500 лучше соответствует рабочим нагрузкам и ограничениям по энергопотреблению, которые обычно определяют возможности развертывания.
Видеокарта RTX PRO 6000 Blackwell занимает верхнюю позицию на этом рынке, предлагая 96 ГБ памяти и мощность до 600 Вт. Модель 4500 сохраняет ту же архитектуру, но при этом примерно вдвое уступает по всем параметрам, поэтому клиенты с более компактными моделями, множеством мелких задач или с бюджетом, ориентированным на соотношение цены и мощности, получают Blackwell, не переплачивая за неиспользуемый запас мощности.
Задачи для этого класса графических процессоров хорошо изучены: вывод небольших языковых моделей, компьютерный ИИ и видеоаналитика, векторный поиск и генерация встраиваний, транскодирование и виртуальные рабочие станции под управлением vGPU 20. Заявленная производительность более чем в 5 раз выше, чем у L4, для вывода небольших и средних моделей и до 10 раз выше для моделей Nemotron. Среди партнеров по запуску — NTT DATA (для обработки видео на периферии сети), Pacific Biosciences (для секвенирования) и Nokia (для базовых станций AI-RAN). AWS построила на его основе свои новые экземпляры G7 в качестве замены G6.
В нашем обзоре RTX PRO 4500 edge мы уже тестировали эту карту в сравнении с L4, установленной в HPE ProLiant DL145 Gen11 , где она показала в 2.7 раза большую пропускную способность, чем L4. В этом обзоре мы расскажем, насколько она близка к 350-ваттной двухслотовой карте L40S, которая уже два года является стандартной картой для массового рынка в области инференции, и что добавляет к ней RTX PRO 6000, превосходящая её по объёму памяти и энергопотреблению.
Чтобы это выяснить, мы установили 4500 в сервер Dell PowerEdge R770, сравнив его с L40S и L4, добавили данные RTX PRO 6000 Blackwell с нашего сервера Dell Pro Max Tower T2 как при стандартной мощности 600 Вт, так и при максимальной мощности 450 Вт, соответствующей возможностям слота для видеокарты в R770, и запустили онлайн-сервис vLLM на четырех моделях с двумя вариантами длительности контекста.
В качестве краткого обзора, при типичной длине контекста чата и взаимодействия с агентами, 4500 не уступает L40S на моделях FP8 и BF16, потребляя при этом менее половины мощности; при вводе 8K 32-гигабайтный кадровый буфер демонстрирует свои пределы; а NVFP4, технология высокой точности, которую NVIDIA продвигает в контексте Blackwell, показывает результаты, сопоставимые с остальными процессорами линейки в этой сборке vLLM.
Основные выводы
- Пропускная способность L40S составляет 165 Вт в одном слоте: При входном и выходном объеме в 512 токенов, модель 4500 показала результаты, равные или превосходящие показатели L40S на всех протестированных нами моделях FP8 и BF16: 1,107 против 995 токенов/с на Ministral 3 14B FP8 и 2,006 против 1,988 на Ministral 3 3B, при этом мощность карты составляла 47 процентов от мощности L40S, а количество слотов — вдвое меньше.
- Примерно в 3 раза превосходит по характеристикам заменяемый ею L4: В 2.8–3.6 раза превышает выходную пропускную способность L4 при коротком контексте, а энергопотребление платы L4 в 2.3 раза выше.
- 32 ГБ имеют ограничение по объему: При обработке 8K данных 4500 отставал от L40S на 17–33 процента, а его кривые выравнивались при 8 уровнях параллелизма, тогда как L40S продолжал расти до 16. Выравнивание связано с исчерпанием кэша ключ-значение, а 32 ГБ устанавливают этот предел.
- NVFP4 — это история разработки программного обеспечения, которая присутствует на каждой карте: На Qwen3.8-27B NVFP4 процессор 4500 выдал 320 токенов/с при параллелизме 32, L40S — 480 без аппаратного обеспечения FP4, а RTX PRO 6000 — 621. В этой сборке vLLM путь NVFP4 не масштабируется с пропускной способностью памяти ни на одном из них, в то время как анализ MAMF показывает, что аппаратное обеспечение FP4 процессора 4500 достигает 568.6 TFLOPS против 280.1 в режиме FP8.
- Что дает вам карта большего размера: Ограниченная мощностью в 450 Вт, что соответствует максимальному энергопотреблению слота для видеокарты Dell R770, RTX PRO 6000 работала примерно в 2 раза эффективнее, чем 4500, в краткосрочной перспективе и в 2.5–3.2 раза эффективнее при разрешении 8K. Полная мощность в 600 Вт обеспечивала дополнительно 1–2% при краткосрочной перспективе и 4–9% при долгосрочной, так что большая часть преимуществ 6000 перед 4500 обусловлена объемом памяти.
Технические характеристики NVIDIA RTX PRO 4500 Blackwell Server Edition
Под названием RTX PRO 4500 Blackwell выпускаются две видеокарты, похожие, но не идентичные. Версия Workstation Edition, анонсированная на GTC 2025, представляет собой двухслотовую карту с активным охлаждением мощностью 200 Вт, четырьмя выходами DisplayPort и пропускной способностью памяти 896 ГБ/с. Версия Server Edition, которую мы рассматриваем здесь, была представлена на GTC 2026 как однослотовая пассивная карта без монитора мощностью 165 Вт с пропускной способностью 800 ГБ/с. Она жертвует видеовыходами и некоторым запасом тактовой частоты ради набора функций для центров обработки данных: MIG, конфиденциальные вычисления, третий NVENC и NVDEC, а также поддержка vGPU 20. В основе обеих карт лежит одинаковый 10,496-ядерный графический процессор и 32 ГБ памяти GDDR7 с ECC.
По данным NVIDIA, кристалл содержит 45.6 миллиарда транзисторов на 378 мм² кремниевой подложки TSMC, изготовленной по 4-нм техпроцессу, с 82 ядрами RT четвертого поколения, что соответствует 82 SM и 328 тензорным ядрам. Это показатели GB203, того же семейства кристаллов, что и RTX 5080, с небольшими изменениями. Приведенные ниже показатели тензорной обработки — это пиковые значения NVIDIA с разреженной обработкой; с плотной обработкой — вдвое меньше, что подтверждается собственным бинарным файлом peakTOPS NVIDIA, который показывает 805 TFLOPS FP8 и 403 TFLOPS FP16, измеренные на этой карте.
| Параметр | RTX PRO 4500 Blackwell SE | L4 | L40S | RTX PRO 6000 Blackwell SE |
|---|---|---|---|---|
| Обзор платформы | ||||
| Архитектура | NVIDIA Блэквелл | NVIDIA Ада Лавлейс | NVIDIA Ада Лавлейс | NVIDIA Блэквелл |
| CUDA Cores | 10,496 | 7,424 | 18,176 | 24,064 |
| RT Cores | 82 (4-е поколение) | 58 (3-е поколение) | 142 (3-е поколение) | 188 (4-е поколение) |
| Память графического процессора | 32 ГБ GDDR7 с ECC | 24GB GDDR6 | 48 ГБ GDDR6 с ECC | 96 ГБ GDDR7 с ECC |
| Интерфейс памяти | 256-бит | 192-бит | 384-бит | 512-бит |
| Пропускная способность памяти | 800GB / s | 300GB / s | 864GB / s | 1,597GB / s |
| Производительность (пиковые показатели NVIDIA, скорость обработки тензоров с разреженностью) | ||||
| FP32 | 51 TFLOPS | 30.3 TFLOPS | 91.6 TFLOPS | 120 TFLOPS |
| Тензор FP16 / BF16 | 406 TFLOPS | 242 TFLOPS | 733 TFLOPS | 1 пфлопс |
| FP8 Тензор | 811 TFLOPS | 485 TFLOPS | 1,466 TFLOPS | 2 пфлопс |
| FP4 Тензор | 1.6 пфлопс | Не поддерживается | Не поддерживается | 4 пфлопс |
| RT Core Производительность | 154 TFLOPS | Нет в списке | 209 TFLOPS | 355 TFLOPS |
| Мощность и форм-фактор | ||||
| Максимальная мощность платы | 165 Вт | 72 Вт | 350 Вт | До 600 Вт (настраивается) |
| Форм-фактор | Однослотовый, FHFL 4.4 "x 10.5" |
Однослотовый, HHHL | Двухслотовый, FHFL 4.4 "x 10.5" |
Двухслотовый, FHFL (воздушный) Однослотовый, FHXL (жидкость) |
| Тепловой | Пассивный | Пассивный | Пассивный | Пассивный (воздух) или жидкий |
| разъем питания | 1x PCIe CEM5 16-контактный | питание от слота | 1x 16-pin | 1x PCIe CEM5 16-контактный |
| межсоединений | PCIe 5.0 x16 | PCIe 4.0 x16 | PCIe 4.0 x16 | PCIe 5.0 x16 |
| Вес | 1,055 г | Нет в списке | Нет в списке | Нет в списке |
| Особенности | ||||
| Мультиэкземплярный графический процессор | До 2 x 16 ГБ | Нет | Нет | До 4 x 24 ГБ |
| NVENC / NVDEC | 3x / 3x | 2x / 4x | 3x / 3x | 4x / 4x |
| Конфиденциальные вычисления | Поддержанный | Нет | Нет | Поддержанный |
| Поддержка виртуальных графических процессоров | Да (vGPU 20) | Да | Да | Да |
Дизайн и сборка
4500 Server Edition — это полноразмерная плата высотой 4.4 дюйма и длиной 10.5 дюймов, занимающая один слот. Это важное изменение по сравнению с L4, которая представляла собой карту половинной высоты и длины. L4 по-прежнему является эталоном для сравнения, но форм-фактор изменился на FHFL, чтобы освободить место для памяти, 16-контактного разъема питания и радиатора, способного снизить энергопотребление на 165 Вт только за счет циркуляции воздуха в корпусе.
Этот форм-фактор — единственное реальное отличие от L4, который подходил к любому слоту HHHL и потреблял свои 72 Вт от слота, поэтому он использовался в серверах 1U и небольших периферийных устройствах. 4500 имеет полную высоту и длину, и для его работы требуется 16-контактный кабель, а в 1U серверах массового сегмента, с которыми мы работаем, включая текущую линейку Dell 1U PowerEdge, максимум используются карты HHHL или FHHL без этого разъема.
На практике это карта форм-фактора 2U или карта для немногочисленных корпусов форм-фактора 1U, построенных на базе слотов FHFL, поэтому магазин, купивший L4 для корпусов форм-фактора 1U или Edge, не получит готовой замены.
При установке L4 сверху и L40S снизу вплотную друг к другу, 4500 занимает один слот, тогда как L40S — два. Именно поэтому сервер форм-фактора 2U, рассчитанный на четыре двухслотовые карты, может вместить восемь таких карт, и именно поэтому экземпляры AWS G7 могут запускать до восьми таких карт на одном хосте.
Питание подается через один 16-контактный разъем PCIe CEM5, тот же самый, что используется в RTX PRO 6000, без дополнительного 8-контактного разъема. Охлаждение полностью пассивное, поэтому карта зависит от вентиляторов сервера и будет снижать производительность в корпусе, который не может обеспечить циркуляцию воздуха, что является нормой для этого класса, и все остальные графические процессоры имеют такое же требование.
У этой видеокарты нет видеовыходов, поэтому графические операции, будь то виртуальные рабочие станции vGPU или рендеринг, выполняются по сети, а кронштейн имеет вентиляционные отверстия. Три процессора NVENC девятого поколения и три процессора NVDEC шестого поколения обеспечивают кодирование и декодирование H.264 и HEVC в формате 4:2:2 по сравнению с поколением L4, и NVIDIA заявляет о двукратном увеличении пропускной способности декодирования H.264 на каждый процессор NVDEC по сравнению с L4. На фотографии кронштейна ниже это различие хорошо видно: L4 и 4500 имеют только вентиляционные отверстия, в то время как L40S и RTX PRO 6000 Workstation Edition имеют по четыре выхода DisplayPort.
Где находится видеокарта RTX PRO 4500 Blackwell Server Edition?
NVIDIA позиционирует эту карту как «главное преимущество, заключающееся в сочетании искусственного интеллекта, вычислительных ресурсов, графики и видеоускорения в пассивной однослотовой конструкции мощностью 165 Вт», предназначенной для серверов, «где плотность размещения в стойке, энергопотребление и охлаждение являются основными ограничениями при развертывании». Она занимает место в том, что NVIDIA называет сегментом основных серверов RTX PRO для центров обработки данных и периферийных вычислений, ниже RTX PRO 6000 Blackwell Server Edition и выше нуля; это начальная точка линейки серверов Blackwell.
В сравнении с L4, NVIDIA заявляет о 10-кратном увеличении производительности при выводе небольших моделей с помощью своих моделей Nemotron Nano (NVFP4 на 4500 против FP8 на L4), до 4-кратном увеличении при суммаризации видео с помощью Cosmos Reason 2, 1.9-кратном увеличении в SPECviewperf 15 при разрешении 4K и 1.8-кратном увеличении плотности потоковой передачи. В сравнении с процессорами, компания заявляет о 50-кратном увеличении производительности при работе с векторными базами данных с помощью cuVS CAGRA в Milvus и до 100-кратном увеличении в области компьютерного зрения и искусственного интеллекта, оба показателя измерены на серверах 4500 с восемью видеокартами по сравнению с двухпроцессорными системами EPYC 9654.
Команда разработчиков серверов Dell сообщила нам, что видит модель 4500 в обычных стоечных системах, поскольку три 32-гигабайтных 4500 стоят почти столько же, сколько один 96-гигабайтный 6000, и в этом случае обычно побеждает более мощная карта. Эта карта предназначена для серверов, которые в противном случае не имели бы графического процессора или кэша L4, и является неоптимальным вариантом для серверов, которые были разработаны для установки одной или нескольких карт 6000.
Испытательная установка
Мы установили карты 4500, L40S и L4 в наш сервер Dell PowerEdge R770, сконфигурированный с двумя процессорами Intel Xeon 6787P (по 86 ядер каждый) и 2 ТБ оперативной памяти DDR5-6400 на 32 слотах DIMM, работающий под управлением драйвера NVIDIA 595.71.05. Для тестирования использовался контейнер NGC vLLM 26.08-py3, который содержит vLLM 0.27.1 на CUDA 13.4.1, поэтому программный стек идентичен для всех карт. Каждая карта тестировалась индивидуально при стандартном ограничении мощности, и R770 предоставляет полную информацию о потребляемой мощности каждой карты: Dell указывает для L4 72 Вт, для 4500 — 165 Вт, а для L40S — 350 Вт в этом корпусе.
Видеокарта RTX PRO 6000 Blackwell используется в качестве рабочей станции в нашем Dell Pro Max Tower T2, в том же корпусе и с тем же драйвером. NVIDIA заявляет об одинаковом энергопотреблении для рабочих станций и серверов — 600 Вт, и в наших тестах они показали одинаковые результаты, поэтому она заменяет собой серверную видеокарту. Кстати, у нас есть обзор серверных видеокарт RTX PRO 6000 в XE7740, если вы хотите узнать больше о масштабируемости этих карт.
Мы дважды тестировали 6000: один раз при стандартной мощности 600 Вт, и один раз с проверенным ограничением мощности в 450 Вт, установленным через nvidia-smi, поскольку 450 Вт — это максимальная мощность, которую R770 может обеспечить для 6000 в слоте для видеокарты, и именно с этим показателем должен сравнивать покупатель, выбирающий между 4500 и 6000 для типичного 2U-сервера. Платформа хоста для 6000 отличается, но при таких нагрузках на GPU топология ЦП и PCIe влияют на результат гораздо меньше, чем ограничение мощности.
Мы использовали онлайн-бенчмарк vLLM для обслуживания серверов на уровнях параллельного доступа 1, 2, 4, 8, 16 и 32 с двумя формами запросов: 512 входных и 512 выходных токенов, что аппроксимирует чат и короткие реплики агентов, и 8,192 входных токена с 1,024 выходными, что аппроксимирует работу с RAG и документами, где преобладает предварительное заполнение и заполнение кэша ключ-значение. Модели были выбраны таким образом, чтобы по возможности соответствовать самой маленькой карте в группе, поэтому 24 ГБ для L4 устанавливают минимальный уровень: Ministral 3 3B Reasoning и Ministral 3 8B Reasoning в BF16, Ministral 3 14B Instruct в FP8 и Qwen3.8-27B в NVFP4, который подходит для карт объемом 32 ГБ и более, но не для L4.
Мы сообщаем о пропускной способности токенов на каждом уровне параллельного выполнения и приводим общую пропускную способность, включая токены предварительного заполнения, там, где это меняет картину.
Чего здесь нет: более крупных моделей, которые могут вместить только карты объемом 48 ГБ и более, разбиения диска на разделы MIG, vGPU, транскодирования видео, измерения энергопотребления, конфигурации 4500 с двумя картами и карт для центров обработки данных более высокого класса.
Максимально достижимое количество операций с плавающей запятой в FLOPS (MAMF)
MAMF — это тест GEMM с устойчивой высокой плотностью, который показывает максимальную пропускную способность умножения матриц, достигаемую видеокартой для каждой точности, что делает его самым простым способом проверить работоспособность оборудования FP4 после отключения стека обработки данных. Видеокарта 4500 достигла 135.9 TFLOPS в BF16, 280.1 в FP8 и 568.6 в NVFP4, при этом каждое снижение точности почти удваивало пропускную способность. По сравнению с пиковыми значениями NVIDIA в 202, 406 и 811 TFLOPS, это составляет от 67% до 70% от пикового значения для каждой точности, и это совпадает с собственными показателями NVIDIA cuBLAS для этой карты — 133, 275 и 534.
Видеокарта RTX PRO 6000 показала аналогичные результаты, достигнув 398.9, 773.9 и 1,480.9 TFLOPS при мощности 600 Вт, что в 2.6–2.9 раза выше, чем у 4500, по всем трем параметрам точности, и соответствует прогнозам, основанным на размере кристалла и энергетическом бюджете. При максимальной мощности 450 Вт она достигла 368.6, 772.4 и 1,413.1: в тесте FP8 показатели не изменились, в BF16 снизились на 8%, а в NVFP4 — на 5%, что говорит о том, что тензорный путь FP8 у 6000 в этом тесте потребляет менее 450 Вт, а две другие точности лишь слегка приблизились к максимальному значению. L40S достигла 220.0 и 368.6 TFLOPS в BF16 и FP8, а L4 — 50.1 и 115.8; Ни одна из плат Ada не имеет аппаратной поддержки тензоров FP4.
Полезным сравнением является результат NVFP4 для 4500 по сравнению с результатами всех остальных в FP8: 568.6 TFLOPS — это в 1.5 раза больше, чем предельный показатель FP8 для L40S, и 74% от предельных показателей 6000, при потребляемой мощности 165 Вт. В этом и заключается преимущество FP4, и оно проявляется на уровне GEMM. Результаты vLLM по обслуживанию, приведенные ниже, показывают, что в этой сборке оно еще не достигло уровня обслуживания, а результаты MAMF предполагают, что показатели обслуживания будут продолжать расти по мере того, как ядра NVFP4 будут догонять.
Онлайн-обучение по программе vLLM: краткий контекст (512/512)
Вкратце, преимущества 4500 заключаются в следующем: на трех моделях FP8 и BF16 пропускная способность при параллелизме 32 составила 1,107 токенов/с на Ministral 3 14B против 995 у L40S, 1,017 против 1,005 на Ministral 3 8B и 2,006 против 1,988 на Ministral 3 3B. При этом каждая из этих карт Blackwell мощностью 165 Вт соответствует или превосходит карту Ada мощностью 350 Вт, а кривые накладываются друг на друга в диапазоне параллелизма от 1 до 32, так что это не только пиковый результат. L4 показала 364, 279 и 704 на тех же моделях, что ставит 4500 в 2.8–3.6 раза выше своего предшественника.
RTX PRO 6000 демонстрирует возможности остальных видеокарт Blackwell в бюджетном сегменте. При мощности 450 Вт она достигла 2,161, 2,042 и 4,069 токенов/с на тех же трех моделях, что в 1.95–2.03 раза выше, чем у 4500; при полной мощности 600 Вт она достигла 2,283, 2,139 и 4,155, что в 2.06–2.1 раза выше. Кривые производительности двух моделей 6000 накладываются друг на друга при параллелизме 16 на каждой модели и различаются всего на 2–5 процентов при 32, поэтому в краткосрочной перспективе последние 150 Вт мало что добавляют. По сравнению с 4500 это вдвое большая пропускная способность от карты с в 3 раза большим объемом памяти и, в случае R770, в 2.7 раза большей мощностью слота.
Общая пропускная способность, которая также включает 512 предварительно заполненных токенов на каждый запрос, следует тому же порядку: 2,215 токенов/с для модели 4500 на 14B против 1,990 для L40S и 727 для L4, при этом для модели 6000 она ограничена 4,323 токенами, а для модели 600W — 4,566 токенами. Разница с L4 наиболее велика на модели 8B (3.6x) и наименьша на модели 3B (2.8x), а разница с L40S никогда не превышает 12 процентов в пользу модели 4500.
Онлайн-обучение по программе vLLM: подробный контекст (8K/1K)
При 8,192 входных токенах картина меняется, и причина видна по форме кривых. На Ministral 3 14B FP8 модель 4500 следует за L40S до уровня параллелизма 8, затем стабилизируется на отметке около 180 токенов/с, в то время как L40S продолжает достигать 230 при параллелизме 16 и удерживается на этом уровне. Модель 8B делает то же самое: 185 токенов/с для 4500 при 32 против 277 для L40S, при этом 4500 стабилизируется на уровне 8, а L40S — на уровне 16. На модели 3B обе карты стабилизируются на уровне 16, 384 против 475.
Причина заключается в объеме кэша ключ-значение: каждому одновременно обрабатываемому запросу размером 8 КБ требуется контекст, хранящийся на карте, и после загрузки весов 32-гигабайтный буфер кадров вмещает меньше данных, чем 48-гигабайтный. Когда vLLM исчерпывает пространство ключ-значение, он перестает добавлять полезный параллелизм, и линия пропускной способности становится плоской. По этой причине 4500 уступает L40S на 17-33 процента при параллелизме 32 на этих моделях; вычислительная часть не является узким местом, как показывают результаты для коротких контекстов. L4 с 24 ГБ и 300 ГБ/с показывает стабильную скорость начиная с параллелизма 4 на всех моделях, от 34 до 130 токенов/с.
В этом тесте 96 ГБ памяти 6000 ни разу не закончились, и её показатели продолжают расти до 32 на каждой модели. При ограничении мощности в 450 Вт она достигла 552, 589 и 973 токенов/с, что в 2.5–3.2 раза выше, чем у 4500; при 600 Вт она достигла 608, 639 и 1,033, или в 2.7–3.5 раза выше. Именно здесь проявляется ограничение по энергопотреблению: предварительное заполнение в длительном контексте дольше ограничивает вычислительную мощность 6000, поэтому карта с ограничением мощности теряет от 4 до 9 процентов при параллелизме 16 и 32, по сравнению с 2–5 процентами при коротком контексте. В любом случае, соотношение с 4500 увеличивается с 2 до примерно 3 раз, и это в большей степени связано с памятью, чем с энергопотреблением.
Если ваша рабочая нагрузка включает в себя вопросы и ответы по документам, обработку запросов в течение длительных контекстов или работу агентов, обрабатывающих большие объемы данных, то основным параметром является объем памяти, и 32 ГБ у модели 4500 являются ограничением по параллельной обработке. Если же речь идет о чате, классификации или коротких циклах работы агентов, то это не так. Общая пропускная способность при 8K/1K в основном определяется предварительным заполнением и повторяет тот же порядок: 1,713 токенов/с для модели 4500 на 14B против 2,070 для L40S и 381 для L4, при этом у модели 6000 этот показатель ограничен 4,971 токеном, а при мощности 600 Вт — 5,474 токенами.
NVFP4: Где программное обеспечение устанавливает потолок
Qwen3.8-27B в NVFP4 — единственная модель в группе, использующая аппаратное обеспечение FP4 Tensor, которое Blackwell использует в качестве основного, и в результате получилась самая ровная кривая в обзоре. При уровне параллелизма 32 в краткосрочном тесте 4500 выдала 320 токенов/с; L40S, 480 и RTX PRO 6000 достигли 621 (с ограничением) и 616 при 600 Вт. При уровне параллелизма 1 каждая карта показала от 17 до 22 токенов/с на модели 27B, включая 6000 с 1.6 ТБ/с GDDR7, тогда как та же карта обеспечивает 99 токенов/с в однопоточном режиме на модели 14B FP8.
L40S не имеет аппаратного обеспечения FP4 Tensor, поэтому vLLM выполняет контрольную точку NVFP4, деквантуя веса и выполняя вычисления с более высокой точностью, что является путем, ограниченным пропускной способностью памяти, и превосходит 4500 в 1.5 раза. 6000, которая имеет то же аппаратное обеспечение FP4, что и 4500, и вдвое большую пропускную способность, показывает примерно в 2 раза больший результат, чем 4500, что и разница между двумя картами во всех остальных параметрах, а результаты ее работы с энергопотреблением 450 Вт и 600 Вт отличаются не более чем на 1 процент при любой параллельной обработке, поэтому ядро также не является энергозатратным.
Общая закономерность, наблюдаемая во всех четырех сериях, с пропускной способностью одного потока, которая не меняется в зависимости от пропускной способности памяти, и ограничением параллелизма до 32 в диапазоне от 480 до 621 независимо от используемого графического процессора, указывает на то, что в данной сборке vLLM ограничением для каждой видеокарты является путь ядра NVFP4.
При скорости 8K/1K модель 4500 достигла 153 токенов/с при параллелизме 32, по сравнению со 190 у L40S и 402 и 425 у 6000 с ограничением и без ограничения. Это те же самые ограничения по кэшу ключ-значение, которые показали модели FP8 и BF16, причем 96 ГБ кэша 6000 снова являются причиной того, что его показатели продолжают расти, в то время как остальные остаются на прежнем уровне.
NVIDIA обеспечивает на этой карте производительность FP4 в 1,221 токен/с на Llama 3.1 8B при разрешении 2K/256 и 905 токенов/с на Nemotron 3 Nano 30B A3B под управлением TensorRT-LLM, поэтому оборудование соответствует стеку NVIDIA. Имеющиеся на сегодняшний день данные свидетельствуют о том, что NVFP4 на этой карте — это программная реализация vLLM, характерная для всех протестированных нами графических процессоров, и покупателям, рассчитывающим на пропускную способность FP4, следует протестировать свой стек обработки данных, прежде чем на это рассчитывать.
Пропускная способность на номинальный ватт
В этом раунде мы не измеряли энергопотребление, поэтому доступные на этот раз расчеты эффективности проводились с учетом предельных значений энергопотребления каждой протестированной карты. На Ministral 3 14B FP8 при параллельном доступе 32, 4500 обеспечивает 6.7 токенов/с на номинальный ватт, против 2.8 у L40S, 5.1 у L4, 4.8 у RTX PRO 6000 при ее ограничении в 450 Вт и 3.8 у 6000 при 600 Вт. На модели 3B соотношение остается неизменным: 12.2 для 4500, 5.7 для L40S, 9.8 для L4, 9.0 для 6000 с ограничением и 6.9 для 6000 при 600 Вт.
По этому показателю в краткосрочной перспективе 4500 является самой эффективной картой в группе, и только ограниченная по энергопотреблению 6000 приближается к ней по эффективности. Снижение энергопотребления 6000 до 450 Вт приводит к потере 2–5% пропускной способности и возврату 25% от запланированного энергопотребления, поэтому её КПД увеличивается на четверть. L4 остаётся конкурентоспособной по этому показателю, поскольку 72 Вт — очень малый знаменатель, но ей требуется в три раза больше слотов и серверов для достижения той же пропускной способности, что и является компромиссом, ради которого была создана 4500.
При 8K/1K порядок меняется: 4500 показывает 1.2 токена/с на номинальный ватт в модели 14B, ограниченная версия 6000 — 1.2, а 600-ваттная версия 6000 — 1.0, при этом L40S — 0.7. Как только у 4500 заканчивается кэш-память KV, его пропускная способность перестает расти, в то время как его номинальная мощность не увеличивается, поэтому в длительных условиях 6000 мощностью 450 Вт соответствует ему по эффективности и обеспечивает в 2.9 раза большую работу на слот.
Заключение
Видеокарта RTX PRO 4500 Blackwell Server Edition делает именно то, что заявляет NVIDIA: она помещает технологию Blackwell в слот, с ограниченным энергопотреблением и в корпус, класс которого ранее был ограничен уровнем L4. На моделях большинства массовых серверов, а также на небольших и средних серверах для выполнения инструкций и логических операций в контексте чата, она обеспечивает пропускную способность уровня L40S при энергопотреблении менее половины мощности L40S и в три раза большем, чем у L4.
Конечно, есть и ограничения. Начнём с памяти: 32 ГБ достаточно для моделей, на которые ориентирована эта карта, но она ограничивает параллельную обработку запросов в длительных контекстах, тогда как 48 ГБ у L40S и особенно 96 ГБ у 6000 значительно превосходят её, а 6000 работает примерно в 3 раза быстрее, чем 4500, при той же форме запроса, даже при ограничении мощности до уровня, допустимого для того же сервера.
NVFP4, флагманская технология Blackwell Precision, демонстрирует производительность на уровне карт без аппаратного обеспечения FP4 в этой сборке vLLM, хотя анализ MAMF показывает, что аппаратное обеспечение FP4 обеспечивает вдвое большую скорость FP8 на уровне GEMM, поэтому преимущество FP4 следует проверить на вашей собственной системе, но очевидно, что потенциал для улучшения производительности за счет программного обеспечения еще выше.
Любой, у кого есть серверы форм-фактора 2U или шасси форм-фактора 1U, поддерживающие карты FHFL, и кому необходимо увеличить объем вычислительных ресурсов, возможностей обработки изображений, транскодирования или виртуальных рабочих станций без увеличения энергопотребления или охлаждения, найдет RTX PRO 4500 отличным решением. Кроме того, любой, кто до сих пор использует L4-серверы и кому 24 ГБ оперативной памяти уже недостаточно, будет в восторге от 4500. Для организаций, чьи рабочие нагрузки достаточно длинные или многопользовательские, чтобы требовать 48 ГБ или более на карту, лучшим вариантом будет RTX PRO 6000.
Компания NVIDIA удачно распределила две четкие «полосы» для этих видеокарт, и модель 4500 заполняет пробел в области искусственного интеллекта на периферии сети между L4 и 6000, потребляя при этом всего 165 Вт.
В рейтинге лучших однослотовых видеокарт RTX PRO 4500 Blackwell Server Edition занимает первое место , где также представлены данные по L40S и RTX PRO 6000 из этого обзора.





Amazon