В наших текущих обзорах систем ИИ основное внимание уделяется выполнению инференции в лабораторных условиях с использованием моделей с открытыми весами из семейств Llama, Qwen, DeepSeek и gpt-oss, работающих через vLLM или SGLang, и измеряемых по пропускной способности и задержке первого токена. Обзор охватывает все уровни — от периферии до полного узла GPU: NVIDIA RTX PRO 4500 Server Edition обеспечила в среднем в 2.7 раза больше токенов в секунду, чем L4, который она была призвана заменить в HPE ProLiant DL145 Gen11, при этом потребление электроэнергии увеличилось примерно на 105 Вт; версии DGX Spark от Dell, GIGABYTE и HP выполняли распределенную инференцию в виде двух узловых кластеров по сети 200 Гбит/с; а Supermicro JumpStart предоставила нам возможность поработать с системами NVIDIA HGX B200 и AMD Instinct MI350X. К хранилищу применяется тот же подход, поскольку скорость передачи данных определяет загруженность этих графических процессоров, поэтому мы измеряем пропускную способность хранилища GPUDirect с помощью GDSIO и тестируем разгрузку кэша ключ-значение на флэш-память для рабочих нагрузок с длинным контекстом и агентных рабочих нагрузок.
Если вы занимаетесь подбором оборудования для ИИ, на странице «Лучшие серверы» представлены наши текущие рекомендации по выбору решений для вывода ИИ и периферийных вычислений на основе данных из этих обзоров; на странице «Лучшие корпоративные SSD- накопители» рассматриваются диски, обеспечивающие работу графических процессоров; а на странице « Лучшие массивы хранения данных» — платформы хранения данных для ИИ, используемые в обучающих кластерах и неооблачных средах.
NVIDIA RTX PRO 4500 Blackwell Server Edition — это видеокарта, разработанная NVIDIA для серверов, которые уже есть у большинства предприятий. Это однослотовая плата с пассивным охлаждением, потребляемой мощностью 165 Вт, 32 ГБ памяти GDDR7 и полным набором функций Blackwell: тензорные ядра пятого поколения с поддержкой FP4, ядра RT четвертого поколения, три кодировщика и три декодера, а также поддержка многоэкземплярных графических процессоров.
NVIDIA RTX PRO 4500 Blackwell Server Edition — это карта, разработанная NVIDIA в первую очередь для замены L4 в серверах, расположенных вне центров обработки данных: однослотовая, PCIe Gen5, с пассивным охлаждением, мощностью 165 Вт, 32 ГБ GDDR7 и полным набором функций Blackwell, включая тензорные ядра FP4 и многоэкземплярный графический процессор. Компания HPE предоставила нам сервер ProLiant DL145.
Инфраструктура корпоративного ИИ сместилась от оптимизации моделей обучения к их обслуживанию, и это меняет экономику. Обучение — это капитальный проект с конечной точкой. Вывод — это производственная нагрузка, которая выполняется до тех пор, пока сервис работает, а результат измеряется в токенах. Это проблема токеномики, с которой сейчас сталкиваются операторы ИИ: как только...
Когда речь заходит о NVIDIA DGX Spark, первым делом обычно вспоминают две вещи. Во-первых, это основные характеристики: 128 ГБ унифицированной памяти в корпусе для настольного компьютера стоимостью около 4,000 долларов — цифра, которая еще два года назад казалась бы неправдоподобной для рабочего стола инженера. Во-вторых, это 200-я модель.
Когда в ноябре прошлого года мы опубликовали статью об исследованиях планктона, проводимых Университетом штата Орегон, заголовок был посвящен науке: инфраструктура с ускорением ИИ на борту исследовательских судов, обрабатывающая терабайты океанографических данных практически в режиме реального времени еще до прибытия судна в порт. Но в последующие недели незаметно произошло нечто другое. По кампусу распространилась информация о том, что...
Программа JumpStart от Supermicro зарекомендовала себя как один из наиболее полезных инструментов в наборе средств предварительной оценки инфраструктуры для ИИ. Вместо заранее подготовленной демонстрации в общей среде, JumpStart предоставляет квалифицированным пользователям бесплатный, ограниченный по времени, доступ к реальным производственным серверам через SSH, IPMI и VNC, позволяя им запускать рабочие нагрузки на реальном оборудовании.
Мы провели неделю, тестируя материнскую плату HGX B200 через программу Supermicro JumpStart, чтобы выяснить, как удаленный доступ к аппаратному обеспечению ускоряет принятие решений платформой искусственного интеллекта.
Университет штата Орегон развивает исследования в области океанографии с использованием искусственного интеллекта, графических процессоров, вычислительных ресурсов и плотных NVMe-накопителей для анализа данных о планктоне в режиме реального времени в море.
L40S особенно ценен для генерации синтетических данных, разработки многомодального искусственного интеллекта и приложений Omniverse, требующих как вычислительной, так и графической производительности.
Pliops XDP LightningAI повышает производительность вывода LLM за счет разгрузки кэша ключ-значение, обеспечивая более быструю и масштабируемую работу ИИ благодаря интеграции с NVIDIA Dynamo.
Amazon