StorageReview.com
AI  ◇  Предприятие

Эффективный с точки зрения использования токенов путь для вывода длинных контекстов: перенос данных из KV-кэша во флэш-память.

Инфраструктура корпоративного ИИ сместилась от оптимизации моделей обучения к их обслуживанию, и это меняет экономику. Обучение — это капитальный проект с конечной точкой. Вывод — это производственная нагрузка, которая выполняется до тех пор, пока сервис работает, а результат измеряется в токенах. Это проблема токеномики, с которой сейчас сталкиваются операторы ИИ: как только...

AI  ◇  Предприятие

Обзор кластера NVIDIA DGX Spark: распределенный вывод данных на устройствах Dell, GIGABYTE и HP.

Когда речь заходит о NVIDIA DGX Spark, первым делом обычно вспоминают две вещи. Во-первых, это основные характеристики: 128 ГБ унифицированной памяти в корпусе для настольного компьютера стоимостью около 4,000 долларов — цифра, которая еще два года назад казалась бы неправдоподобной для рабочего стола инженера. Во-вторых, это 200-я модель.

AI  ◇  Предприятие

Как Metrum AI и Университет штата Орегон создают новый стандарт академической оценки

Когда в ноябре прошлого года мы опубликовали статью об исследованиях планктона, проводимых Университетом штата Орегон, заголовок был посвящен науке: инфраструктура с ускорением ИИ на борту исследовательских судов, обрабатывающая терабайты океанографических данных практически в режиме реального времени еще до прибытия судна в порт. Но в последующие недели незаметно произошло нечто другое. По кампусу распространилась информация о том, что...

AI  ◇  Предприятие

Обзор Supermicro JumpStart: H14 с AMD Instinct MI350X

Программа JumpStart от Supermicro зарекомендовала себя как один из наиболее полезных инструментов в наборе средств предварительной оценки инфраструктуры для ИИ. Вместо заранее подготовленной демонстрации в общей среде, JumpStart предоставляет квалифицированным пользователям бесплатный, ограниченный по времени, доступ к реальным производственным серверам через SSH, IPMI и VNC, позволяя им запускать рабочие нагрузки на реальном оборудовании.

Система Supermicro JumpStart X14 B200
AI  ◇  Предприятие

Обзор Supermicro JumpStart: неделя с NVIDIA HGX B200

Мы провели неделю, тестируя материнскую плату HGX B200 через программу Supermicro JumpStart, чтобы выяснить, как удаленный доступ к аппаратному обеспечению ускоряет принятие решений платформой искусственного интеллекта.

AI  ◇  Предприятие

Искусственный интеллект в море: Университет штата Орегон отправляется в плавание для изучения океана в режиме реального времени.

Университет штата Орегон развивает исследования в области океанографии с использованием искусственного интеллекта, графических процессоров, вычислительных ресурсов и плотных NVMe-накопителей для анализа данных о планктоне в режиме реального времени в море.

AI  ◇  Предприятие

NVIDIA L40S для Omniverse: от сцен OpenUSD до моделей мира, учитывающих физические процессы.

L40S особенно ценен для генерации синтетических данных, разработки многомодального искусственного интеллекта и приложений Omniverse, требующих как вычислительной, так и графической производительности.

AI  ◇  Предприятие

Pliops XDP LightningAI значительно увеличивает размер KV-кэша для оптимизации вывода LLM с помощью NVIDIA Dynamo.

Pliops XDP LightningAI повышает производительность вывода LLM за счет разгрузки кэша ключ-значение, обеспечивая более быструю и масштабируемую работу ИИ благодаря интеграции с NVIDIA Dynamo.

AI  ◇  Предприятие

Искусственный интеллект на периферии сети в любом месте? Этот мобильный центр обработки данных с иммерсионным охлаждением делает это возможным.

Мобильные центры обработки данных DUG Nomad обеспечивают возможности искусственного интеллекта и высокопроизводительных вычислений с иммерсионным охлаждением на периферии сети благодаря серверам Hypertec и твердотельным накопителям Solidigm.

AI  ◇  Предприятие

NVIDIA Jetson Orin Nano Super: обеспечивает работу DeepSeek R1 70B в режиме инференции на периферии сети!

Находясь на переднем крае периферийного ИИ, комплект разработчика NVIDIA Jetson Orin Nano Super Developer Kit предоставляет надежное решение для приложений ИИ за пределами традиционных центров обработки данных. Это мощный и доступный инструмент для энтузиастов и профессионалов в области ИИ.