Одни серверы расширяют возможности уже существующих систем, другие же меняют ожидания. Dell PowerEdge R7725xd относится ко второй категории. В ходе наших недавних тестов, сконфигурированный с 24 твердотельными накопителями Micron 9550 PRO PCIe Gen5 NVMe и четырьмя сетевыми адаптерами 2x 200GbE, этот 2U-сервер показал более высокую пропускную способность хранилища, чем любая система, которую мы тестировали ранее. Внутри системы платформа поддерживала скорость более 300 ГБ/с через пул NVMe. В сети она обеспечила 160 ГБ/с, используя стандартный RDMA, без каких-либо дополнительных сложностей.
Это не просто более быстрый сервер хранения данных. Это система, которая меняет архитектуру ресурсоемких вычислительных процессов. Современные конвейеры обучения и вывода ИИ часто ограничены не мощностью графических процессоров, а скоростью подготовки, потоковой передачи, перемешивания и контрольных точек данных. Большие узлы с графическими процессорами будут простаивать, если хранилище не справляется. Команды решают эти проблемы, используя кэши, избыточное выделение памяти и сложную многоуровневую структуру, чтобы гарантировать, что ускорители получают данные достаточно быстро, чтобы оправдать свои затраты.
Сервер Dell PowerEdge R7725xd решает проблему узкого места на источнике. Сервер построен на базе 24-отсековой объединительной платы U.2, при этом каждый диск получает выделенный канал PCIe Gen5 x4 напрямую к процессору AMD EPYC. Отсутствует разветвление полосы пропускания, и не используется расширитель объединительной платы для уменьшения параллельной обработки. Производительность масштабируется плавно, поскольку архитектура оборудования позволяет объединять пропускную способность без конфликтов. В традиционной двухсокетной конфигурации процессоры соединены четырьмя каналами XGMI для межсокетной связи. В R7725xd один из этих каналов перепрофилирован для дополнительных 16 линий PCIe Gen5 на каждый процессор, что в сумме дает серверу 160 линий PCIe Gen5 (96 для передних SSD и 64 для четырех задних слотов PCIe). В сочетании с SSD Micron 9550 PRO, разработанными для длительных нагрузок записи и высокой износостойкости, система становится высокопроизводительным механизмом обработки данных, способным поддерживать ресурсоемкие задачи с контрольными точками и непрерывную потоковую передачу данных.
Мы интегрировали PEAK:AIO поверх этой архитектуры, чтобы использовать параллельные пути отправки данных и поддерживать эффективность по мере увеличения параллелизма. В результате мы получили не только пиковую производительность, но и стабильную производительность под нагрузкой. Платформа может работать как локальный узел выполнения для предварительной обработки, обучения или преобразования, или же предоставлять высокоскоростное хранилище данных на нескольких системах GPU по сети. Если вы настроены на эксперименты, вы можете делать и то, и другое одновременно.
Основные выводы
- Беспрецедентная пропускная способность на одном узле: R7725xd обеспечил внутреннюю пропускную способность более 300 ГБ/с и 160 ГБ/с по протоколу NVMe-oF RDMA, что сопоставимо с многоузловыми кластерами хранения данных в корпусе форм-фактора 2U.
- Истинная архитектура Gen5, никаких коммутаторов, никакого разветвления: Все 24 твердотельных накопителя Micron 9550 PRO получают выделенные линии PCIe Gen5 x4 непосредственно от процессорного комплекса, что позволяет масштабировать скорость передачи данных без конфликтов.
- Работает на базе процессоров AMD EPYC серии 9005: Два процессора AMD EPYC 9575F обеспечивают необходимое количество линий, пропускную способность памяти и топологию NUMA для стабильной работы с высокой степенью параллелизма при операциях ввода-вывода.
- Разработано для задач искусственного интеллекта, аналитики и работы с большим количеством контрольных точек: Система устраняет узкие места ввода-вывода, которые тормозят работу современных конвейеров обработки данных на графических процессорах, обеспечивая непрерывную передачу данных с высокой пропускной способностью.
- PEAK:AIO обеспечивает полную разблокировку параллелизма: Программный стек PEAK:AIO поддерживает высокую загрузку очередей под нагрузкой, обеспечивая производительность корпоративного уровня при привлекательном соотношении цены и объема данных (в долларах за гигабайт).
Специально разработан для обеспечения высокой пропускной способности NVMe.
В последних моделях серверов Dell отказалась от использования коммутаторов PCIe в конфигурациях с большим количеством накопителей. Такие модели, как PowerEdge R770 или R7725, предлагают отсеки PCIe Gen5 x4, поддерживающие до 16 конфигураций SSD, а в конфигурациях с большей объединительной платой для хранения данных переключаются на отсеки x2. Серверы предыдущего поколения, такие как PowerEdge R760, включали коммутатор PCIe в конфигурациях с 24 отсеками NVMe. Чтобы упростить сборку и устранить сложность, вносимую коммутатором PCIe, в новых серверах была принята стратегия уменьшения количества линий PCIe в конфигурациях с большим количеством накопителей. Так было до появления R7725xd.
Различие между стандартным R7725 и R7725xd заключается в способе распределения ресурсов корневого комплекса PCIe на платформах. Базовый R7725 распределяет линии PCIe между хранилищем, расширением графического процессора и вводом-выводом общего назначения. Вариант «xd» перераспределяет этот бюджет таким образом, что подсистема NVMe становится основным потребителем пропускной способности PCIe. 24 отсека U.2 подключены непосредственно к корневым каналам PCIe Gen5 процессора, при этом каждый SSD получает свою собственную точку доступа x4, а не общий восходящий канал, предоставляемый через коммутатор PCIe или дерево ретаймеров. Это обеспечивает каждому накопителю независимые структуры очередей и независимые пути DMA к контроллеру памяти.
Топология объединительной платы и райзера отражает это стремление. Dell группирует разъемы NVMe и слоты PCIe по обоим сокетам AMD EPYC, так что каждый процессор напрямую отвечает за часть набора накопителей. На практике это создает два симметричных домена NVMe, каждый с локальными характеристиками задержки и полной параллельной обработкой чтения/записи. Когда мы установили четыре двухпортовых сетевых адаптера Broadcom 200GbE в качестве дополнительных карт, размещение в слотах позволило каждому сетевому адаптеру оказаться в домене PCIe, выровненном по соответствующей группе NVMe. В режиме NVMe-over-RDMA это означало, что сетевой трафик оставался локальным для сокета, обрабатывающего соответствующий ввод-вывод накопителя, избегая межсокетного соединения Infinity Fabric, которое обычно увеличивает задержку и потребляет пропускную способность под нагрузкой.
Тепловые характеристики также способствуют стабильной производительности. Технология U.2 остается выгодной в плотных конфигурациях Gen5, поскольку обеспечивает определенный канал воздушного потока и предсказуемую площадь поверхности радиатора для каждого устройства. Модули вентиляторов с высоким статическим давлением и воздуховоды корпуса R7725xd поддерживают постоянный воздушный поток во всех 24 отсеках, позволяя непрерывно выполнять задачи записи на все накопители без снижения производительности. Механическая конструкция дополняет электрическую: каждый накопитель может поддерживать полную производительность, поскольку платформа рассчитана на охлаждение 24 одновременно работающих устройств Gen5 под нагрузкой.
Такое сочетание выравнивания корневого комплекса, согласованной неравномерной компоновки линий доступа к памяти (NUMA), размещения сетевых адаптеров с учетом особенностей сокетов и термостабильной упаковки U.2 позволяет системе достигать скорости ввода-вывода на уровне линии связи в масштабе предприятия. Архитектура позволяет избежать узких мест и оптимизировать производительность.
Обзор Dell PowerEdge R7725xd iDRAC 10
Это поколение R7725xd, как и многие другие платформы 17-го поколения, которые мы тестировали, оснащено новой платформой Dell iDRAC 10, которая служит центральной точкой для удаленного управления, мониторинга состояния и внеполосного управления. Панель управления мгновенно отображает сводку общего состояния системы, состояния хранилища и недавней активности. Для нашего тестового образца отчет о состоянии системы и хранилища отображается зеленым цветом, подтверждая нормальную работу сервера. Ключевые сведения о системе, такие как модель, имя хоста, версия BIOS, уровень прошивки iDRAC, IP-адрес и информация о лицензировании, отображаются в правой части интерфейса.
Панель управления также включает в себя сводку задач, отображающую завершенные, ожидающие и выполняемые операции. Ниже находится список последних журналов, содержащих события вскрытия шасси и сообщения о состоянии питания, что позволяет быстро получить представление об изменениях состояния оборудования без необходимости перехода в более сложные меню. В правом нижнем углу находится панель виртуальной консоли для полного удаленного управления KVM.
Раздел «Хранилище» в iDRAC 10 предоставляет полный обзор всех физических дисков, установленных в R7725xd. На сводной панели отображается общее количество всех подключенных дисков, а также круговая диаграмма, иллюстрирующая состояние дисков. В данной конфигурации активны 24 NVMe SSD-накопителя, которые находятся в состоянии готовности, а также два дополнительных загрузочных устройства, расположенных отдельно от основного фронтального блока NVMe.
Справа на панели «Сводка дисков» отображается информация о физических дисках и связанных с ними виртуальных дисках. Поскольку R7725xd использует архитектуру NVMe без традиционных RAID-контроллеров, все диски отображаются как не-RAID и имеют индивидуальную адресацию, что соответствует конструкции системы для больших пулов NVMe и платформ SDS.
Ниже сводки состояния в области «Недавние зарегистрированные события хранилища» отображаются журналы установки для каждого твердотельного накопителя PCIe, упорядоченные по отсекам и слотам. Эта запись подтверждает корректное обнаружение во всех отсеках для накопителей и помогает выявить любые проблемы с установкой, кабелями или горячей заменой. Для крупных развертываний эти журналы полезны для отслеживания выделения ресурсов накопителям или проверки того, что емкость заполнена должным образом.
На последнем скриншоте показано подробное представление NVMe-устройств в iDRAC10. Каждый NVMe-накопитель, установленный в системе, указан со своим состоянием, емкостью и расположением в отсеке. Выбор отдельного накопителя открывает полную информацию о его характеристиках.
В этом примере на панели информации о накопителе отображается полная строка модели, протокол устройства, форм-фактор и согласованные параметры PCIe. Устройства NVMe работают на скорости соединения 32 ГТ/с с согласованным соединением x4, что подтверждает работу накопителей на полной пропускной способности объединительной платы PCIe Gen5 системы. В разделе информации также отображается процент ресурса, состояние доступных резервных накопителей и тип протокола, что помогает администраторам отслеживать состояние накопителей и ожидаемый срок их службы.
Такая подробная информация о состоянии накопителей особенно полезна в конфигурациях NVMe с высокой плотностью размещения, где ширина канала связи, согласованная скорость и состояние носителя напрямую влияют на поведение рабочей нагрузки и производительность хранилища.
В целом, интерфейс iDRAC 10 обеспечивает четкое, ориентированное на аппаратное обеспечение представление архитектуры NVMe-хранилища R7725xd, позволяя с первого взгляда легко проверить состояние канала связи, состояние дисков и целостность системы.
Dell PowerEdge R7725xd Performance
Перед тестированием наша система была сконфигурирована со сбалансированной, но высокопроизводительной конфигурацией. Система оснащена двумя процессорами AMD EPYC 9575F, каждый из которых имеет 64 высокочастотных ядра, и 24 модулями оперативной памяти DDR5 DIMM по 32 ГБ, работающими на частоте 6400 МТ/с. Для хранения данных в корпусе установлены 24 твердотельных накопителя Micron 9550 PRO U.2 NVMe емкостью 15.36 ТБ каждый, подключенных через выделенный канал PCIe Gen5 x4. Это обеспечивает общую емкость 368.64 ТБ, а накопители Micron 9550 PRO обеспечивают скорость последовательного чтения до 14 000 МБ/с и скорость последовательной записи до 10 000 МБ/с. За сетевое взаимодействие отвечают четыре адаптера Broadcom BCM57608, обеспечивающие в общей сложности восемь портов 200 Гбит/с, а также сетевая карта BCM57412 OCP, предлагающая два дополнительных порта 10 Гбит/с.
Характеристики тестовой системы
- CPU : 2 процессора AMD EPYC 9575F с 64 ядрами и высокой частотой
- Память: 24x 32 ГБ DDR5 @ 6400 МТ/с
- Хранение: 24 жестких диска Micron 9550 PRO U.2 по 15.36 ТБ каждый (подключены по 4 линиям PCIe Gen5); в настоящее время поддерживаются диски объемом до 128 ТБ, в будущем планируется увеличение емкости.
- Сети: 4 сетевых адаптера Broadcom BCM57608 2x200G, 1 сетевой адаптер BCM57412 2x10Gb OCP.
- Переключатель: Dell PowerSwitch Z9664
FIO Performance Benchmark
Для измерения производительности хранилища PowerEdge R7725xd мы использовали стандартные отраслевые метрики и инструмент FIO. В этом разделе мы сосредоточимся на следующих тестах FIO:
- Случайный 4K – 1M
- Последовательная 4K – 1М
FIO – Локальный – Пропускная способность
При тестировании локального доступа к 24 накопителям PCIe Gen5 NVMe внутри Dell PowerEdge R7725xd система демонстрирует именно то, что и следовало ожидать от платформы, где каждый накопитель подключен к процессорам по полнофункциональному каналу PCIe Gen5 с четырьмя линиями. Без участия сетевого уровня это чистая внутренняя пропускная способность системы хранения данных Dell Gen5 и пропускная способность PCIe платформы AMD EPYC, работающая без ограничений.
Последовательное чтение начинается со скорости 184 ГБ/с при блоках размером 4K и быстро масштабируется по мере увеличения размера блока. При блоках размером от 512K до 1M сервер поддерживает стабильную скорость от 312 до 314 ГБ/с, что является убедительным свидетельством того, насколько хорошо система может объединять все 24 линии Gen5 × 4 в устойчивую пропускную способность для чтения без каких-либо узких мест на уровне контроллера.
Последовательная запись следует другой кривой, но остается в пределах ожидаемого диапазона. Начиная со 149 ГБ/с, результаты растут до середины диапазона сотен и достигают 182 ГБ/с при 1 миллионе записей. Это соответствует поведению записи твердотельных накопителей Micron 9550 PRO и накладным расходам, присущим высокопараллельной записи NVMe на таком большом количестве независимых устройств.
Еще одним важным преимуществом является производительность случайного чтения. Система достигает скорости почти 300 ГБ/с при самых маленьких размерах блоков, немного снижается в среднем диапазоне, а затем восстанавливается до 200-300 ГБ/с при больших размерах блоков. При размере блока 1 МБ случайное чтение достигает максимума в 318 ГБ/с, демонстрируя способность платформы равномерно распределять смешанные операции по всем 24 накопителям.
Случайные операции записи выполняются с меньшей скоростью, что типично для распределенных метаданных и задач распределения записи в широком наборе NVMe-накопителей. Результаты остаются в диапазоне от 140 до 160 ГБ/с на протяжении большей части теста и снижаются до чуть менее 100 ГБ/с при объеме памяти 1 МБ.
FIO – Локальный – IOPS
При анализе производительности операций ввода-вывода (IOPS) R7725xd демонстрирует высокую производительность при обработке небольших блоков данных, достигая десятков миллионов запросов, прежде чем увеличение размера блока смещает нагрузку в сторону требований к пропускной способности.
При размере блока 4K операции чтения достигают 44.9 млн IOPS, а операции записи — 36.3 млн. Случайное чтение достигает еще более высоких показателей — 71.4 млн IOPS, что демонстрирует способность системы эффективно распределять большие очереди задач между всеми накопителями. Эти значения естественным образом снижаются с увеличением размера блока, но прогресс остается стабильным в диапазонах 8K, 16K и 32K.
При размерах блоков 16K и 32K скорость чтения стабилизируется на уровне 17.4 млн и 8.35 млн операций ввода-вывода в секунду соответственно, а скорость случайного чтения практически совпадает — 16.5 млн и 8.15 млн. Скорость записи следует ожидаемой закономерности, оставаясь ниже, но стабильной как при последовательном, так и при случайном доступе.
При переходе к размерам блоков 64K и выше, тест переходит от чистого IOPS к сценарию, более ограниченному пропускной способностью. IOPS падают до нескольких миллионов, а затем и до сотен тысяч. При размере блока 1M, IOPS чтения составляют около 300K, записи — около 174K, а случайные операции завершаются примерно в том же диапазоне.
В целом, результаты локального анализа IOPS наглядно демонстрируют способность системы поддерживать очень высокую глубину очереди при обработке небольших блоков данных, с предсказуемым масштабированием по мере роста объема передаваемых данных и превращения пропускной способности в доминирующий фактор.
PEAK:AIO: Почему Dell PowerEdge R7725xd подходит для этой рабочей нагрузки
PEAK:AIO разработан для сред, требующих чрезвычайно быстрого доступа к большим наборам данных с низкой задержкой, как правило, для обучения ИИ, конвейеров вывода, финансового моделирования и аналитики в реальном времени. Платформа основана на высокой плотности хранения данных NVMe, сбалансированной пропускной способности PCIe и предсказуемой задержке в масштабе. Для удовлетворения этих требований базовое оборудование должно обеспечивать стабильную пропускную способность, поддерживая при этом стабильную и воспроизводимую производительность при одновременной высокой нагрузке.
Именно здесь Dell PowerEdge R7725xd органично сочетается с PEAK:AIO. Архитектура системы разработана для максимального использования ресурсов PCIe Gen5, предоставляя процессорам доступ ко всей пропускной способности 24 фронтальных отсеков U.2 NVMe без использования традиционных RAID-контроллеров. Такая компоновка обеспечивает PEAK:AIO параллелизм и профиль задержки, ожидаемые от современных конвейеров обработки данных на основе NVMe. Конфигурация системы разделила NVMe SSD на две группы RAID0.
В тестовом сценарии мы использовали две клиентские системы, подключенные к R7725xd, каждая из которых была оснащена сетевыми адаптерами Broadcom BCM57608 2x 200G. Это создало в общей сложности четыре восходящих канала 200G, подающих сигнал на каждый клиент, что позволило R7725xd работать в реалистичной высокопроизводительной конфигурации, аналогичной той, что используется в производственных средах PEAK:AIO. Такой уровень пропускной способности сети обеспечил нам запас мощности для полной нагрузки на подсистему NVMe, топологию PCIe и межпроцессные соединения без узкого места на уровне сетевых адаптеров.
В результате получилась платформа, эффективно соответствующая рабочим нагрузкам PEAK:AIO. R7725xd обеспечивает высокую пропускную способность NVMe, скорость передачи данных PCIe Gen5, два процессора AMD EPYC 9005 для параллельной обработки и сетевые возможности для поддержки многоклиентской обработки данных со скоростью в сотни гигабит на клиента. Все эти характеристики являются основополагающими для достижения ожидаемых показателей производительности PEAK:AIO.
PEAK:AIO – NVMe-oF RDMA – Пропускная способность
Анализ результатов измерения пропускной способности NVMe-oF RDMA на PowerEdge R7725xd с PEAK:AIO показывает, что общая тенденция точно соответствует ожиданиям от системы с такой пропускной способностью PCIe и сети. По мере увеличения размера блока пропускная способность быстро растет, пока не стабилизируется вблизи практического предела платформы.
При небольших размерах блоков производительность начинается в диапазоне 20 ГБ/с как для чтения, так и для записи, что является нормой, поскольку передача данных размером 4K и 8K значительно увеличивает пропускную способность, чем скорость операций ввода-вывода в секунду. Как только мы переходим к блокам размером 16K и 32K, производительность улучшается. Скорость чтения подскакивает примерно до 154 ГБ/с при размере 32K и продолжает расти до 160 ГБ/с, что соответствует ожидаемой производительности двухклиентской конфигурации с четырьмя каналами связи 200 Гбит/с.
Производительность случайного чтения практически идеально соответствует производительности последовательного. Технология PEAK:AIO хорошо справляется с поддержанием работоспособности очередей команд, поэтому пропускная способность случайного чтения практически полностью соответствует пропускной способности последовательного чтения, стабилизируясь на уровне примерно 159–161 ГБ/с в диапазоне от 32 КБ до 1 МБ. Это указывает на то, что стек хранения не является узким местом при смешанных схемах доступа, и топология PCIe R7725xd равномерно распределяет нагрузку между 24 накопителями NVMe Gen5.
Производительность записи следует аналогичной кривой, хотя и достигает максимума немного ниже, чем при чтении. Последовательная запись остается в диапазоне от 140 до 148 ГБ/с на протяжении блоков среднего размера, снижаясь примерно до 117 ГБ/с при размере блока 128 КБ, но восстанавливаясь по мере увеличения размера блока. Случайная запись ведет себя иначе и стабилизируется на уровне около 110-117 ГБ/с, что является нормой для рабочих нагрузок со смешанной очередью, которые вводят дополнительные накладные расходы.
Главный вывод из этого раздела заключается в том, что R7725xd без проблем поддерживает чрезвычайно высокую пропускную способность по NVMe-oF, даже при одновременной работе нескольких клиентов на пределе возможностей системы. Как только размер блока достигает 32 КБ или более, сервер стабильно использует доступную пропускную способность сети и хранилища. Именно такой производительности и призвана достичь технология PEAK:AIO, что является убедительным подтверждением способности платформы масштабироваться в реальных условиях.
PEAK AIO – NVMe-oF RDMA IOPS
Что касается производительности ввода-вывода (IOPS), PowerEdge R7725xd демонстрирует высокую производительность при работе с небольшими блоками, хотя первоначально мы наблюдали показатели ниже ожидаемых; ожидается, что эта проблема будет решена в будущем за счет улучшения поддержки сетевых драйверов. Даже с учетом этого, общая тенденция масштабирования выглядит точно так же, как обычно ведет себя NVMe-oF RDMA при увеличении размера блока.
При самом маленьком размере блока система способна обеспечить более 6 миллионов операций ввода-вывода в секунду как при последовательной, так и при случайной нагрузке. Скорость чтения, записи, случайного чтения и случайной записи находится примерно в одном диапазоне при размерах блока 4K и 8K, что указывает на то, что клиентские устройства, инфраструктура PCIe и сами NVMe-накопители без проблем справляются с частотой запросов.
По мере увеличения размеров блоков начинается ожидаемое снижение количества операций ввода-вывода в секунду (IOPS). При размере блока 32 КБ операции чтения достигают примерно 4.7 миллиона IOPS, в то время как операции записи немного отстают, составляя около 4.4 миллиона. Наибольшее снижение наблюдается при случайных операциях записи, которые падают примерно до 3.3 миллиона IOPS, что соответствует дополнительной нагрузке на очередь и процессор, возникающей при смешанном доступе.
При переходе к большим блокам количество операций ввода-вывода в секунду (IOPS) продолжает снижаться предсказуемым линейным образом. К моменту достижения 256 тыс. и 512 тыс. передач пропускная способность становится доминирующим показателем, и IOPS естественным образом падает до нескольких сотен тысяч. При размере блока в 1 млн все рабочие нагрузки сходятся к 140–153 тыс. IOPS, что соответствует показателям пропускной способности, которые мы видели в предыдущем разделе.
Производительность хранилища GPUDirect
Одним из тестов, проведенных нами на R7725xd, был тест Magnum IO GPUDirect Storage (GDS). GDS — это функция, разработанная NVIDIA, которая позволяет графическим процессорам обходить центральный процессор при доступе к данным, хранящимся на NVMe-накопителях или других высокоскоростных устройствах хранения. Вместо маршрутизации данных через центральный процессор и системную память, GDS обеспечивает прямую связь между графическим процессором и устройством хранения, значительно снижая задержку и повышая пропускную способность данных.
Как работает хранилище GPUDirect
Традиционно, когда графический процессор обрабатывает данные, хранящиеся на NVMe-накопителе, данные сначала должны пройти через центральный процессор и системную память, прежде чем достигнут графического процессора. Этот процесс создает узкие места, поскольку центральный процессор становится посредником, увеличивая задержку и потребляя ценные системные ресурсы. Технология GPUDirect Storage устраняет эту неэффективность, позволяя графическому процессору получать доступ к данным непосредственно с устройства хранения через шину PCIe. Этот прямой путь уменьшает накладные расходы на перемещение данных, обеспечивая более быструю и эффективную передачу данных.
Задачи искусственного интеллекта, особенно те, которые связаны с глубоким обучением, требуют больших объемов данных. Обучение больших нейронных сетей требует обработки терабайтов данных, и любая задержка в передаче данных может привести к недоиспользованию графических процессоров и увеличению времени обучения. GPUDirect Storage решает эту проблему, обеспечивая максимально быструю доставку данных на графический процессор, минимизируя время простоя и максимизируя вычислительную эффективность.
Кроме того, GDS особенно полезен для рабочих нагрузок, связанных с потоковой передачей больших наборов данных, таких как обработка видео, обработка естественного языка или вывод в реальном времени. Снижая зависимость от ЦП, GDS ускоряет перемещение данных и высвобождает ресурсы ЦП для других задач, что еще больше повышает общую производительность системы.
Помимо высокой пропускной способности, технология GPUDirect с NVMe-oF (TCP/RDMA) обеспечивает также сверхнизкую задержку ввода-вывода. Это гарантирует, что графические процессоры никогда не будут испытывать нехватку данных, что делает систему идеальной для выполнения задач искусственного интеллекта в реальном времени, аналитических конвейеров и воспроизведения видео.
GDSIO Последовательное чтение
При анализе PEAK:AIO с одним клиентом, использующим GDSIO, пропускная способность чтения демонстрирует четкую зависимость от размера блока и количества потоков. Этот единственный клиент был подключен через два канала 400G, что ограничивало его общий потенциал до 90 ГБ/с.
При самых маленьких размерах блоков и небольшом количестве потоков производительность скромная: скорость чтения 4K начинается примерно со 189 МиБ/с в одном потоке. Как только мы увеличиваем параллелизм потоков, система реагирует мгновенно, достигая 691 МиБ/с в четырех потоках и переходя к многогигабайтным значениям при работе с большими блоками.
При средних размерах блоков наблюдается наиболее сильная зависимость от количества потоков. При 32K пропускная способность возрастает с 1.3 ГиБ/с в одном потоке до почти 20 ГиБ/с при 64 потоках, с лишь незначительным снижением после этого. Аналогичная картина наблюдается при 64K и 128K, где система переходит от низких однозначных значений ГиБ/с при низком параллелизме к более чем 30 ГиБ/с по мере масштабирования рабочей нагрузки.
При увеличении размера блока пропускная способность начинает стабилизироваться, поскольку система приближается к своему максимальному уровню производительности для одного клиента. При размере блока 1 МиБ производительность возрастает с 11 ГиБ/с в одном потоке до примерно 88 ГиБ/с при большом количестве потоков. Передача данных размером 5 МиБ и 10 МиБ демонстрирует такое же плато, достигая максимума в районе 89–90 ГиБ/с независимо от того, выполняется ли тест с 64, 128 или 256 потоками.
GDSIO Последовательная запись
Что касается записи, то поведение масштабирования следует аналогичному поведению при чтении, но с несколько меньшей производительностью для большинства размеров блоков, что ожидаемо для последовательных нагрузок записи. При самых маленьких размерах блоков пропускная способность начинается со 165 МиБ/с для одного потока при 4 КБ и неуклонно растет по мере увеличения параллелизма. При четырех потоках она увеличивается до чуть более 619 МиБ/с, а затем превышает 1 ГиБ/с при восьми потоках.
При средних размерах блоков наблюдается более значительный рост производительности по мере увеличения количества потоков. При размере блока 32K пропускная способность начинается чуть менее чем с 1 ГиБ/с и увеличивается до более чем 21 ГиБ/с при более высоком количестве потоков. Диапазоны 64K и 128K продолжают эту тенденцию, переходя от низких однозначных значений ГиБ/с к средним значениям в 30 ГиБ/с и 50 ГиБ/с по мере того, как рабочая нагрузка становится более параллельной.
При больших объемах передачи данных система достигает своего естественного предела пропускной способности записи. При объеме в 1 МиБ производительность возрастает с 13.3 ГиБ/с в однопоточном режиме до чуть менее 90 ГиБ/с при большом количестве потоков. Тесты с объемом 5 МиБ и 10 МиБ демонстрируют аналогичную закономерность, достигая пиковых значений около 90 ГиБ/с независимо от того, работает ли система с 64, 128 или 256 потоками.
Переосмысление производительности в эпоху пятого поколения
Dell PowerEdge R7725xd — это больше, чем просто сервер хранения данных; он представляет собой сдвиг в способе передачи пропускной способности внутри стойки. Исключив коммутаторы PCIe и обеспечив каждому NVMe-накопителю прямой доступ к процессору, Dell создала систему, в которой пропускная способность масштабируется плавно, температурный режим остается предсказуемым, а параллельная обработка становится преимуществом, а не проблемой.
В сочетании с твердотельными накопителями Micron 9550 PRO и программным обеспечением параллельного ввода-вывода PEAK:AIO, R7725xd превращается из компактного NVMe-корпуса в настоящий центр обработки данных. Он может задействовать всю локальную сеть PCIe, передавать данные на графические процессоры по протоколу RDMA на линейной скорости или одновременно выступать в качестве вычислительного и запоминающего устройства, и все это в корпусе высотой 2U.
Dell PowerEdge R7225xd
На практике эта конфигурация обеспечивает более 300 ГБ/с локальной пропускной способности и 160 ГБ/с в сети, что сопоставимо с производительностью многоузловых кластеров хранения данных при значительно меньшей сложности и стоимости. Это демонстрация того, что происходит, когда каждый уровень стека, от кремниевых компонентов до программного обеспечения, ориентирован на эффективность и стабильную пропускную способность.
R7725xd устанавливает новый стандарт производительности одноузловых хранилищ в эпоху Gen5. Для организаций, создающих конвейеры обработки данных для ИИ следующего поколения, высокоскоростную аналитику или среды обучения с большим количеством контрольных точек, это возможность увидеть, чего можно достичь, когда узкие места полностью исключаются из системы.
Данный отчет подготовлен при поддержке компании Dell Technologies. Все мнения и взгляды, выраженные в этом отчете, основаны на нашем объективном взгляде на рассматриваемый продукт (продукты).
Amazon