Современные серверные системы используют преимущества расширяющегося мира ускорительных карт для реализации новых или улучшенных возможностей. Хотя многие сразу обращаются к графическим процессорам (GPU) при рассмотрении вопросов ускорения, появилось новое поколение процессоров, которые решают не только проблемы производительности, но и обеспечивают защиту данных и экономичность. Процессор Pliops Extreme Data Processor (XDP) — один из таких ускорителей, помогающий клиентам воспользоваться уникальным сочетанием производительности, емкости и экономичности благодаря корпоративным твердотельным накопителям на базе QLC-памяти.
Краткий обзор влияния флэш-памяти на центры обработки данных
NVMe SSD-накопители значительно повлияли на производительность серверов и систем хранения данных, особенно когда достигли скоростей Gen4. Однако это создало нагрузку на другие компоненты системы, а значит, традиционные архитектуры RAID-массивов стали создавать проблемы. Ситуация на рынке флэш-памяти снова изменилась с появлением QLC-флэш-памяти. Для эффективного использования этих современных технологий в серверах необходимы новые решения.
Компания Intel, ныне Solidigm, первой выпустила на рынок высококачественный твердотельный накопитель QLC. Solidigm P5316 стал фактическим стандартом среди доступных по цене и вместительных твердотельных накопителей корпоративного класса. Мы много времени уделяли этим накопителям, не только в наших обзорах, но и в корпоративных и облачных средах, где их можно эффективно использовать.
Что мы подразумеваем под правильным использованием? Традиционно QLC SSD-накопители отличаются очень высокой скоростью чтения, но при записи на них системам приходится действовать немного умнее. В нашем обзоре P5316 мы немного говорили о термине «единица косвенного доступа» (IU). Это, по сути, размер блока, в который накопитель хочет записывать данные. У P5316 IU составляет 64 КБ. Хотя можно записывать данные блоками по 4 КБ, это крайне неэффективно с точки зрения производительности и коэффициента усиления записи.
Погружение в тонкости работы с SSD-накопителями важно для понимания хотя бы одной из ключевых причин существования Pliops XDP. В частности, он выступает в роли RAID-контроллера для сервера, объединяя и управляя SSD-накопителями. XDP также поддерживается встроенной DRAM и защитой от перегрузки по питанию, что позволяет объединять потоки записи на накопители, обеспечивая производительность и использование емкости, превосходящие возможности программного RAID.
Спрос на IoT-устройства в приложениях
Сбор данных продолжает расти невероятными темпами. Необходимость в том, чтобы эти данные и связанные с ними приложения были всегда под рукой, становится еще более очевидной, особенно с учетом важности сбора информации на периферии сети и разработки приложений на основе ИИ/машинного обучения.
Предприятия активно внедряют технологию SSD, учитывая постоянный рост емкости и одновременно повышение экономической эффективности таких накопителей. Широко распространены NVMe-накопители, способные работать более чем в 1,000 раз быстрее, чем жесткие диски (HDD). Центры обработки данных развертывают сети со скоростью 400 Гбит/с, чтобы справиться с этими устройствами хранения данных, а эффективные протоколы, такие как NVMe-over-Fabrics (NVMe-oF), расширяют возможности систем и инфраструктур.
Приложения также стали более эффективными, поскольку спрос на устройства Интернета вещей продолжает расти беспрецедентными темпами. Увеличение количества серверов, хранилищ и коммутаторов усложняет и без того сложную среду. И не будем забывать о важности эффективного и безопасного резервного копирования всех этих данных.
Казалось бы, установка NVMe SSD должна решить проблемы с производительностью, с которыми сегодня сталкиваются предприятия. Однако эти NVMe SSD используются неэффективно. Закон Мура отстаёт: производительность процессоров, по прогнозам, будет удваиваться каждые 20 лет, а не каждые два года. Добавление большего количества ядер не решает проблему производительности, поскольку эти ядра используют одну и ту же память и операции ввода-вывода. Добавление большего количества серверов позволило бы применить старую поговорку «чем больше, тем лучше», но это очень дорогое решение, к тому же вредное для окружающей среды.
С учетом всего объема данных, хранящихся на высокоскоростных SSD-накопителях, обработка и управление ими, а также перегрузка процессора ресурсоемкими задачами хранения данных, превратились в настоящий кошмар. Серверы не справляются с потребностями пользователей и необходимостью обеспечения надежной защиты в случае отказа накопителя, особенно при работе с высокопроизводительными и вместительными системами.
Процессор Pliops Extreme Data Processor (XDP) может стать решением многих задач, связанных с производительностью твердотельных накопителей (SSD) и их защитой. Pliops XDP устанавливает новый стандарт ускорения приложений, повышая эффективность инвестиций в инфраструктуру вашего центра обработки данных.
Подобно тому, как графические процессоры преодолевают неэффективность обработки данных для ускорения работы ИИ и аналитики, Pliops XDP преодолевает неэффективность хранения данных, значительно ускоряя производительность и существенно снижая затраты на инфраструктуру для современных приложений. Pliops XDP упрощает обработку данных и управление хранилищем SSD. Поставляемый на удобной в развертывании карте PCIe HHHL (половина высоты, половина длины), Pliops XDP радикально повышает производительность, надежность, емкость и эффективность для самых разных ресурсоемких задач.
Архитектура процессора данных Pliops Extreme
Pliops XDP разработан с двумя интерфейсами для доступа к нему со стороны хостов, что является ключевым фактором для обеспечения более высокой производительности.
Первый вариант — это стандартный блочный интерфейс, который получил наибольшее распространение: XDP выглядит как любое другое запоминающее устройство в системе. После установки XDP он просто отображается.
Второй интерфейс хоста — это API библиотеки Key-Value, совместимый с RocksDB. Также поддерживается новый стандарт NVMe-KV. Этот интерфейс является наиболее эффективным способом прямого доступа приложений к XDP и позволяет добиться еще большей производительности. XDP рассматривает блоки как особый тип пар «ключ-значение», поэтому все операции в движке выполняются одинаково.
Превосходная производительность Pliops XDP обусловлена выполнением большинства функций на аппаратном уровне. Сжатие данных на уровне строк выполняется с помощью быстрого и эффективного аппаратного ускорения. Механизм хранения данных типа «ключ-значение» также основан на аппаратном обеспечении. Pliops сравнивает это с RocksDB на чипе. Механизм хранения данных типа «ключ-значение» — это настоящая рабочая лошадка XDP, выполняющая большую часть работы, обеспечивающей реальное повышение производительности.
Проще говоря, при сжатии блока создаётся объект произвольного размера. Флэш-память имеет фиксированные размеры блоков, поэтому это создаёт проблемы с управлением объёмом памяти. Эта проблема решается путём объединения сжатых блоков, их упаковки, сортировки и индексации для быстрого доступа, а затем сборки мусора. При каждом обновлении блоки распаковываются, и процесс начинается заново. Именно это определяет значения параметров записи, чтения и объёма памяти в программных решениях. С точки зрения процессора, хост идёт на компромиссы, чтобы не потреблять всю вычислительную мощность.
В Pliops реализованы чрезвычайно эффективные алгоритмы и структуры данных, требующие больших вычислительных ресурсов. Например, XDP обеспечивает производительность, эквивалентную пятистам ядрам Xeon Gold, сравнимую с RocksDB.
Надежность
Традиционные решения для защиты данных требуют компромиссов как в производительности, так и в объеме памяти. Но Pliops XDP устраняет эти компромиссы.
Эти компромиссы с расширенной защитой от сбоев накопителей, которая обеспечивает постоянную доступность данных и исключает
Потеря данных и простои. XDP поддерживает множественные отказы отдельных дисков и имеет виртуальную горячую емкость (VHC), что исключает необходимость в резервном диске. Поскольку XDP управляет данными, восстанавливаются только фактические данные, в отличие от решений на основе RAID. Другими словами, пользователи получают защиту данных со скоростью флэш-памяти без потери производительности.
В случае внезапного отключения питания XDP сохраняет метаданные и пользовательские данные в процессе передачи, автоматически записывая их в энергонезависимую память. Восстановление происходит автоматически и начинается немедленно после восстановления питания с использованием доступной емкости VHC без уменьшения полезной емкости.
Рабочий диапазон
Pliops XDP поддерживает все технологии командной флэш-памяти, TLC, QLC, Intel Optane и SSD-накопители от любых производителей. Встроенная функция сжатия XDP использует несколько механизмов для предотвращения узких мест, что снимает нагрузку с центрального процессора. Сжатие, минимальные накладные расходы на защиту от сбоев накопителей и почти полная загрузка накопителей (95%) увеличивают полезную емкость до 6 раз. Это увеличение полезной емкости обеспечивает существенное снижение стоимости за терабайт.
Твердотельные накопители (SSD) имеют ограниченный ресурс, который определяется объемом данных, которые можно записать и стереть до того, как устройство износится и перестанет безопасно хранить данные. По мере внедрения в индустрию твердотельных накопителей QLC и более современных технологий уровень ресурса снижается. Поскольку технология XDP преобразует все случайные операции записи в последовательные, эта проблема устраняется, что приводит к увеличению ресурса до 7 раз.
Следует отметить, что на сегодняшний день Pliops XDP поддерживает 128 ТБ пользовательских данных на одной карте. В случаях, когда требуется больше места для хранения, можно использовать несколько карт XDP в одной хост-системе.
Эффективность
Компактная, но мощная платформа XDP позволяет максимально эффективно использовать существующую инфраструктуру, чтобы справляться с ростом объёма данных в организации и внедрением новых приложений. Более того, её легко развернуть во всём центре обработки данных. Pliops XDP обеспечивает до 80 процентов лучшую экономическую эффективность при различных рабочих нагрузках.
В настоящее время Pliops использует интерфейс командной строки для установки своего программного обеспечения XDP.
Интерфейс простой и понятный. Легко настроить XDP и при необходимости отслеживать состояние массива.
Расширенные функции
В число расширенных возможностей Pliops XDP входят:
- Стандартное блочное устройство с высокой и стабильной производительностью.
- Бескомпромиссная защита от сбоев накопителей (DFP) предотвращает множественные отказы отдельных накопителей.
- Расширяет полезную емкость за счет сжатия, высокой степени заполнения дисков и минимальных накладных расходов DFP.
- Функция Virtual Hot Capacity устраняет необходимость в выделенном резервном источнике питания.
- Уменьшенный ток записи продлевает срок службы твердотельных накопителей TLC и QLC.
- Быстрое восстановление путем восстановления только пользовательских данных в выделенную виртуальную горячую емкость.
- Настраиваемая пользователем частота перестроения для балансировки производительности
- Полная защита данных и метаданных в случае внезапного отключения питания.
- Обеспечивает баланс избыточного выделения ресурсов и повышает производительность.
Pliops XDP раскрывает весь потенциал флэш-памяти, позволяя корпоративным и облачным приложениям получать доступ к данным до 1,000 раз быстрее, используя при этом лишь малую часть традиционной вычислительной нагрузки и энергопотребления.
Технические характеристики процессора Pliops Extreme
| Эффективности | 3.2 млн операций ввода-вывода в секунду при чтении/записи, 1.2 млн операций ввода-вывода в секунду при записи, 30 ГБ/с при перезаписях, 6.4 ГБ/с при программном обеспечении. |
| Напишите атомарность | Поддержка атомарной записи до 64 КБ для явного или прозрачного исключения двойной записи. |
| Рабочий диапазон | 128 ТБ пользовательских данных на 128 ТБ физического диска с защитой четности. |
| API хоста | • Стандартное блочное устройство • API библиотеки KV |
| компрессия | Аппаратное ускорение |
| Поддержка SSD | • Интерфейс: PCIe Gen 3/4/5 NVMe, NVMe-oF • Типы: TLC SSD, QLC SSD, Intel® Optane™ |
| Поставщики услуг по управлению | Поддерживаются Samsung, WD, Micron, Intel, Kioxia, Hynix, Seagate и другие. |
| Физические размеры | Низкопрофильный кронштейн HHHL (6.6” x 2.536”) – высокий и низкий кронштейн |
| Поддерживаемые ОС | Все варианты Linux |
| Поддерживаемые серверы | Dell, HPE, Lenovo, Supermicro, Quanta, Wywinn, Inspur, Sugon, Fujitsu, Hitachi — все стандартные серверы 1U/2U |
| Защита от сбоев питания | Все данные защищены от внезапного отключения электроэнергии. |
| Рабочая Температура | 10-52°C при 250 л/мин |
| Температура хранения | От 5°C до 35°C, < 90% неконденсирующегося |
| Мощность | Типичная мощность <25 Вт, максимальная 45 Вт, +12 В постоянного тока через адаптер PCIe. |
| ГАРАНТИЯ | 3 года, бесплатная расширенная техническая поддержка, расширенная возможность замены |
| Нормативные сертификаты | AS/NZS CISPR 22, ICES -003, Класс B, EN55022/EN55024, VCCI V-3, RRA № 2013-24 и 25, соответствует требованиям RoHS, EN/IEC/UL 60950, CNS 13438, FCC 47 CFR часть 15 Подраздел B, класс B, WEEE |
| MTBF | До 4.5 млн часов |
Эффективности
Pliops XDP поможет добиться повышения производительности до 10 раз в базах данных, аналитике, искусственном интеллекте/машинном обучении и многом другом.
Прорывные структуры данных и алгоритмы обеспечивают производительность, эквивалентную сотням ядер хост-программного обеспечения. XDP отображается в системе как блочное устройство и ускоряет работу любого приложения. При работе с такими базами данных, как MySQL, MongoDB и Cassandra, Pliops XDP обеспечивает повышенную плотность экземпляров, одновременно снижая задержку.
В нашей лаборатории мы протестировали производительность Pliops XDP на сервере Dell PowerEdge R750 с четырьмя твердотельными накопителями Solidigm P5316 QLC объемом 30.72 ТБ. Мы сравнили производительность программного RAID0 с использованием mdadm с производительностью XDP в конфигурации RAID5, используя размер блока 64 КБ. Это создало дополнительную нагрузку на карту XDP и позволило продемонстрировать наилучшую производительность конфигурации программного RAID. mdadm — это команда, используемая для создания, управления и мониторинга устройств md в Linux (также известных как RAID-массивы). Следует отметить, что mdadm не предустановлен в системах Linux.
Для предварительной подготовки перед измерением производительности последовательного чтения и записи были выполнены три последовательных цикла записи объемом 128 КБ по 10 ТБ. Для тестов случайного чтения и записи были выполнены три последовательных цикла записи объемом 128 КБ по 10 ТБ. Затем сами тесты проводились с использованием памяти объемом 10 ТБ для различных глубин очереди и размеров блоков, при этом каждый интервал составлял 120 секунд.
При случайной передаче данных размером 4K, Pliops XDP показал результаты немного ниже, чем программный RAID0, — 2.6 млн IOPS против 3.7 млн IOPS. Однако, если рассматривать производительность случайной записи, то наблюдался колоссальный прирост в 832%, от 135 тыс. IOPS при программном RAID0 до впечатляющих 1.3 млн IOPS при использовании XDP. Тестирование как случайного чтения, так и случайной записи проводилось на уровне 8 потоков/128 очередей.
Увеличение размера блока до 16 КБ позволило Pliops XDP превзойти показатели программного RAID0 как при чтении, так и при записи. Мы измерили скорость случайного чтения 16 КБ: 1.9 млн IOPS для XDP против 1.7 млн IOPS для программного RAID0. При случайной записи 16 КБ разница составила 370 тыс. IOPS для XDP и 131 тыс. IOPS для программного RAID0. Тестирование как случайного чтения, так и случайной записи проводилось на уровне 8 потоков/128 очередей.
Используя сочетание случайного чтения и записи, мы постепенно увеличивали размеры блоков от 4K до 16K. В целом, Pliops XDP показал огромный прирост производительности. При размере блока 4K 70/30 он обеспечивает колоссальный прирост в 561%, что составляет 2.8 млн IOPS против 422 тыс. IOPS в SW RAID0. При размере блока 8K прирост был лишь немного меньше — 348%, составляя 1.9 млн IOPS против 428 тыс. IOPS в SW RAID0. При размере блока 16K разрыв сократился, но все еще оставался значительным улучшением на 157% по сравнению с SW RAID0. Здесь мы измерили 1.1 млн IOPS в XDP против 427 тыс. IOPS в SW RAID0.
В то время как предыдущие тесты были сосредоточены на случайных передачах, наш заключительный тест посвящен скорости последовательной передачи больших блоков. Здесь Pliops XDP продолжал демонстрировать существенный прирост производительности, особенно в записи. Начнем с пропускной способности чтения: мы измерили 48 ГБ/с для XDP по сравнению с 27 ГБ/с для SW RAID0. В записи XDP показал преимущество в 184% — 6.3 ГБ/с против 2.2 ГБ для SW RAID0.
Хотя производительность в оптимальных условиях всегда является сильной стороной любой платформы хранения данных, понимание того, сколько времени занимает восстановление данных, является важным показателем по мере увеличения емкости дисков. В нашем массиве XDP из 4 дисков с твердотельными накопителями Solidigm P5316 емкостью 30.72 ТБ мы смоделировали отказ диска и процесс восстановления. Процесс восстановления занял 450 минут при фоновом трафике. При использовании FIO для обработки рабочей нагрузки 8K 70/30 с суммарной скоростью трафика 905 МБ/с скорость восстановления массива оставалась на уровне 14.65 мин/ТБ.
Заключение
Современные корпоративные QLC SSD-накопители, такие как Solidigm P5316, использованный в этом тестировании, обладают потенциалом для обеспечения потрясающего сочетания производительности и емкости. Однако современные инфраструктуры требуют новых инструментов для управления флэш-памятью. Старые RAID-контроллеры громоздки, а базовый программный RAID оставляет желать лучшего с точки зрения производительности. Эта реальность открыла двери для креативных решений, таких как процессор обработки данных Pliops Extreme Data Processor.
Мы поставили перед собой задачу оценить производительность ускорителя XDP в сравнении с программным RAID. Мы установили четыре жестких диска P5316 объемом 30.72 ТБ в сервер Dell PowerEdge R750, сравнивая производительность Pliops XDP с программным RAID. Кроме того, мы дали программному RAID старт, настроив его в режиме RAID0, в то время как XDP был настроен в режиме RAID5.
Быстрый анализ результатов показал значительное улучшение по всем параметрам. В частности, производительность случайной записи 4K выросла на 832%, хотя производительность чтения при размере блока 4K несколько снизилась. Однако при увеличении размера блока Pliops XDP продемонстрировал свои преимущества как в сценариях случайной, так и последовательной передачи данных. Даже в нашей смешанной случайной нагрузке с соотношением чтения/записи 70/30 Pliops XDP показал улучшение от 560% до 156% при переходе от размера блока 4K к 16K по сравнению с программным RAID0.
В целом, карта Pliops проста в использовании. Хотя мы очень любим работать с высокопроизводительными QLC SSD-накопителями, порой сложно найти системы, которые могли бы эффективно использовать этот носитель. С процессором данных Pliops Extreme Data Processor все меняется, когда речь идет о производительности сервера в расчете на терабайт. Это легко проверить самостоятельно; перейдите по ссылке ниже, чтобы начать работу над прототипом.
Pliops XDP – Запросить демонстрацию
Компания Pliops выступает спонсором данного отчета. Все взгляды и мнения, выраженные в этом отчете, основаны на нашем беспристрастном мнении о рассматриваемом продукте (продуктах).
Amazon