Память всегда была тем типом оборудования, который обещал невероятную скорость. Однако у неё есть несколько недостатков: она дорогая, имеет ограниченную ёмкость и не является постоянной (для сохранения данных память должна быть включена, что ещё больше усложняет ситуацию, поскольку память нуждается в периодическом обновлении). Около трёх лет назад Intel и Micron анонсировали технологию 3DXPoint, которая стала первым шагом к созданию постоянной памяти. Хотя эта технология была далеко не такой быстрой, как обычная память, она была намного быстрее, чем флэш-память, и гораздо экономичнее. Увидев потенциал постоянной памяти, была запущена компания MemVerge для его реализации.
Первые устройства на базе 3D XPoint были в большей степени ориентированы на хранение данных. Со временем Intel использовала постоянную память 3D XPoint (PMem) для создания более быстрых SSD-накопителей. Позже Intel анонсировала модуль постоянной памяти, который устанавливался в слот DIMM и выступал в качестве расширения для DRAM. Если раньше мы видели память для быстрых задач и хранилище для больших объемов данных, то PMem начала размывать границы. MemVerge пытается объединить лучшее из обоих миров, обеспечивая производительность DRAM с большой емкостью и постоянным хранением данных.
Компания MemVerge изучает рынок постоянной памяти и разработала программное обеспечение, позволяющее использовать PMem в полной мере, а не только в качестве кэша, уровня скорости или расширителя памяти. Компания использует так называемые «вычисления с большой памятью» для преобразования сред, использующих только DRAM, в более экономичные и, что более важно, более плотные среды памяти, использующие как DRAM, так и PMem. Это достигается за счет виртуализации этих двух типов памяти в пул программно-определяемой памяти, которая также предоставляет программно-определяемые сервисы. В дополнение к этому, программное обеспечение предлагает уровень абстракции, позволяющий всем приложениям в центре обработки данных использовать преимущества новых типов памяти, межсоединений памяти, процессоров и распределителей памяти для решения современных и перспективных задач и рабочих нагрузок.
В сентябре прошлого года компания MemVerge выпустила общедоступную версию своего программного обеспечения Memory Machine . Программа предлагается в двух вариантах: Standard Version, которая виртуализирует байтово-адресуемую память DRAM и PMem, ускоряя работу приложений и снижая затраты, но не включает функцию сохранения данных; и Advanced Version, которая включает все вышеперечисленное, но с включенной функцией сохранения данных, а также сервисы памяти корпоративного класса, основанные на моментальных снимках памяти ZeroIO.
Снимки памяти с нулевым вводом-выводом (ZeroIO), как следует из названия, позволяют создавать снимки DRAM и PMem с нулевым вводом-выводом на хранилище. Это превращает DRAM, которая обычно является энергозависимой и низкодоступной, в высокодоступный уровень. Снимки с нулевым вводом-выводом также позволяют осуществлять так называемое «путешествие во времени», обеспечивая откат к предыдущим снимкам. Функция автосохранения позволяет откатывать приложения к предыдущему снимку в случае сбоя. Снимки позволяют создавать тонкие клоны без использования дополнительных ресурсов памяти. Кроме того, снимки можно переносить на другие серверы и использовать для создания нового экземпляра приложения.
MemVerge Memory Machine Management
MemVerge Memory Machine имеет довольно привлекательный графический интерфейс. На глобальной панели мониторинга отображаются элементы, которые мы привыкли видеть в системах хранения данных, при этом в данном случае основными отслеживаемыми элементами являются DRAM и PMem, и их использование легко прослеживается здесь. В верхней части панели расположены вкладки для хостов, экземпляров приложений, снимков и оповещений.
Нажатие на кнопку «Домой» слева выводит основную информацию о системе (IP-адрес, ОС, версия ядра, процессор), а также подробный анализ использования памяти и PMem, а также производительности.
Пользователи могут более детально изучить память, открыв отчет об использовании памяти по часам. В нем также отображается тип памяти: PMem или DRAM.
Пользователи могут ознакомиться с RESTful API Memory Machine, а также настроить их.
Снимки состояния являются важной частью Memory Machine, но мы подробнее рассмотрим это в разделе, посвященном производительности.
Конфигурация
В нашей лаборатории мы использовали MemVerge Memory Machine на материнской плате Supermicro SYS-2029U-TN24R4T со следующими характеристиками:
| Модель оборудования | Supermicro SYS-2029U-TN24R4T |
| ЦП | 2 процессора Intel(R) Platinum(R) 8270 с частотой 2.70 ГГц, 26 ядер. |
| Динамическое ОЗУ | DDR4 192GB |
| PMem | 12x128GB |
| ОС SSD | Твердотельный накопитель SATA 1 ТБ |
| OS | 8.2.2004 CentOS |
| ядро | 4.18.0-193.19.1.el8_2.x86_64 |
Производительность памяти MemVerge
Наш стандартный набор тестов здесь не имеет смысла, поскольку MemVerge Memory Machine ориентирован на рабочие нагрузки и приложения, которые должны работать в оперативной памяти. Наши бенчмарки обычно рассчитаны на обычные и высоконагруженные рабочие нагрузки, которые встречаются в реальной жизни в ИТ-операциях. Вместо этого здесь мы рассмотрим несколько различных тестов и конкретно рассмотрим такие параметры, как DRAM, PMem и DRAM + PMem, и как каждый из них себя покажет. Для этого обзора мы будем использовать KDB Performance (тесты пакетной вставки и чтения), а также Redis Quick Recovery с ZeroIO Snapshot и Redis Clone с ZeroIO Snapshot.
Тестирование производительности KDB
Kx kdb+ — это база данных временных рядов, хранящаяся в оперативной памяти. Она известна своей скоростью и эффективностью, и поэтому очень популярна в финансовой сфере. Одним из главных ограничений для kdb является ограниченность объема DRAM. MemVerge Memory Machine идеально подходит для этой цели, позволяя kdb в полной мере использовать PMem для расширения памяти с производительностью, сравнимой с DRAM. Для теста пакетной вставки мы рассматривали одну вставку, а также 10, 100, 1000, 10000, 15000, 20000 и 25000 вставок, измеряя количество пакетных вставок в миллионы в секунду.
При использовании технологии KDB для массовой вставки мы наблюдаем интересные результаты. При однократной вставке все три варианта показали схожие результаты. При меньших размерах партий DRAM демонстрирует лучшие показатели. По мере увеличения размеров партий до более чем 10 000 единиц, Memory Machine выходит вперед, а PMem отстает, доставая до конца каждой партии.
Далее мы рассмотрели kdb+ с тестом чтения. Здесь тестовая конфигурация немного отличается. Тест чтения одинаков для всех вариантов, но на этот раз мы рассмотрели только DRAM, только PMem, а затем PMem с кэшем DRAM объемом 20 ГБ или 40 ГБ. Только DRAM показала скорость 4.2 ГБ/с, PMem — 2.9 ГБ/с, с 20 ГБ кэша DRAM Memory Machine — почти такую же, как и только DRAM, со скоростью 3.9 ГБ/с, а с 40 ГБ кэша мы увидели максимальную производительность — 4.8 ГБ/с. Что еще более интересно, последние два варианта по-прежнему оставляют достаточно DRAM для других задач.
Тестирование снимков Redis
Redis — это хранилище данных в оперативной памяти с открытым исходным кодом, используемое в качестве базы данных, кэша и брокера сообщений. Оно очень популярно и мощно, поэтому идеально подходит для тестирования производительности MemVerge Memory Machine. При работе Redis на MemVerge Memory Machine, DRAM и PMem выделяются под Redis. Затем снимки MemVerge ZeroIO сохраняют страницы памяти приложения без операций ввода-вывода из хранилища. При сбое Redis все снимки данных в PMem сохраняются. Восстановление после сбоя заключается в простом указании на существующие данные в PMem без перемещения данных из хранилища.
В этом разделе мы протестируем снимок MemVerge ZeroIO для быстрого восстановления.
Сначала рассмотрим быстрое восстановление Redis с помощью снимков ZeroIO. В отличие от тестов производительности, здесь мы покажем функциональность и простоту использования. После установки Redis и запуска базы данных мы войдём в Memory Machine и посмотрим, например, сколько памяти PMem используется.
На вкладке «Приложения» мы видим, что запущен сервер Redis.
Во время работы программы мы делаем несколько снимков состояния. Очевидно, что без создания снимков восстановить систему из них невозможно.
Лучше перестраховаться, еще раз проверьте, сделали ли мы несколько снимков.
После того, как мы убедимся, что они у нас есть, мы инициируем сбой базы данных Redis. Мы выбираем снимок и восстанавливаем его, после небольшой паузы все снова работает.
Клон Redis с использованием снимков ZeroIO
Здесь мы выполняем несколько тех же шагов, что и выше. После создания снимка мы можем восстановить его как клон с новым пространством имен и новым IP-адресом. Мы подключаемся к клону с другого хоста и видим, что он занимает примерно столько же памяти.
Все вышеперечисленное можно сделать и с помощью командной строки для тех, кто предпочитает этот способ.
Заключение
MemVerge Memory Machine — это SDS-решение, призванное объединить производительность памяти с постоянством памяти PMem. PMem обычно используется в качестве кэша для ускорения хранения данных. Хотя это во многих случаях является преимуществом для хранения данных, приложениям, работающим в оперативной памяти, необходима производительность памяти, а не кэш. MemVerge виртуализирует как DRAM, так и PMem в пулы программно-определяемой памяти с программно-определяемыми сервисами. Memory Machine превращает DRAM в уровень высокой доступности с помощью снимков памяти с нулевым вводом-выводом (zeroIO). ZeroIO позволяет создавать тонкие клоны без чрезмерной нагрузки на ресурсы памяти.
По мере освоения новых категорий нам придётся внедрять новые методы тестирования производительности и бенчмарки. Тестирование SDS в оперативной памяти с помощью наших обычных бенчмарков нецелесообразно, поскольку они не предназначены для этого. Вместо этого мы использовали KDB Performance для тестов пакетной вставки и чтения, а также Redis Quick Recovery с ZeroIO Snapshot и Redis Clone с ZeroIO Snapshot. Тесты проводились на сервере Supermicro SYS-2029U-TN24R4T, хотя они должны работать и на проверенных серверах, поддерживающих модули Intel Optane PMem.
При использовании KDM bulk мы протестировали несколько размеров пакетов, рассматривая DRAM, PMem и их комбинацию с помощью Memory Machine. Поскольку пакеты начинались с небольших размеров, неудивительно, что DRAM показала наилучшую производительность. Что действительно интересно, так это то, что по мере увеличения нагрузки на ресурсы MemVerge демонстрировала всё лучшие результаты. При чтении KDM мы наблюдали аналогичные тенденции. DRAM показала очень хорошие результаты, что неудивительно. PMem показала неплохие результаты, но значительно уступала DRAM. При использовании всего 20 ГБ кэша для DRAM с Memory Machine производительность составила 3.9 ГБ/с по сравнению с 4.2 ГБ/с у DRAM. Предоставление MemVerge 40 ГБ DRAM для кэша показало наилучшую общую производительность — 4.8 ГБ/с, при этом оставалось достаточно DRAM для других задач.
Вторая часть тестирования производительности включала быстрое восстановление Redis с помощью снимков ZeroIO и клонирование Redis с помощью снимков ZeroIO. Здесь больше внимания уделялось функциональности, чем количественной оценке производительности. По сути, мы быстро создавали снимки, инициировали сбой и могли быстро возобновить работу.
Технология Intel PMem — чрезвычайно интересная технология, которая, однако, внедрялась довольно медленно из-за ограниченных возможностей для простого использования и эффективного применения модулей. С помощью MemVerge организации могут воспользоваться преимуществами PMem в решении, разработанном специально для этой технологии. Для тех, чьи приложения могут извлечь выгоду из большого и отказоустойчивого объема памяти, обеспечиваемого PMem, MemVerge определенно заслуживает внимания.




Amazon