Компания GIGABYTE, известный производитель компьютерного оборудования и систем, вышла на рынок хранения данных, заключив партнерское соглашение с компанией Bigtera для предложения уникального высокопроизводительного программно-определяемого решения для хранения данных. GIGABYTE поставляет оборудование, которое в сочетании с программной платформой VirtualStor от Bigtera предлагает широкий спектр устройств хранения данных, отвечающих различным требованиям к емкости и производительности. Хотя большинство людей знакомы с GIGABYTE (компания работает на рынке более 30 лет), название Bigtera может быть новым для некоторых. Компания Bigtera, основанная в 2012 году, имеет два центра разработки и более ста клиентов, использующих VirtualStor в производственных средах.
Семейство Bigtera VirtualStor состоит из трех различных продуктовых линеек — Scaler, Converger и Extreme — каждая из которых представляет собой программно-определяемое решение для хранения данных, развернутое на стандартной архитектуре x86. Scaler — это хранилище данных для гибридных масштабируемых решений; Converger — это решение для хранения данных, которое можно использовать для создания гиперконвергентной инфраструктуры путем сопряжения с VMware, Hyper-V или KVM; а Extreme — это масштабируемое решение для хранения данных на основе флэш-памяти, предназначенное для обеспечения ввода-вывода для приложений, требующих стабильно низкой задержки и потребляющих большой объем полосы пропускания. В этом подробном обзоре мы рассмотрим решение VirtualStor Scaler.
VirtualStor Scaler — это масштабируемое решение для хранения данных, а не масштабируемое или гиперконвергентное инфраструктурное решение (HCI). Это означает, что в кластер хранения VirtualStor Scaler можно добавлять больше дисков или узлов по мере необходимости увеличения емкости хранилища. Другими словами, вы получаете необходимый объем хранилища для вашего центра обработки данных, который может быть скорректирован в зависимости от текущих обстоятельств. Такая гибкость эффективно исключает как избыточное выделение аппаратных ресурсов (необходимое для масштабируемых решений), так и необходимость добавления вычислительных мощностей (независимо от того, требуется это или нет) при использовании решения HCI.
Компания GIGABYTE предлагает шесть различных платформ для системы VirtualStor Scaler. На одном конце спектра, оптимизированной для небольших пользователей, находится система с полезной емкостью хранения 48 ТБ, состоящая из трех узлов форм-фактора 1U. На другом конце, для клиентов, которым необходимо обрабатывать огромные объемы данных, находится система, способная хранить 4 ПБ данных и состоящая из восьми узлов форм-фактора 4U. Для обеспечения качества этих систем GIGABYTE использует собственные высокопроизводительные серверы, оснащенные двумя процессорами Intel Xeon Scalable второго поколения, которые обеспечивают вычислительные потребности этих узлов хранения. Для хранения данных устройства хранения VirtualStor используют комбинацию жестких дисков и кэширующих накопителей NVMe или SATA SSD. Для обеспечения бесперебойной передачи данных с устройства узлы используют модули Intel SFP+ и сетевые карты, а автономное управление узлами осуществляется с помощью контроллеров удаленного управления Aspeed.
Протоколы масштабируемого хранилища VirtualStor
Современный центр обработки данных должен предоставлять хранилище, способное удовлетворить потребности требовательной и разнообразной группы пользователей максимально быстро и экономично. Для удовлетворения разнообразных потребностей центра обработки данных в хранении данных VirtualStor поддерживает все распространенные протоколы хранения (NAS, SAN и объектное хранилище) из единого пула хранилища. Для обеспечения соответствия требованиям к производительности к файлам, папкам или томам можно применять атрибуты качества обслуживания (QoS). Квоты, предотвращающие чрезмерное потребление хранилища пользователем или приложением, могут применяться к папкам или томам.
VirtualStor разработан для надежного и стабильного обеспечения производительности самых требовательных приложений. Одним из способов достижения этой цели является способ размещения данных в бэкэнде VirtualStor, BigteraStore. BigteraStore использует флэш-накопители для кэширования данных, а также для консолидации и объединения небольших блоков данных в более крупные последовательные блоки. Это не только значительно повышает производительность системы VirtualStor при работе со случайными данными, но и увеличивает срок службы устройства за счет уменьшения количества операций записи на флэш-накопитель. BigteraStore также повышает производительность своих систем хранения, идентифицируя последовательные данные (которые поставляются большими блоками данных) и считывая и записывая эти данные непосредственно на жесткие диски. Поскольку потоковая передача последовательных данных непосредственно на жесткий диск не приводит к таким же потерям производительности, как чтение и запись случайных данных на жесткий диск, это также сохраняет емкость дорогостоящих флэш-накопителей для использования со случайными данными, где это оказывает наибольшее влияние.
Использование флэш-памяти VirtualStor Scaler
Эффективность, защита и отказоустойчивость данных — три фактора, которые должны учитываться в современных решениях для хранения данных, и VirtualStor использует новейшие методы и инструменты для предоставления надежного и эффективного решения, отвечающего этим требованиям.
Наиболее важной особенностью любой системы хранения данных является способность защищать целостность хранящихся на ней данных. Для этого VirtualStor поддерживает репликацию данных, кодирование с исправлением ошибок, RAID, обнаружение ошибок и самовосстановление поврежденных данных. Поскольку данные реплицируются и распределяются по множеству различных узлов хранения, в маловероятном случае отказа аппаратного компонента или сервера другой узел хранения автоматически возьмет на себя его функции, и в большинстве случаев пользователь или приложение даже не узнают о произошедшем сбое. После того, как неисправный компонент будет идентифицирован и заменен, он будет автоматически интегрирован обратно в систему. Вы можете защитить конфиденциальные данные, требующие максимальной защиты, на VirtualStor, используя технологию шифрования Intel AES-NI, но, конечно, другие, менее защищенные данные могут оставаться в незашифрованном состоянии на устройстве хранения VirtualStor.
Архитектурный обзор VirtualStor Scaler
Один из факторов, который часто упускают из виду большинство пользователей при выборе решения для хранения данных, — это сложность выделения ресурсов из базового хранилища. Тот факт, что все хранилище VirtualStor, независимо от типа или протокола, находится в одном пуле, который можно перераспределить, эффективно устраняет как трудоемкую задачу повторного выделения ресурсов из базового хранилища для его доступности, так и проблему изолированных, но неиспользуемых хранилищ.
Панель управления VirtualStor Scaler
Ценность решения для хранения данных может быть сведена к минимуму, если его управление затруднено или неудовлетворительно, но, к счастью, VirtualStor упростил управление хранилищем, предложив интуитивно понятную, современную веб-консоль управления. В прошлом мы видели рекламу некоторых устаревших систем унифицированного хранения данных, которые рекламировались как имеющие единую консоль управления, но при более внимательном рассмотрении оказывалось, что эта консоль состоит из компонентов управления различных систем, размещенных в виде функций на одной консоли. К сожалению, такая ситуация приводит к путанице, поскольку для компонентов хранения используются разные термины, и требуются разные рабочие процессы в зависимости от типа управляемого хранилища — мягко говоря, это запутанный и сложный способ работы с хранилищем.
Мы также сталкивались с системами хранения данных, которые требуют взаимодействия с командной строкой для выполнения распространенных задач, где неправильный ввод может привести к катастрофическим последствиям. Напротив, в случае с устройствами VirtualStor все рабочие процессы при повседневном управлении системой основаны на графическом интерфейсе пользователя и не требуют взаимодействия с командной строкой. Кроме того, поскольку они изначально разрабатывались с поддержкой нескольких протоколов, а не как дополнительная функция, они не обременены устаревшими дополнительными возможностями, что делает управление VirtualStor интуитивно понятным и безошибочным.
Производительность масштабируемого виртуального хранилища VirtualStor
Помимо сборки решения и обеспечения простоты эксплуатации, кластер должен по-прежнему обеспечивать производительность, соответствующую целевым сценариям использования для клиентов. Кроме того, Bigtera поддерживает несколько протоколов, что обеспечивает большую гибкость этому решению. В течение нескольких недель мы тестировали решение со следующей конфигурацией оборудования:
- Клиентские узлы
- 1 х GIGABYTE H261-3C0 – 2U, 4 узла, 3 узла использовались для 3 клиент-серверов
- На узел:
- 2 процессора Xeon Gold 6140 (18 ядер, 2.3 ГГц)
- 8 модулей памяти DDR4 RDIMM по 16 ГБ 2666 МГц
- 1 x GIGABYTE CLNOQ42 Двухпортовая сетевая карта LAN 25 ГБ SFP+ OCP (QLogic FastLinQ QL41202-A2G)
- 1 x 960 ГБ 2.5-дюймовый твердотельный накопитель Seagate SATA
- Узлы хранения
- 3 х Серверы хранения данных GIGABYTE S451-3R0
- На узел:
- 2 процессора Intel Xeon Silver 4114 (10 ядер, 2.2 ГГц)
- 8 модулей памяти DDR4 RDIMM по 16 ГБ 2666 МГц
- 36 жестких дисков Seagate Exos SATA по 8 ТБ каждый, 3.5 дюйма.
- 2 x 3.84 ТБ Adata SR2000CP AIC SSD
- 1 x 960 ГБ 2.5-дюймовый твердотельный накопитель Seagate SATA
- 1 x GIGABYTE CLN4C44 4 x 25GbE SFP28 LAN-порта (Mellanox ConnectX-4 Lx)
- 1 x RAID-контроллер GIGABYTE CRA4648, аккумулятор GIGABYTE MR 3108
Как уже отмечалось, решение использует как жесткие диски, так и флэш-память. Каждый узел использует SSD-накопитель Seagate объемом 960 ГБ для загрузки. В качестве накопителей GIGABYTE использует жесткие диски Seagate Exos Enterprise объемом 8 ТБ , всего 36 дисков на узел хранения. Для достижения наилучшей производительности в этой конфигурации GIGABYTE использует пару SSD-накопителей Adata SR2000CP 3D eTLC на каждый узел хранения. Дополнительные карты объемом 3.84 ТБ выполняют функции журналирования, а также обеспечивают кэширование для кластера. Семейство SR2000CP выпускается в вариантах емкостью до 11 ТБ, но карты объемом 3.84 ТБ соответствуют целевым показателям производительности (скорость чтения/записи до 6000/3800 МБ в секунду) и стоимости этого устройства.
Рассматривая производительность, важно понимать, как предприятия оценивают крупномасштабные платформы SDS. Как правило, они отлично подходят для объектных протоколов, но когда требуется использовать более традиционный протокол, такой как iSCSI, это рассматривается скорее как вопрос «совместимости». Другими словами, они работают, но намного медленнее, чем основные протоколы, на которых построен массив хранения. Однако это не относится ко всем платформам, и именно это делает VirtualStor Scaler таким уникальным. Чтобы подтвердить это, мы провели сравнительные тесты: один с использованием протокола RBD, а другой — с iSCSI. Стоит отметить, что тестирование всех протоколов, поддерживаемых VirtualScaler, выходило за рамки этой статьи, поскольку список достаточно широк (NFS, CIFS/SMB и S3 API).
Для проведения конкретных тестов мы использовали FIO для измерения производительности 30 10-гигабайтных RBD-ресурсов по сравнению с 30 10-гигабайтными iSCSI LUN. Мы разделили нагрузку таким образом, что каждая из трех клиентских систем обращалась к 10 ресурсам или LUN. Затем мы применили рабочую нагрузку в виде 1 потока на каждое устройство хранения и глубины очереди 16 (в совокупности для кластера это составило 30 потоков, каждый с 16-кратной нагрузкой). Затем мы сравнили производительность больших последовательных передач, а также меньшего случайного трафика размером 4K.
В нашей первой рабочей нагрузке, измеряющей последовательную передачу данных размером 1024 КБ, мы зафиксировали среднюю скорость чтения чуть более 1600 МБ/с и скорость записи 960 МБ/с от каждого из трех наших клиентов, использующих iSCSI. В сумме это составило 4.9 ГБ/с чтения и 2.9 ГБ/с записи. Используя RBD, мы наблюдали аналогичный трафик записи — более 960 МБ/с на клиента, но производительность чтения была выше — более 2700 МБ/с на клиента. В сумме показатели RBD составили 8.1 ГБ/с чтения и 2.9 ГБ/с записи.
Уменьшив размер рабочей нагрузки до 128 КБ последовательной передачи, мы снова увидели аналогичный баланс между производительностью iSCSI и RBD. При использовании iSCSI каждый клиент показал скорость записи около 440 МБ/с и скорость чтения 1600 МБ/с, что в сумме составило 1.3 ГБ/с для записи и 4.9 ГБ/с для чтения. Сосредоточившись на RBD, мы увидели несколько меньшую производительность записи (более 410 МБ/с на клиента) и более высокую производительность чтения (более 2500 МБ/с на клиента). В сумме это составило 1.2 ГБ/с для записи и 7.8 ГБ/с для чтения по сравнению с RBD.
Переключив внимание на производительность при передаче небольших объемов данных случайным образом, мы сосредоточимся на нашем тесте 4K. Рассматривая оба протокола при записи случайных данных размером 4K, iSCSI и RBD показали схожую производительность — более 23 000 операций ввода-вывода в секунду на клиента или примерно 71 000 операций ввода-вывода в секунду в сумме, при этом RBD немного превзошел конкурента. Что касается производительности чтения, iSCSI показал около 64 000 операций ввода-вывода в секунду на клиента или 193 000 операций ввода-вывода в секунду в сумме, а RBD — 97 000 операций ввода-вывода в секунду на клиента или 291 000 операций ввода-вывода в секунду в сумме.
Сосредоточившись на средней задержке в наших тестах случайной передачи 4K-данных при совокупной нагрузке кластера в 30 потоков и 16 очередей на поток, мы измерили время записи чуть более 6.7 мс как для iSCSI, так и для RBD-передач, при этом RBD показал небольшое преимущество. В операциях чтения производительность RBD оказалась более значительной, составив в совокупности 1.647 мс по сравнению с 2.489 мс для iSCSI.
Резюме
VirtualStor Scaler — это гибкое и масштабируемое программно-определяемое решение, работающее на стандартных серверах x86 и предоставляющее файловое, блочное или объектное хранилище. В данном случае мы объединили клиентские и дисковые узлы от GIGABYTE, чтобы подчеркнуть простоту управления и поддержку нескольких протоколов в этом конвергентном решении. Также важно отметить отказоустойчивость, доступную на платформе. Это во многом достигается благодаря использованию Ceph в основе VirtualStor. Компания Bigtera предпочитает не акцентировать на этом внимание, поскольку часто предполагается, что Ceph предоставляет фантастические функции защиты данных, но не может рассказать о производительности и гибкости — качествах, критически важных для большинства корпоративных приложений хранения данных. За время работы с VirtualStor Scaler мы постоянно были впечатлены возможностью обеспечения очень высокой производительности iSCSI наряду с блочным интерфейсом RADOS. Добавьте к этому наличие удобного графического интерфейса, что очень удобно для тех, кто предпочитает не работать с командной строкой — Bigtera отлично справилась с этой задачей. Решение VirtualStor, безусловно, способно на гораздо большее, чем просто хранилище данных для типичных задач аналитики, высокопроизводительных вычислений и искусственного интеллекта/машинного обучения. Предприятию было бы разумно рассмотреть его в качестве прямой замены для широкого спектра сценариев использования, от локального облака до консолидации хранилищ и более типичных виртуализированных рабочих нагрузок, благодаря гибкости решения.








Amazon