StorageReview.com

Обзор сетевых возможностей корпоративной тестовой лаборатории

Сети хранения данных (SAN) используют сетевую архитектуру типа «шина» для ускорения и децентрализации доступа к корпоративным хранилищам. Таким образом, ускорение доступа к хранилищу включает в себя как повышение производительности SAN, так и улучшение самих носителей информации, поэтому крайне важно оснастить лабораторию StorageReview Enterprise Test Lab различными вариантами межсоединений в рамках трех ключевых семейств сетевых протоколов: Ethernet, InfiniBand и Fibre Channel. Эти варианты межсоединений позволяют проводить всестороннее тестирование производительности в условиях, сопоставимых с теми, с которыми администраторы SAN сталкиваются на практике.

Полностью флэш-накопители и гибридные массивы — это технологии хранения данных, которые стимулируют разработку более быстрых межсоединений, но администраторы больших пулов жестких дисков также получают выгоду от пристального внимания к производительности и надежности SAN. Сегодня доступ к конвергентным платформам межсоединений инфраструктуры может помочь избежать привязки к одному протоколу или уровню физического канала связи, но выбор межсоединений, сделанный при проектировании архитектуры сетей хранения данных, может повлиять на возможности и производительность SAN на долгие годы вперед.

Широкий выбор вариантов реализации SAN, включая варианты кабелей и разъемов, может затруднить определение с первого взгляда наиболее подходящих комбинаций и конфигураций межсоединений для конкретного устройства или приложения. Этот обзор сетевого оборудования лаборатории Enterprise Test Lab начнется с обсуждения трех наиболее распространенных протоколов межсоединений (Ethernet, InfiniBand и Fibre Channel) в качестве общего обзора вариантов для архитекторов и технических специалистов SAN. Затем мы рассмотрим и проиллюстрируем ключевые варианты физического уровня канала связи, доступные для корпоративных тестов StorageReview.

Ethernet

Лаборатория StorageReview оснащена коммутаторами Ethernet от Netgear и Mellanox, что позволяет нам развертывать варианты подключения от 1GbE до 40GbE. Для тестирования 1GbE мы используем коммутаторы Netgear ProSafe для профессиональных пользователей. Подключение 10GbE обеспечивается коммутатором Netgear ProSafe Plus XS708E с разъемами 8P8C и модулем Mellanox SX1036 10/40Gb с разветвительными кабелями, позволяющими вывести четыре порта Ethernet SFP+ из одного порта QSFP.

Хотя термин Ethernet часто используется как синоним витой пары медных кабелей с разъемом 8P8C (обычно называемым разъемом RJ45), Ethernet обозначает стандарт сетевой связи, который может использоваться как по медным, так и по оптоволоконным каналам связи. Для относительно коротких расстояний медные кабели часто предлагают привлекательное соотношение цены и производительности для приложений Ethernet, но по мере увеличения требуемой скорости передачи данных и дальности передачи оптоволоконный кабель начинает предлагать конкурентное преимущество перед медным.

Мы видим новое оборудование с Ethernet на трех уровнях:

  • 1GbE – В настоящее время, в 2013 году, большинство устройств для домашнего и полупрофессионального использования оснащены встроенным гигабитным Ethernet 1000BASE-T, а также устройства для корпоративных рабочих станций, NAS/SAN для малого и среднего бизнеса и встроенными сетевыми интерфейсами серверов. Мы начинаем видеть все больше и больше Ethernet-соединений витой пары 10GBASE-T, поставляемых в стандартной комплектации серверного и дискового оборудования, но пока гигабитные скорости являются де-факто минимальным стандартом для проводного сетевого подключения.
  • 10GbE – В первое десятилетие 2000-х годов для достижения скорости 10 гигабит требовались оптоволоконные кабели или короткие кабели Twinax с разъемами типа SPF. Медь и разъем 8P8C сейчас проникают в архитектуры SAN благодаря растущей доступности сетевого оборудования 10GBASE-T, которое позволяет передавать данные на скорости 10 гигабит по кабелям Cat6 и Cat7. Передача данных 10GbE по витой паре медных кабелей сделала 10GBASE-T доступным новым вариантом высокоскоростного соединения для хранения данных, хотя оптоволокно по-прежнему доминирует на рынке. Коммутатор Netgear M7100 оснащен двадцатью четырьмя портами 10GBase-T и четырьмя портами SFP+, а наш Netgear ProSafe Plus XS708E Имеет восемь портов 10GbE и один общий порт 10G Fiber SFP+.
  • 40GbE – Благодаря технологии QSFP+, объединяющей четыре линии SFP+ в одном разъеме, мы можем обеспечить подключение 40 Гбит/с, часто необходимое для самых быстрых современных систем хранения данных. Конвергентное инфраструктурное оборудование, такое как В лаборатории мы используем прибор Mellanox SX6036.Предоставляет варианты подключения к InfiniBand со скоростью 40 Гбит/с или 56 Гбит/с в зависимости от конфигурации. Коммутатор Ethernet Mellanox SX1036 10/40 Гбит/с служит основой для сети лаборатории.

InfiniBand

Технология InfiniBand получила широкое распространение в начале 2000-х годов, а производители коммутаторов Mellanox и QLogic способствовали развитию стандарта. InfiniBand предлагает пять уровней производительности канала: односкоростной (SDR) — 2.5 Гбит/с на линию, двухскоростной (DDR) — 5 Гбит/с, четырехскоростной (QDR) — 10 Гбит/с, четырнадцатискоростной (FDR) — 14 Гбит/с и улучшенный (EDR) — 26 Гбит/с на однонаправленную линию.

InfiniBand может использоваться с медными или оптоволоконными кабелями в зависимости от требуемой производительности и расстояния соединения. Сегодня разъемы SFF-8470, часто называемые просто разъемами InfiniBand, обычно используются для подключения кабелей вместе с разъемами типа SFP. В лаборатории StorageReview Enterprise Test Lab находится модульная система Mellanox InfiniBand со скоростью 56 Гбит/с, которая используется для тестирования устройств хранения данных на флэш-накопителях, включая наш тест MarkLogic для баз данных NoSQL.

В бенчмарке MarkLogic NoSQL сравнивается производительность хранилищ на различных устройствах, включая ускорители приложений PCIe, группы SSD и большие массивы HDD. Для проведения этих тестов мы используем коммутационную сеть Mellanox InfiniBand на базе Mellanox SX6036, благодаря её пропускной способности 56 Гбит/с, а также поддержке протоколов iSER (iSCSI-RDMA) и SRP (SCSI RDMA). Протоколы iSER и SRP заменяют стек TCP iSCSI на удаленный прямой доступ к памяти (RDMA), что обеспечивает большую эффективность в кластерной среде, позволяя сетевому трафику обходить процессоры систем и копировать данные из памяти отправляющих систем непосредственно в память принимающих систем. Эти функции также передаются в Ethernet с помощью протокола iSCSI over RDMA (iSER).

Наличие этой сети InfiniBand в сочетании с четырех узловым сервером EchoStreams GridStreams и стандартизированным набором тестов MarkLogic NoSQL позволяет нам тестировать новые высокопроизводительные устройства хранения данных, такие как Micron P320h 2.5″ PCIe Application Accelerator, чтобы сравнить заявленные производителем характеристики с производительностью в реальных условиях. Позже в этом году мы добавим новый тест VMware, который также использует InfiniBand SAN от StorageReview.

Протокол Fibre Channel

К концу 1990-х годов Fibre Channel стал доминирующим протоколом межсоединений для высокоскоростных вычислительных сетей и сетей хранения данных (SAN). Некоторая путаница возникает из-за того, что Fibre Channel используется как сокращение от Fibre Channel Protocol (протокол Fibre Channel), последовательного протокола связи на основе канала, который часто используется как в медных, так и в оптоволоконных кабелях. Физический канальный уровень Fibre Channel позволяет одному маршруту связи проходить через несколько типов линий связи, включая смешивание медных и оптоволоконных сегментов, для достижения пункта назначения.

В лаборатории StorageReview используется подключение Fibre Channel как со скоростью 8 Гбит/с, так и со скоростью 16 Гбит/с через коммутатор QLogic SB5800V 8 Гбит/с и коммутатор Brocade 6510 16 Гбит/с . Для конвергентных инфраструктурных приложений мы используем двухпортовые адаптеры HBA QLogic 16 Гбит/с, а в других случаях — однопортовые адаптеры Emulex Fibre Channel 16 Гбит/с. Ключевое отличие оборудования Fibre Channel от другой инфраструктуры SAN заключается в цене и лицензировании. В то время как коммутаторы Ethernet обычно доступны с фиксированным количеством портов (обычно 12, 24 или 48), которые активны при покупке, производители Fibre Channel часто используют модель лицензирования по портам, где коммутатор Fibre Channel может иметь 48 физических портов, но при первоначальной покупке включаются лицензии только на 12 или 24 из них. Дополнительные порты и иногда другие функции активируются по мере необходимости путем приобретения дополнительных лицензий.

Fibre Channel — это первый протокол SAN, поддерживаемый технологией Mt. Rainier от QLogic , которая объединяет адаптеры QLogic SAN HBA с серверным флэш-хранилищем и программным обеспечением для обеспечения независимого от ОС кэширования через карту PCIe, установленную в серверах. В основе Mt. Rainier лежит адаптерная карта на базе QLogic PCIe HBA для управления логикой и кэшем, а также само хранилище, которое затем подключается к флэш-накопителю. В результате получается локальный кэш для вычислительного сервера через интерфейсную карту, которая в любом случае потребовалась бы для подключения к Fibre Channel SAN. Для приложений, работающих на сервере или кластере, кэш выглядит как хранилище SAN, но доступ к нему осуществляется быстрее.

Этот подход, использующий инфраструктуру SAN для обеспечения локального и кластерного кэширования, демонстрирует значительный потенциал для инноваций в текущем поколении технологии Fibre Channel. Установка более одного адаптера QLogic FabricCache в кластере позволяет совместно использовать кэш — интеграция с сетью Fibre Channel позволяет использовать встроенный кэш как на локальном уровне, так и в кластере.

Физические компоненты

Витая пара медных кабелей (кабели Cat)

Витая пара медных кабелей является наиболее широко используемым типом межсоединений за пределами высокоскоростных сетей хранения данных, хотя с появлением гигабитных и 10-гигабитных медных межсоединений витая пара смогла вытеснить оптоволоконный кабель в высокоскоростных приложениях SAN. Семейство витых пар кабелей «категории» обладает преимуществами низкой стоимости, простоты производства и типа разъема, который оставался относительно неизменным на протяжении нескольких поколений сетевых технологий.

Витая пара медных кабелей обозначается номером поколения, который отражает максимальную скорость передачи данных и максимально допустимую дальность связи. Начиная с 1990-х годов, череда поколений «cat» обеспечила скорость передачи данных 100 Мбит/с (cat5), 1 Гбит/с (cat5e), 10 Гбит/с (cat6) и увеличила максимальную дальность связи (cat7).

Твинакс

Двухжильный кабель (Twinax), первоначально использовавшийся в ранних микрокомпьютерных системах, в XXI веке продолжает применяться в качестве физического уровня для межсоединений 10GbE. Благодаря своей простой конструкции, Twinax предлагает преимущества в стоимости по сравнению с оптоволоконными кабелями на коротких участках, но, тем не менее, он дороже, чем 10GbE через витую пару Cat6 или Cat7. Если витая пара продолжит набирать популярность в приложениях межсоединений SAN, Twinax может снова оказаться в тени и использоваться в нишевых приложениях.

Опто-волоконный кабель

Волоконно-оптические кабели обладают рядом технических преимуществ перед медными кабелями для передачи данных, хотя их значительно более высокая стоимость и отсутствие у специалистов практических средств для изготовления собственных кабелей в центре обработки данных заставили многие предприятия и центры обработки данных пересмотреть использование меди для межсоединений. К преимуществам волоконно-оптических кабелей относятся большая максимальная длина передачи и отсутствие уязвимости к электромагнитным помехам от расположенного рядом оборудования или неправильной установки.

Волоконно-оптические кабели бывают двух типов: одномодовые и многомодовые. Одномодовые кабели имеют одну внутреннюю жилу и способны обеспечивать более высокие максимальные скорости передачи данных и расстояния между сегментами сети. Однако для их работы требуются более дорогие лазеры, что может увеличить стоимость сетевого оборудования. Многомодовые кабели более устойчивы к использованию более дешевых материалов и могут работать от более простых и недорогих светодиодов, а не от лазеров.

В настоящее время оптический кабель остается универсальным решением для внедрения корпоративных SAN-систем. Современные оптоволоконные соединения, как правило, оснащены стандартными разъемами, что позволяет упростить модернизацию и изменение протоколов, заменив трансиверы для использования одного и того же канала связи для Ethernet, Fibre Channel или InfiniBand. Первоначальные затраты на установку оптоволоконного кабеля высоки, но качественный кабель имеет длительный срок службы, поскольку для увеличения пропускной способности часто требуется лишь замена трансиверов и коммутаторов.

Трансиверы/разъемы SFP-типа

За последние 10 лет SFP и его преемники заняли растущий сегмент рынка межсоединений благодаря гибкости форм-фактора. Большая часть продукции 2013 года представлена ​​в форм-факторах SFP+ или QSFP, хотя существуют и другие варианты.

  • SFP: Малый форм-фактор подключаемого модуля, предназначенный для работы на скоростях до 1 Гбит/с.
  • SFP+: Усовершенствованный модуль малого форм-фактора, предназначенный для работы на скоростях до 10 Гбит/с и обратно совместимый с SFP.
  • QSFP: Quad Small Form-Factor Pluggable (четырехпортовый модуль малого форм-фактора), разработанный для поддержки соединений со скоростью 40 Гбит/с и выше, этот форм-фактор объединяет четыре интерфейса в одном трансивере.

«Взгляд вперед» в соавторстве с Кеннетом Кейсом,

Благодаря поддержке от Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic и других компаний, лаборатория StorageReview оснащена всем необходимым для решения любых задач межсоединений. В такой гетерогенной среде гибкость имеет ключевое значение: невозможно предсказать, когда потребуется выделить часть оптоволоконной магистрали для нового массива или когда появится стандартный небольшой NAS, поддерживающий агрегацию четырех каналов Ethernet. Конечно, не всем корпоративным средам или средам малого и среднего бизнеса потребуется такая гибкость, и поэтому некоторые поставщики решений для хранения данных больше говорят о модульности, чем о привязке покупателей к конкретным требованиям к межсоединениям. Например, NetApp предлагает сменные карты Fibre и 10GbE, что упрощает интеграцию их массивов в среды, где стандартизированы те или иные технологии.

Специалисты по межсоединениям также делают нечто подобное: теперь доступны коммутаторы SFP+, которые упрощают переключение между средами передачи данных и протоколами без демонтажа и переустановки. Конвергентные адаптеры шины хоста (HBA) QLogic поддерживают переключение портов между Ethernet и Fibre Channel путем замены трансиверов и кабелей, а также изменения настроек в BIOS карты. Mellanox была одним из первых лидеров в разработке сетевых карт, использующих виртуальные межсоединения, позволяющие одной и той же сетевой карте работать через InfiniBand или Ethernet, подключив другой кабель и загрузив другой драйвер.

Тенденция к созданию конвергентной инфраструктуры развивается параллельно с тенденцией к виртуализации. Последствия внедрения последних поколений технологий SAN и виртуализации указывают на устойчивое движение к отделению физической инфраструктуры не только от серверов и работающих на них приложений, но и от сетевого уровня, соединяющего саму инфраструктуру. Вместо того чтобы наблюдать, как конкурирующие платформы межсоединений движутся к разрозненности и конкуренции между технологиями, рынок движется к взаимосовместимости и гетерогенным, конвергентным инфраструктурам.