存储区域网络 (SAN)利用总线式网络架构来加速和分散对企业存储的访问。因此，加速存储访问不仅包括提升存储介质本身的性能，还包括提升 SAN 的性能。这就要求StorageReview 企业测试实验室配备涵盖以太网、InfiniBand 和光纤通道这三大关键网络协议系列的各种互连选项。这些互连选项能够提供在与 SAN 管理员实际现场环境相近的条件下进行全面基准测试的方法。
全闪存存储阵列和混合阵列是推动更快互连发展的存储技术，但大型硬盘池的管理员也受益于密切关注 SAN 性能和可靠性。 今天，访问融合基础设施互连平台有助于避免陷入一种协议或物理链路层，但在存储网络架构期间做出的互连选择可能会影响未来几年的 SAN 功能和性能。
SAN 实施的多种选择（包括布线和连接器选择）可能让人很难一眼看出哪种互连组合和配置最适合特定设备或应用程序。 企业测试实验室网络设备的概述将从三种最常见的互连协议（以太网、InfiniBand 和光纤通道）中的每一种的讨论开始，作为 SAN 架构师和技术人员选项的概述。 然后，我们将分解并说明可用于 StorageReview 企业基准测试的关键物理链路层选项。
以太网(EtherNet)
StorageReview 实验室配备了 Netgear 和 Mellanox 的以太网交换硬件，使我们能够部署从 1GbE 到 40GbE 的各种连接选项。对于 1GbE 基准测试，我们使用 Netgear ProSafe 专业级交换机。我们的 10GbE 连接由一台采用 8P8C 连接器的Netgear ProSafe Plus XS708E和一台Mellanox SX1036 10/40Gb交换机提供支持，后者通过扇出线缆从一个 QSFP 端口分出四个 SFP+ 以太网端口。
尽管以太网一词通常与具有 8P8C 连接器（通常称为 RJ45 连接器）的双绞线铜缆同义使用，但以太网指的是一种网络通信标准，可用于铜缆和光纤物理链路。 对于相对较短的线路，铜缆通常为以太网应用提供极具吸引力的性价比标准，但随着所需数据传输速度的提高和传输距离的增加，光缆开始提供优于铜缆的竞争优势。
我们看到了三个层级的以太网新设备：
- 1GbE – 目前在 2013 年，大多数家庭和专业消费者设备都设计有板载 1000BASE-T 千兆以太网，以及用于企业工作站、SMB NAS/SAN 和板载服务器 LAN 接口的设备。 我们开始在服务器和存储硬件上看到越来越多的 10GBASE-T 双绞线以太网运输标准，但目前千兆位速度实际上是有线网络连接的最低标准。
- 10GbE – 在 2000 年代的头十年，10 吉比特的速度需要通过 SPF 型连接器的光纤或短线 Twinax。 由于 8GBASE-T 网络硬件的可用性不断提高，铜和 8P10C 连接器现在正在进入 SAN 架构，这允许 cat6 和 cat7 上的 10Gb 速度。 10GbE 通过双绞线铜缆使 XNUMXGBASE-T 成为高速存储互连的经济实惠的新选择，尽管光纤仍然主导着市场。 我们的 美国网件 M7100 交换机 具有 10 个 4GBase-T 端口和 XNUMX 个 SFP+ 端口，而我们的 美国网件 ProSafe Plus XS708E 具有八个 10GbE 端口和一个共享的 10G 光纤 SFP+ 端口。
- 40GbE – 通过将四个 SFP+ 通道整合到一个连接器中的 QSFP+，我们能够实现最快的现代存储阵列通常需要的 40GbE 连接。 融合基础设施硬件，例如 我们在实验室中使用的 Mellanox SX6036, 根据配置提供 40GbE 或 56Gb/s InfiniBand 选项。 A Mellanox SX1036 10/40Gb 以太网交换机 作为实验室网络的主干。
InfiniBand的
InfiniBand 在 2000 年代初广泛使用，交换机制造商 Mellanox 和 QLogic 推动了标准的发展。 InfiniBand 提供五层链路性能：每通道 2.5Gb/s 的单数据速率 (SDR)、5Gb/s 双数据速率 (DDR)、10Gb/s 四数据速率 (QDR)、十四数据速率 (FDR) 14Gb/s，增强数据速率 (EDR) 为每条单向通道 26Gb/s。
InfiniBand 可与铜缆或光纤电缆配合使用，具体取决于所需的性能和互连距离。如今，SFF-8470 连接器（通常简称为 InfiniBand 连接器）与 SFP 型连接器一起，常用于电缆端接。StorageReview 企业测试实验室配备了一套 56Gb/s 的 Mellanox InfiniBand 架构，用于对闪存存储设备进行基准测试，包括我们的MarkLogic NoSQL 数据库基准测试。
MarkLogic NoSQL 基准测试比较了各种设备的存储性能，包括 PCIe 应用加速器、SSD 组和大型 HDD 阵列。我们使用基于Mellanox SX6036的 Mellanox InfiniBand 架构为这些基准测试提供互连，因为它具有 56Gb/s 的网络吞吐量，并且支持 iSER (iSCSI-RDMA) 和 SRP (SCSI RDMA) 协议。iSER 和 SRP 使用远程直接内存访问 (RDMA) 取代 iSCSI TCP 协议栈，从而在集群环境中实现更高的效率，因为它允许网络流量绕过系统的 CPU，并将数据直接从发送系统的内存复制到接收系统的内存。这些特性也通过 iSCSI over RDMA (iSER) 协议引入以太网。
有了这套 InfiniBand 架构，结合EchoStreams GridStreams 四节点服务器和一套标准化的 MarkLogic NoSQL 基准测试，我们就能对Micron P320h 2.5 英寸 PCIe 应用加速器等高性能新型存储设备进行测试，从而了解厂商规格与实际性能在实际应用环境中的差异。今年晚些时候，我们将新增一项 VMware 基准测试，该测试也将利用 StorageReview 的 InfiniBand SAN。
光纤通道协议
到 1990 年代末，光纤通道已成为高速计算和存储区域网络 (SAN) 的主要互连协议。 造成一些混乱的是，光纤通道被用作光纤通道协议的简写，这是一种基于通道的串行通信协议，通常部署在铜缆和光纤电缆上。 光纤通道的物理链路层允许单个通信路由跨越多种类型的链路技术，包括混合铜线和光纤段，以到达其目的地。
StorageReview 实验室通过QLogic SB5800V 8Gb 光纤通道交换机和Brocade 6510 16Gb 光纤通道交换机，实现了 8Gb/s 和 16Gb/s 的光纤通道连接。对于融合基础架构应用，我们使用 16Gb QLogic 双端口 HBA 卡；在其他情况下，我们也使用单端口 16Gb Emulex 光纤通道 HBA 卡。光纤通道设备与其他 SAN 基础架构的一个主要区别在于定价和许可模式。以太网交换机通常提供固定数量的端口（通常为 12、24 或 48 个），购买时所有端口均已激活；而光纤通道设备制造商通常采用按端口许可的模式。例如，一台光纤通道交换机可能配备 48 个物理端口，但初始购买时仅包含其中 12 或 24 个端口的捆绑许可。如有需要，可通过购买额外的许可来启用更多端口以及其他功能。
光纤通道是首个获得QLogic Mt. Rainier 技术支持的 SAN 协议。该技术将 QLogic SAN HBA 与服务器端闪存存储和软件相结合，通过安装在服务器中的 PCIe 卡提供与操作系统无关的缓存。Mt. Rainier 的核心是基于 QLogic PCIe HBA 的适配器卡，用于逻辑和缓存管理以及存储本身，然后连接到闪存层。最终结果是，计算服务器通过接口卡获得本地缓存，而这原本就是光纤通道 SAN 连接所必需的。对于运行在服务器或集群上的应用程序而言，该缓存看起来就像 SAN 存储，但访问速度更快。
这种利用 SAN 基础架构提供本地和集群范围缓存的方法展示了当前一代光纤通道技术的巨大创新空间。 在集群中安装多个 QLogic 的 FabricCache 适配器允许在整个过程中共享缓存——与光纤通道结构的集成允许在本地和集群规模上利用卡上缓存。
物理组件
双绞线铜缆（Cat 电缆）
双绞铜缆是高速存储网络之外使用最广泛的互连，尽管随着千兆和 10 吉铜互连的到来，双绞线已经能够在高速 SAN 应用中超越光缆。 “cat”（类）族双绞线电缆具有成本低、制造容易、连接器类型在几代网络技术中保持相对不变的优点。
双绞线铜缆按世代编号进行评级，反映其最大数据传输速率和最大额定链路距离。 从 1990 年代开始，连续不断的“cat”世代带来了 100Mb/s 连接 (cat5)、1Gb/s (cat5e)、10Gb/s (cat6) 和增加的最大链路距离 (cat7)。
双轴
双轴布线 (Twinax) 最初用于早期的微型计算机系统，在 10 世纪继续用作 21GbE 互连的物理层。 由于其简单的结构，Twinax 与短距离光纤电缆相比具有成本优势，但仍然比通过 cat10 或 cat6 双绞线的 7GbE 更昂贵。 如果双绞线电缆继续在 SAN 互连应用中占据一席之地，Twinax 可能会再次被降级为传统和小众应用。
光纤电缆
与铜缆相比，光纤电缆在数据传输方面具有许多技术优势，尽管它们的成本高得多，而且技术人员缺乏在数据中心创建自己的电缆的实用方法，这导致许多企业和数据中心重新考虑使用铜缆进行互连。 光纤的优势包括更长的最大传输长度，以及不易受到附近设备或安装不当的电磁“噪声”的影响。
光纤有两种类型：单模和多模。 单模具有一根内链，能够实现更大的最大数据速率和网段之间的距离。 然而，它需要使用更昂贵的激光器，这会推高网络设备的成本。 多模可以使用更便宜的电缆材料，并且可以由更简单、更便宜的 LED 灯而不是激光器驱动。
目前，光纤仍然是企业 SAN 实施的通用线缆。 现代光纤互连通常具有行业标准的子连接器，使升级和协议更改成为交换收发器的问题，以便为以太网、光纤通道或 InfiniBand 使用相同的链路。 光纤安装的初始成本很高，但优质电缆的使用寿命很长，因为带宽升级通常只需要升级收发器和交换机硬件。
SFP 型收发器/连接器
在过去 10 年中，由于形状因素的灵活性，SFP 和 SFP 的后继产品在互连市场中占据了越来越大的份额。 我们在 2013 年看到的大多数产品都采用 SFP+ 或 QSFP，尽管还有其他变体。
- SFP：小型可插拔，专为高达 1Gb/s 的速度而设计
- SFP+：增强型小型可插拔，专为高达 10Gb/s 的速度而设计，并向后兼容 SFP
- QSFP：Quad Small Form-Factor Pluggable，旨在支持 40Gb/s 和更快的连接，这种外形将四个接口组合到一个收发器中
展望未来
在 Brocade、Emulex、HP、Intel、Mellanox、Netgear、QLogic 和其他公司的支持下，StorageReview 实验室配备了满足任何可能出现的互连需求的设备。 在这样的异构环境中，灵活性是关键，不知道什么时候可能需要为新阵列配置光纤骨干网的一部分，或者我们什么时候会看到支持四以太网链路聚合的标准小型 NAS。 当然，并非所有企业或 SMB 环境都需要如此灵活，为此，一些存储供应商更多地谈论模块化，而不是将购买者锁定在特定的互连要求中。 例如，NetApp 拥有可交换的光纤和 10GbE 卡，使他们的阵列更容易插入可能已经标准化的环境中。
互连人员也在做类似的事情，现在可以使用 SFP+ 交换机，技术人员可以轻松地在链路媒体和协议之间切换，而无需拆除和重建。 QLogic 聚合主机总线适配器 (HBA) 支持通过交换收发器和电缆以及更改卡 BIOS 中的设置来更改以太网和光纤通道之间的端口。 Mellanox 一直是使用虚拟互连的网卡的早期领导者，通过连接不同的电缆并加载不同的驱动程序，允许同一个 NIC 通过 InfiniBand 或以太网运行。
融合基础架构的势头与虚拟化趋势并行。 最新一代 SAN 和虚拟化技术的影响表明，物理基础设施不仅与运行在其上的服务器和应用程序分离，而且与连接基础设施本身的网络层分离。 市场并没有看到相互竞争的互连平台走向孤岛和技术之间的竞争，而是朝着相互兼容和异构、融合的基础设施发展。
Amazon