存储区域网络 (SAN) 利用总线式网络架构来加速和分散对企业存储的访问。 因此，加速存储访问包括加速 SAN 性能以及存储介质本身，这使得配备 StorageReview 企业测试实验室 跨三个主要网络协议系列的各种互连选项：以太网、InfiniBand 和光纤通道。 这些互连选项提供了根据与 SAN 管理员在该领域的实际体验相媲美的条件执行综合基准测试的方法。
存储区域网络 (SAN) 利用总线式网络架构来加速和分散对企业存储的访问。 因此，加速存储访问包括加速 SAN 性能以及存储介质本身，这使得配备 StorageReview 企业测试实验室 跨三个主要网络协议系列的各种互连选项：以太网、InfiniBand 和光纤通道。 这些互连选项提供了根据与 SAN 管理员在该领域的实际体验相媲美的条件执行综合基准测试的方法。
全闪存存储阵列和混合阵列是推动更快互连发展的存储技术，但大型硬盘池的管理员也受益于密切关注 SAN 性能和可靠性。 今天，访问融合基础设施互连平台有助于避免陷入一种协议或物理链路层，但在存储网络架构期间做出的互连选择可能会影响未来几年的 SAN 功能和性能。
SAN 实施的多种选择（包括布线和连接器选择）可能让人很难一眼看出哪种互连组合和配置最适合特定设备或应用程序。 企业测试实验室网络设备的概述将从三种最常见的互连协议（以太网、InfiniBand 和光纤通道）中的每一种的讨论开始，作为 SAN 架构师和技术人员选项的概述。 然后，我们将分解并说明可用于 StorageReview 企业基准测试的关键物理链路层选项。
以太网(EtherNet)
StorageReview 实验室配备了 Netgear 和 Mellanox 的以太网交换硬件，使我们能够部署从 1GbE 到 40GbE 的连接选项。 对于 1GbE 基准测试，我们使用 Netgear ProSafe prosumer 交换机。 我们的 10GbE 连接由 美国网件 ProSafe Plus XS708E 利用8P8C连接器和 迈络思 SX1036 10/40Gb，带有扇出电缆，可从单个 QSFP 端口分离出四个 SFP+ 以太网端口。
尽管以太网一词通常与具有 8P8C 连接器（通常称为 RJ45 连接器）的双绞线铜缆同义使用，但以太网指的是一种网络通信标准，可用于铜缆和光纤物理链路。 对于相对较短的线路，铜缆通常为以太网应用提供极具吸引力的性价比标准，但随着所需数据传输速度的提高和传输距离的增加，光缆开始提供优于铜缆的竞争优势。
我们看到了三个层级的以太网新设备：
- 1GbE – 目前在 2013 年，大多数家庭和专业消费者设备都设计有板载 1000BASE-T 千兆以太网，以及用于企业工作站、SMB NAS/SAN 和板载服务器 LAN 接口的设备。 我们开始在服务器和存储硬件上看到越来越多的 10GBASE-T 双绞线以太网运输标准，但目前千兆位速度实际上是有线网络连接的最低标准。
- 10GbE – 在 2000 年代的头十年，10 吉比特的速度需要通过 SPF 型连接器的光纤或短线 Twinax。 由于 8GBASE-T 网络硬件的可用性不断提高，铜和 8P10C 连接器现在正在进入 SAN 架构，这允许 cat6 和 cat7 上的 10Gb 速度。 10GbE 通过双绞线铜缆使 XNUMXGBASE-T 成为高速存储互连的经济实惠的新选择，尽管光纤仍然主导着市场。 我们的 美国网件 M7100 交换机 具有 10 个 4GBase-T 端口和 XNUMX 个 SFP+ 端口，而我们的 美国网件 ProSafe Plus XS708E 具有八个 10GbE 端口和一个共享的 10G 光纤 SFP+ 端口。
- 40GbE – 通过将四个 SFP+ 通道整合到一个连接器中的 QSFP+，我们能够实现最快的现代存储阵列通常需要的 40GbE 连接。 融合基础设施硬件，例如 我们在实验室中使用的 Mellanox SX6036, 根据配置提供 40GbE 或 56Gb/s InfiniBand 选项。 A Mellanox SX1036 10/40Gb 以太网交换机 作为实验室网络的主干。
InfiniBand的
InfiniBand 在 2000 年代初广泛使用，交换机制造商 Mellanox 和 QLogic 推动了标准的发展。 InfiniBand 提供五层链路性能：每通道 2.5Gb/s 的单数据速率 (SDR)、5Gb/s 双数据速率 (DDR)、10Gb/s 四数据速率 (QDR)、十四数据速率 (FDR) 14Gb/s，增强数据速率 (EDR) 为每条单向通道 26Gb/s。
InfiniBand 可与铜缆或光纤布线一起使用，具体取决于互连所需的性能和距离。 如今，SFF-8470 连接器（通常简称为 InfiniBand 连接器）通常与 SFP 型连接器一起端接电缆。 StorageReview 企业测试实验室是 56Gb/s Mellanox InfiniBand 结构的所在地，该结构用于对闪存设备进行基准测试，包括我们的 MarkLogic NoSQL 数据库 基准。
MarkLogic NoSQL 基准比较了各种设备的存储性能，包括 PCIe 应用程序加速器、SSD 组和大型 HDD 阵列。 我们使用 Mellanox InfiniBand 结构，由我们的 迈络思 SX6036 由于其 56Gb/s 的网络吞吐量以及对 iSER (iSCSI-RDMA) 和 SRP (SCSI RDMA) 协议的支持，为这些基准提供互连。 iSER 和 SRP 将 iSCSI TCP 堆栈替换为远程直接内存访问 (RDMA)，通过允许网络流量绕过系统的 CPU 并允许将数据从发送系统的内存直接复制到集群环境，从而提高集群环境中的效率接收系统的内存。 这些功能也通过 iSCSI over RDMA (iSER) 协议带到以太网中。
将这种 InfiniBand 结构与 EchoStreams GridStreams 四节点服务器 和一组标准化的 MarkLogic NoSQL 基准测试，使我们能够推出高性能的新存储设备，例如 美光 P320h 2.5″ PCIe 应用加速器 了解制造商的规格与实际条件下的性能相比如何。 今年晚些时候，我们将添加一个新的 VMware 基准测试，它也利用 StorageReview 的 InfiniBand SAN。
光纤通道协议
到 1990 年代末，光纤通道已成为高速计算和存储区域网络 (SAN) 的主要互连协议。 造成一些混乱的是，光纤通道被用作光纤通道协议的简写，这是一种基于通道的串行通信协议，通常部署在铜缆和光纤电缆上。 光纤通道的物理链路层允许单个通信路由跨越多种类型的链路技术，包括混合铜线和光纤段，以到达其目的地。
StorageReview 实验室将 8Gb/s 和 16Gb/s FC 连接通过 QLogic SB5800V 8Gb 光纤通道 开关和一个 博科 6510 16Gb FC 转变。 对于融合基础架构应用，我们使用 16Gb QLogic 双端口 HBA，在其他情况下，我们还使用单端口 16Gb Emulex 光纤通道 HBA。 光纤通道设备与其他 SAN 基础设施之间的一个主要区别是定价和许可。 虽然以太网交换机通常提供一定数量的端口（通常为 12、24 或 48），这些端口在购买时全部处于活动状态，但 FC 制造商通常使用每端口许可模型，其中光纤通道交换机可能具有48 个物理端口，但在初次购买时仅包含其中 12 或 24 个的捆绑许可证。 通过购买额外的许可证，可以根据需要启用额外的端口，有时还可以启用其他功能。
光纤通道是第一个被支持的 SAN 协议 QLogic 的 Mt. Rainier 技术，它将 QLogic SAN HBA 与基于服务器的闪存和软件相结合，通过安装在服务器中的 PCIe 卡提供独立于操作系统的缓存。 Mt. Rainier 以基于 QLogic PCIe HBA 的适配卡为中心，用于逻辑和缓存管理以及存储本身，然后连接到闪存层。 最终结果是通过接口卡为计算服务器提供本地缓存，这无论如何都是光纤通道 SAN 连接所必需的。 对于在服务器或集群上运行的应用程序，缓存看起来像 SAN 存储，但访问速度更快。
这种利用 SAN 基础架构提供本地和集群范围缓存的方法展示了当前一代光纤通道技术的巨大创新空间。 在集群中安装多个 QLogic 的 FabricCache 适配器允许在整个过程中共享缓存——与光纤通道结构的集成允许在本地和集群规模上利用卡上缓存。
物理组件
双绞线铜缆（Cat 电缆）
双绞铜缆是高速存储网络之外使用最广泛的互连，尽管随着千兆和 10 吉铜互连的到来，双绞线已经能够在高速 SAN 应用中超越光缆。 “cat”（类）族双绞线电缆具有成本低、制造容易、连接器类型在几代网络技术中保持相对不变的优点。
双绞线铜缆按世代编号进行评级，反映其最大数据传输速率和最大额定链路距离。 从 1990 年代开始，连续不断的“cat”世代带来了 100Mb/s 连接 (cat5)、1Gb/s (cat5e)、10Gb/s (cat6) 和增加的最大链路距离 (cat7)。
双轴
双轴布线 (Twinax) 最初用于早期的微型计算机系统，在 10 世纪继续用作 21GbE 互连的物理层。 由于其简单的结构，Twinax 与短距离光纤电缆相比具有成本优势，但仍然比通过 cat10 或 cat6 双绞线的 7GbE 更昂贵。 如果双绞线电缆继续在 SAN 互连应用中占据一席之地，Twinax 可能会再次被降级为传统和小众应用。
光纤电缆
与铜缆相比，光纤电缆在数据传输方面具有许多技术优势，尽管它们的成本高得多，而且技术人员缺乏在数据中心创建自己的电缆的实用方法，这导致许多企业和数据中心重新考虑使用铜缆进行互连。 光纤的优势包括更长的最大传输长度，以及不易受到附近设备或安装不当的电磁“噪声”的影响。
光纤有两种类型：单模和多模。 单模具有一根内链，能够实现更大的最大数据速率和网段之间的距离。 然而，它需要使用更昂贵的激光器，这会推高网络设备的成本。 多模可以使用更便宜的电缆材料，并且可以由更简单、更便宜的 LED 灯而不是激光器驱动。
目前，光纤仍然是企业 SAN 实施的通用线缆。 现代光纤互连通常具有行业标准的子连接器，使升级和协议更改成为交换收发器的问题，以便为以太网、光纤通道或 InfiniBand 使用相同的链路。 光纤安装的初始成本很高，但优质电缆的使用寿命很长，因为带宽升级通常只需要升级收发器和交换机硬件。
SFP 型收发器/连接器
在过去 10 年中，由于形状因素的灵活性，SFP 和 SFP 的后继产品在互连市场中占据了越来越大的份额。 我们在 2013 年看到的大多数产品都采用 SFP+ 或 QSFP，尽管还有其他变体。
- SFP：小型可插拔，专为高达 1Gb/s 的速度而设计
- SFP+：增强型小型可插拔，专为高达 10Gb/s 的速度而设计，并向后兼容 SFP
- QSFP：Quad Small Form-Factor Pluggable，旨在支持 40Gb/s 和更快的连接，这种外形将四个接口组合到一个收发器中
展望未来
在 Brocade、Emulex、HP、Intel、Mellanox、Netgear、QLogic 和其他公司的支持下，StorageReview 实验室配备了满足任何可能出现的互连需求的设备。 在这样的异构环境中，灵活性是关键，不知道什么时候可能需要为新阵列配置光纤骨干网的一部分，或者我们什么时候会看到支持四以太网链路聚合的标准小型 NAS。 当然，并非所有企业或 SMB 环境都需要如此灵活，为此，一些存储供应商更多地谈论模块化，而不是将购买者锁定在特定的互连要求中。 例如，NetApp 拥有可交换的光纤和 10GbE 卡，使他们的阵列更容易插入可能已经标准化的环境中。
互连人员也在做类似的事情，现在可以使用 SFP+ 交换机，技术人员可以轻松地在链路媒体和协议之间切换，而无需拆除和重建。 QLogic 聚合主机总线适配器 (HBA) 支持通过交换收发器和电缆以及更改卡 BIOS 中的设置来更改以太网和光纤通道之间的端口。 Mellanox 一直是使用虚拟互连的网卡的早期领导者，通过连接不同的电缆并加载不同的驱动程序，允许同一个 NIC 通过 InfiniBand 或以太网运行。
融合基础架构的势头与虚拟化趋势并行。 最新一代 SAN 和虚拟化技术的影响表明，物理基础设施不仅与运行在其上的服务器和应用程序分离，而且与连接基础设施本身的网络层分离。 市场并没有看到相互竞争的互连平台走向孤岛和技术之间的竞争，而是朝着相互兼容和异构、融合的基础设施发展。