儲存區域網路 (SAN)利用匯流排式網路架構來加速和分散對企業儲存的存取。因此，加速儲存存取不僅包括提升儲存媒體本身的效能，還包括提升 SAN 的效能。這就要求StorageReview 企業測試實驗室配備涵蓋乙太網路、InfiniBand 和光纖通道這三大關鍵網路協定係列的各種互連選項。這些互連選項能夠提供在與 SAN 管理員實際現場環境相近的條件下進行全面基準測試的方法。
全閃存存儲陣列和混合陣列是推動更快互連發展的存儲技術，但大型硬盤池的管理員也受益於密切關注 SAN 性能和可靠性。 今天，訪問融合基礎設施互連平台有助於避免陷入一種協議或物理鏈路層，但在存儲網絡架構期間做出的互連選擇可能會影響未來幾年的 SAN 功能和性能。
SAN 實施的多種選擇（包括佈線和連接器選擇）可能讓人很難一眼看出哪種互連組合和配置最適合特定設備或應用程序。 企業測試實驗室網絡設備的概述將從三種最常見的互連協議（以太網、InfiniBand 和光纖通道）中的每一種的討論開始，作為 SAN 架構師和技術人員選項的概述。 然後，我們將分解並說明可用於 StorageReview 企業基準測試的關鍵物理鏈路層選項。
乙太網路 - ENET
StorageReview 實驗室配備了 Netgear 和 Mellanox 的乙太網路交換硬件，使我們能夠部署從 1GbE 到 40GbE 的各種連接選項。對於 1GbE 基準測試，我們使用 Netgear ProSafe 專業級交換器。我們的 10GbE 連接由一台採用 8P8C 連接器的Netgear ProSafe Plus XS708E和一台Mellanox SX1036 10/40Gb交換器提供支持，後者透過扇出線纜從一個 QSFP 連接埠分出四個 SFP+ 乙太網路連接埠。
儘管以太網一詞通常與具有 8P8C 連接器（通常稱為 RJ45 連接器）的雙絞線銅纜同義使用，但以太網指的是一種網絡通信標準，可用於銅纜和光纖物理鏈路。 對於相對較短的線路，銅纜通常為以太網應用提供極具吸引力的性價比標準，但隨著所需數據傳輸速度的提高和傳輸距離的增加，光纜開始提供優於銅纜的競爭優勢。
我們看到了三個層級的以太網新設備：
- 1GbE – 目前在 2013 年，大多數家庭和專業消費者設備都設計有板載 1000BASE-T 千兆以太網，以及用於企業工作站、SMB NAS/SAN 和板載服務器 LAN 接口的設備。 我們開始在服務器和存儲硬件上看到越來越多的 10GBASE-T 雙絞線以太網運輸標準，但目前千兆位速度實際上是有線網絡連接的最低標準。
- 10GbE – 在 2000 年代的頭十年，10 吉比特的速度需要通過 SPF 型連接器的光纖或短線 Twinax。 由於 8GBASE-T 網絡硬件的日益普及，銅線和 8P10C 連接器現在正在進入 SAN 架構，這允許 cat6 和 cat7 上的 10Gb 速度。 10GbE 通過雙絞線銅纜使 XNUMXGBASE-T 成為高速存儲互連的經濟實惠的新選擇，儘管光纖仍然主導著市場。 我們的 美國網件 M7100 交換機 具有 10 個 4GBase-T 端口和 XNUMX 個 SFP+ 端口，而我們的 美國網件 ProSafe Plus XS708E 具有八個 10GbE 端口和一個共享的 10G 光纖 SFP+ 端口。
- 40GbE – 通過將四個 SFP+ 通道整合到一個連接器中的 QSFP+，我們能夠實現最快的現代存儲陣列通常需要的 40GbE 連接。 融合基礎設施硬件，例如 我們在實驗室中使用的 Mellanox SX6036, 根據配置提供 40GbE 或 56Gb/s InfiniBand 選項。 A Mellanox SX1036 10/40Gb 以太網交換機 作為實驗室網絡的主幹。
InfiniBand
InfiniBand 在 2000 年代初廣泛使用，交換機製造商 Mellanox 和 QLogic 推動了標準的發展。 InfiniBand 提供五層鏈路性能：每通道 2.5Gb/s 的單數據速率 (SDR)、5Gb/s 雙數據速率 (DDR)、10Gb/s 四數據速率 (QDR)、十四數據速率 (FDR) 14Gb/s，增強數據速率 (EDR) 為每條單向通道 26Gb/s。
InfiniBand 可與銅纜或光纖電纜搭配使用，具體取決於所需的性能和互連距離。如今，SFF-8470 連接器（通常簡稱為 InfiniBand 連接器）與 SFP 型連接器一起，常用於電纜端接。 StorageReview 企業測試實驗室配備了一套 56Gb/s 的 Mellanox InfiniBand 架構，用於對快閃儲存裝置進行基準測試，包括我們的MarkLogic NoSQL 資料庫基準測試。
MarkLogic NoSQL 基準測試比較了各種裝置的儲存效能，包括 PCIe 應用加速器、SSD 群組和大型 HDD 陣列。我們使用基於Mellanox SX6036的 Mellanox InfiniBand 架構為這些基準測試提供互連，因為它具有 56Gb/s 的網路吞吐量，並且支援 iSER (iSCSI-RDMA) 和 SRP (SCSI RDMA) 協定。 iSER 和 SRP 使用遠端直接記憶體存取 (RDMA) 取代 iSCSI TCP 協定堆疊，從而在叢集環境中實現更高的效率，因為它允許網路流量繞過系統的 CPU，並將資料直接從發送系統的記憶體複製到接收系統的記憶體。這些特性也透過 iSCSI over RDMA (iSER) 協定引入乙太網路。
有了這套 InfiniBand 架構，結合EchoStreams GridStreams 四節點伺服器和一套標準化的 MarkLogic NoSQL 基準測試，我們就能對Micron P320h 2.5 吋 PCIe 應用加速器等高效能新型儲存裝置進行測試，從而了解廠商規格與實際效能在實際應用環境中的差異。今年晚些時候，我們將新增一項 VMware 基準測試，該測試也將利用 StorageReview 的 InfiniBand SAN。
光纖通道協議
到 1990 年代末，光纖通道已成為高速計算和存儲區域網絡 (SAN) 的主要互連協議。 造成一些混亂的是，光纖通道被用作光纖通道協議的簡寫，這是一種基於通道的串行通信協議，通常部署在銅纜和光纖電纜上。 光纖通道的物理鏈路層允許單個通信路由跨越多種類型的鏈路技術，包括混合銅線和光纖段，以到達其目的地。
StorageReview 實驗室透過QLogic SB5800V 8Gb 光纖通道交換器和Brocade 6510 16Gb 光纖通道交換機，實現了 8Gb/s 和 16Gb/s 的光纖通道連接。對於融合基礎架構應用，我們使用 16Gb QLogic 雙埠 HBA 卡；在其他情況下，我們也使用單埠 16Gb Emulex 光纖通道 HBA 卡。光纖通道設備與其他 SAN 基礎架構的一個主要區別在於定價和授權模式。乙太網路交換器通常提供固定數量的連接埠（通常為 12、24 或 48 個），購買時所有連接埠均已啟動；而光纖通道設備製造商通常採用按連接埠授權的模式。例如，一台光纖通道交換器可能配備 48 個實體端口，但初始購買時僅包含其中 12 或 24 個連接埠的捆綁許可。如有需要，可透過購買額外的許可證來啟用更多連接埠以及其他功能。
光纖通道是第一個獲得QLogic Mt. Rainier 技術支援的 SAN 協定。該技術將 QLogic SAN HBA 與伺服器端快閃儲存和軟體結合，透過安裝在伺服器中的 PCIe 卡提供與作業系統無關的快取。 Mt. Rainier 的核心是基於 QLogic PCIe HBA 的適配器卡，用於邏輯和快取管理以及儲存本身，然後連接到快閃記憶體層。最終結果是，計算伺服器透過介面卡獲得本地緩存，而這原本就是光纖通道 SAN 連接所必需的。對於運行在伺服器或叢集上的應用程式而言，該快取看起來就像 SAN 存儲，但存取速度更快。
這種利用 SAN 基礎架構提供本地和集群範圍緩存的方法展示了當前一代光纖通道技術的巨大創新空間。 在集群中安裝多個 QLogic 的 FabricCache 適配器允許在整個過程中共享緩存——與光纖通道結構的集成允許在本地和集群規模上利用卡上緩存。
物理組件
雙絞線銅纜（Cat 電纜）
雙絞銅纜是高速存儲網絡之外使用最廣泛的互連，儘管隨著千兆和 10 吉銅互連的到來，雙絞線已經能夠在高速 SAN 應用中超越光纜。 “cat”（類）族雙絞線電纜具有成本低、製造容易、連接器類型在幾代網絡技術中保持相對不變的優點。
雙絞線銅纜按世代編號進行評級，反映其最大數據傳輸速率和最大額定鏈路距離。 從 1990 年代開始，連續不斷的“cat”世代帶來了 100Mb/s 連接 (cat5)、1Gb/s (cat5e)、10Gb/s (cat6) 和增加的最大鍊路距離 (cat7)。
雙軸
雙軸佈線 (Twinax) 最初用於早期的微型計算機系統，在 10 世紀繼續用作 21GbE 互連的物理層。 由於其簡單的結構，Twinax 與短距離光纖電纜相比具有成本優勢，但仍然比通過 cat10 或 cat6 雙絞線的 7GbE 更昂貴。 如果雙絞線電纜繼續在 SAN 互連應用中佔據一席之地，Twinax 可能會再次淪為傳統和利基應用。
光纖電纜
與銅纜相比，光纖電纜在數據傳輸方面具有許多技術優勢，儘管它們的成本高得多，而且技術人員缺乏在數據中心創建自己的電纜的實用方法，這導致許多企業和數據中心重新考慮使用銅纜進行互連。 光纖的優勢包括更長的最大傳輸長度，以及不易受到附近設備或安裝不當的電磁“噪聲”的影響。
光纖有兩種類型：單模和多模。 單模具有一根內鏈，能夠實現更大的最大數據速率和網段之間的距離。 然而，它需要使用更昂貴的激光器，這會推高網絡設備的成本。 多模可以使用更便宜的電纜材料，並且可以由更簡單、更便宜的 LED 燈而不是激光器驅動。
目前，光纖仍然是企業 SAN 實施的通用線纜。 現代光纖互連通常具有行業標準的子連接器，使升級和協議更改成為交換收發器的問題，以便為以太網、光纖通道或 InfiniBand 使用相同的鏈路。 光纖安裝的初始成本很高，但優質電纜的使用壽命很長，因為帶寬升級通常只需要升級收發器和交換機硬件。
SFP 型收發器/連接器
在過去 10 年中，由於形狀因素的靈活性，SFP 和 SFP 的後繼產品在互連市場中佔據了越來越大的份額。 我們在 2013 年看到的大多數產品都採用 SFP+ 或 QSFP，儘管還有其他變體。
- SFP：小型可插拔，專為高達 1Gb/s 的速度而設計
- SFP+：增強型小型可插拔，專為高達 10Gb/s 的速度而設計，並向後兼容 SFP
- QSFP：Quad Small Form-Factor Pluggable，旨在支持 40Gb/s 和更快的連接，這種外形將四個接口組合到一個收發器中
展望未來
在 Brocade、Emulex、HP、Intel、Mellanox、Netgear、QLogic 和其他公司的支持下，StorageReview 實驗室配備了滿足任何可能出現的互連需求的設備。 在這樣的異構環境中，靈活性是關鍵，不知道什麼時候可能需要為新陣列配置光纖骨幹網的一部分，或者我們什麼時候會看到支持四以太網鏈路聚合的標準小型 NAS。 當然，並非所有企業或 SMB 環境都需要如此靈活，為此，一些存儲供應商更多地談論模塊化，而不是將購買者鎖定在特定的互連要求中。 例如，NetApp 擁有可交換的光纖和 10GbE 卡，使他們的陣列更容易插入可能已經標準化的環境中。
互連人員也在做類似的事情，現在可以使用 SFP+ 交換機，技術人員可以輕鬆地在鏈路媒體和協議之間切換，而無需拆除和重建。 QLogic 聚合主機總線適配器 (HBA) 支持通過交換收發器和電纜以及更改卡 BIOS 中的設置來更改以太網和光纖通道之間的端口。 Mellanox 一直是使用虛擬互連的網卡的早期領導者，通過連接不同的電纜並加載不同的驅動程序，允許同一個 NIC 通過 InfiniBand 或以太網運行。
融合基礎架構的勢頭與虛擬化趨勢並行。 最新一代 SAN 和虛擬化技術的影響表明，物理基礎設施不僅與運行在其上的服務器和應用程序分離，而且與連接基礎設施本身的網絡層分離。 市場並沒有看到相互競爭的互連平台走向孤島和技術之間的競爭，而是朝著相互兼容和異構、融合的基礎設施發展。
Amazon