Redes de área de armazenamento (SANs) aproveite as arquiteturas de rede estilo barramento para acelerar e descentralizar o acesso ao armazenamento corporativo. Acelerar o acesso ao armazenamento, portanto, abrange a aceleração do desempenho da SAN, bem como a própria mídia de armazenamento, tornando crítico equipar o Laboratório de teste StorageReview Enterprise com uma variedade de opções de interconexão nas três principais famílias de protocolos de rede: Ethernet, InfiniBand e Fibre Channel. Essas opções de interconexão fornecem os meios para realizar benchmarking abrangente com base em condições comparáveis às que os administradores de SAN realmente experimentam em campo.
Redes de área de armazenamento (SANs) aproveite as arquiteturas de rede estilo barramento para acelerar e descentralizar o acesso ao armazenamento corporativo. Acelerar o acesso ao armazenamento, portanto, abrange a aceleração do desempenho da SAN, bem como a própria mídia de armazenamento, tornando crítico equipar o Laboratório de teste StorageReview Enterprise com uma variedade de opções de interconexão nas três principais famílias de protocolos de rede: Ethernet, InfiniBand e Fibre Channel. Essas opções de interconexão fornecem os meios para realizar benchmarking abrangente com base em condições comparáveis às que os administradores de SAN realmente experimentam em campo.
Matrizes de armazenamento totalmente flash e matrizes híbridas são as tecnologias de armazenamento que têm impulsionado o desenvolvimento de interconexões mais rápidas, mas os administradores de grandes pools de discos rígidos também se beneficiam ao prestar muita atenção ao desempenho e à confiabilidade da SAN. Hoje, o acesso a plataformas de interconexão de infraestrutura convergente pode ajudar a evitar ficar preso a um protocolo ou camada de link físico, mas as escolhas de interconexão feitas durante a arquitetura de redes de armazenamento podem afetar os recursos e o desempenho da SAN nos próximos anos.
Uma ampla variedade de opções para implementação de SAN, incluindo escolhas de cabeamento e conectores, pode tornar difícil dizer à primeira vista quais combinações e configurações de interconexão são mais adequadas para um determinado dispositivo ou aplicativo. Esta visão geral do equipamento de rede do Enterprise Test Lab começará com uma discussão de cada um dos três protocolos de interconexão mais comuns (Ethernet, InfiniBand e Fibre Channel) como uma visão geral das opções para arquitetos e técnicos de SAN. Em seguida, detalharemos e ilustraremos as principais opções de camada de link físico disponíveis para benchmarks corporativos StorageReview.
Ethernet
O laboratório StorageReview está equipado com hardware de comutação Ethernet da Netgear e Mellanox que nos permite implantar opções de conectividade de 1 GbE a 40 GbE. Para benchmarks de 1 GbE, usamos switches prosumer Netgear ProSafe. Nossa conectividade 10GbE é alimentada por um Netgear ProSafe Plus XS708E utilizando conectores 8P8C e um Mellanox SX1036 10/40 Gb, com cabos fan-out que separam quatro portas SFP+ Ethernet de uma única porta QSFP.
Embora o termo Ethernet seja frequentemente usado como sinônimo de cabeamento de cobre de par trançado que possui um conector 8P8C (comumente referido como um conector RJ45), Ethernet refere-se a um padrão de comunicação de rede que pode ser empregado em links físicos de cobre e fibra óptica. Para execuções relativamente curtas, os cabos de cobre geralmente oferecem um padrão atraente de preço por desempenho para aplicações Ethernet, mas conforme as velocidades de transmissão de dados aumentam e as distâncias de transmissão aumentam, o cabo de fibra ótica começa a oferecer uma vantagem competitiva sobre o cobre.
Vemos novos equipamentos com Ethernet em três níveis:
- 1GbE – Atualmente em 2013, a maioria dos equipamentos domésticos e profissionais é projetada com Ethernet 1000BASE-T gigabit integrada, juntamente com equipamentos para estações de trabalho corporativas, SMB NAS/SAN e interfaces LAN de servidor integradas. Estamos começando a ver cada vez mais 10GBASE-T par trançado padrão de remessa Ethernet em hardware de servidor e armazenamento, mas por enquanto as velocidades de gigabit são o padrão mínimo de fato para conectividade de rede com fio.
- 10GbE – Na primeira década dos anos 2000, velocidades de 10 gigabits exigiam fibra ótica ou Twinax de curto prazo por meio de conectores estilo SPF. O cobre e o conector 8P8C agora estão invadindo as arquiteturas SAN devido à crescente disponibilidade de hardware de rede 10GBASE-T, que permite velocidades de dez gigabits em cat6 e cat7. 10GbE sobre par trançado de cobre tornou o 10GBASE-T uma nova opção acessível para interconexão de armazenamento de alta velocidade, embora a fibra ótica ainda domine o mercado. Nosso Comutador Netgear M7100 possui vinte e quatro portas 10GBase-T e 4 portas SFP+, enquanto nosso Netgear ProSafe Plus XS708E possui oito portas 10GbE e uma porta SFP+ de fibra 10G compartilhada.
- 40GbE – Por meio do QSFP+, que consolida quatro pistas SFP+ em um conector, conseguimos obter conectividade de 40 GbE, geralmente necessária para os arrays de armazenamento modernos mais rápidos. Hardware de infraestrutura convergente, como o Mellanox SX6036 que usamos no laboratório, oferece opções para InfiniBand de 40 GbE ou 56 Gb/s, dependendo da configuração. A Comutador Ethernet Mellanox SX1036 10/40Gb serve como a espinha dorsal da rede do laboratório.
InfiniBand
O InfiniBand tornou-se amplamente disponível no início dos anos 2000, com os fabricantes de switches Mellanox e QLogic impulsionando o padrão. O InfiniBand oferece cinco níveis de desempenho de link: taxa de dados única (SDR) a 2.5 Gb/s por faixa, taxa de dados dupla (DDR) a 5 Gb/s, taxa de dados quádrupla (QDR) a 10 Gb/s, taxa de dados quatorze (FDR) a 14 Gb/s e taxa de dados aprimorada (EDR) a 26 Gb/s por faixa unidirecional.
O InfiniBand pode ser usado com cabeamento de cobre ou fibra óptica, dependendo do desempenho e da distância necessários para a interconexão. Hoje, os conectores SFF-8470, geralmente chamados simplesmente de conectores InfiniBand, geralmente terminam os cabos junto com os conectores estilo SFP. O StorageReview Enterprise Test Lab é o lar de uma estrutura Mellanox InfiniBand de 56 Gb/s, que é usada na avaliação comparativa do dispositivo de armazenamento flash, incluindo nosso Banco de Dados MarkLogic NoSQL benchmark.
O benchmark MarkLogic NoSQL compara o desempenho de armazenamento em uma variedade de dispositivos, incluindo aceleradores de aplicativos PCIe, grupos de SSDs e grandes matrizes de HDD. Usamos um tecido Mellanox InfiniBand alimentado por nosso Mellanox SX6036 para fornecer as interconexões para esses benchmarks por causa de sua taxa de transferência de rede de 56 Gb/s, bem como suporte para os protocolos iSER (iSCSI-RDMA) e SRP (SCSI RDMA). iSER e SRP substituem a pilha iSCSI TCP por Remote Direct Memory Access (RDMA), que permite maior eficiência em um ambiente em cluster, permitindo que o tráfego de rede ignore as CPUs dos sistemas e permitindo que os dados sejam copiados da memória dos sistemas de envio diretamente para o memória dos sistemas receptores. Esses recursos também são trazidos para Ethernet com o protocolo iSCSI sobre RDMA (iSER).
Tendo esta malha InfiniBand no lugar, em conjunto com um Servidor Quad-Node EchoStreams GridStreams e um conjunto padronizado de benchmarks MarkLogic NoSQL, nos permite impulsionar novos dispositivos de armazenamento de alto desempenho, como o Acelerador de aplicativos PCIe Micron P320h 2.5″ para ver como as especificações do fabricante se comparam ao desempenho em condições do mundo real. No final deste ano, adicionaremos um novo benchmark VMware que também aproveita o InfiniBand SAN da StorageReview.
Protocolo Fibre Channel
No final da década de 1990, o Fibre Channel era o protocolo de interconexão dominante para computação de alta velocidade e redes de área de armazenamento (SAN). Criando alguma confusão, o Fibre Channel é usado como abreviação de Fibre Channel Protocol, um protocolo de comunicação serial baseado em canal que geralmente é implantado em cabos de cobre e de fibra óptica. A camada de link físico do Fibre Channel permite que uma única rota de comunicação seja roteada por mais de um tipo de tecnologia de link, incluindo a mistura de segmentos de cobre e fibra ótica, para chegar ao seu destino.
O laboratório StorageReview incorpora conectividade FC de 8 Gb/s e 16 Gb/s por meio de um Canal de Fibra QLogic SB5800V 8Gb interruptor e um Brocado 6510 16Gb FC trocar. Para aplicativos de infraestrutura convergente, usamos HBAs QLogic de porta dupla de 16 Gb e, em outras situações, também utilizamos HBAs Emulex Fibre Channel de porta única de 16 Gb. Uma diferença importante entre o equipamento Fibre Channel e outra infraestrutura SAN é o preço e o licenciamento. Considerando que os switches Ethernet geralmente estão disponíveis com um número definido de portas (geralmente 12, 24 ou 48) que estão todas ativas na compra, é comum que os fabricantes de FC usem um modelo de licenciamento por porta, em que um switch Fibre Channel pode apresentar 48 portas físicas, mas inclui apenas licenças agrupadas para 12 ou 24 delas com a compra inicial. Portas adicionais e, às vezes, outras funcionalidades são habilitadas conforme a necessidade pela compra de licenças adicionais.
Fibre Channel é o primeiro protocolo SAN a ser suportado por Tecnologia Mt. Rainier da QLogic, que combina QLogic SAN HBAs com armazenamento flash baseado em servidor e software para fornecer cache independente do sistema operacional por meio de uma placa PCIe instalada nos servidores. Mt. Rainier se concentra em uma placa adaptadora baseada em QLogic PCIe HBA para lógica e gerenciamento de cache, bem como o próprio armazenamento, que então se conecta à camada flash. O resultado líquido é o cache local para o servidor de computação por meio de uma placa de interface que seria necessária para a conectividade Fibre Channel SAN independentemente. Para aplicativos executados em um servidor ou cluster, o cache se parece com o armazenamento SAN, mas é mais rápido de acessar.
Essa abordagem, aproveitando a infraestrutura SAN para fornecer cache local e em todo o cluster, demonstra o espaço significativo para inovação na geração atual da tecnologia Fibre Channel. A instalação de mais de um dos adaptadores FabricCache da QLogic em um cluster permite que o cache seja compartilhado por toda parte – a integração com a malha Fibre Channel permite que o cache na placa seja aproveitado nas escalas local e de cluster.
Componentes físicos
Cabo de cobre de par trançado (Cat Cables)
O cabo de cobre de par trançado é a interconexão mais amplamente usada fora das redes de armazenamento de alta velocidade, embora com a chegada das interconexões de cobre gigabit e 10 gigabit, o par trançado tenha obtido ganhos em relação ao cabo de fibra ótica para aplicativos SAN de alta velocidade. A família “cat” (categoria) de cabos de par trançado tem as vantagens de baixo custo, facilidade de fabricação e um tipo de conector que permaneceu relativamente inalterado por várias gerações de tecnologias de rede.
O cabo de cobre de par trançado é classificado por um número de geração que reflete sua taxa máxima de transmissão de dados e distância máxima de link nominal. A partir da década de 1990, uma sucessão de gerações “cat” trouxe conectividade de 100Mb/s (cat5), 1Gb/s (cat5e), 10Gb/s (cat6) e maior distância máxima de link (cat7).
Twinax
Originalmente usado nos primeiros sistemas de microcomputadores, o cabeamento biaxial (Twinax) encontrou uso contínuo como uma camada física para interconexões de 10 GbE no século XXI. Devido à sua construção simples, o Twinax oferece vantagens de custo em relação aos cabos de fibra ótica para trechos curtos, mas ainda assim é mais caro do que 21 GbE via par trançado cat10 ou cat6. Se o cabo de par trançado continuar a ganhar terreno em aplicativos de interconexão SAN, o Twinax poderá mais uma vez ser relegado a aplicativos legados e de nicho.
Cabo de fibra ótica
Os cabos de fibra ótica oferecem várias vantagens técnicas sobre o cobre para transmissão de dados, embora seu custo muito maior e a falta de meios práticos dos técnicos para criar seus próprios cabos no data center tenham levado muitas empresas e data centers a reconsiderar o cobre para interconexões. Entre as vantagens da fibra óptica estão os comprimentos máximos de transmissão mais longos e a falta de vulnerabilidade a 'ruído' eletromagnético de equipamentos próximos ou instalação inadequada.
A fibra óptica é encontrada em duas variedades: monomodo e multimodo. O modo único apresenta uma vertente interna e é capaz de maiores taxas máximas de dados e distâncias entre os segmentos de rede. No entanto, requer o uso de lasers mais caros que podem aumentar o custo dos dispositivos de rede. O multimodo é tolerante a materiais de cabo mais baratos e pode ser acionado por luzes LED mais simples e menos caras, em vez de lasers.
No momento, o cabo óptico continua sendo o cabo universal para implementação SAN empresarial. As interconexões de fibra óptica modernas geralmente apresentam subconectores padrão da indústria, tornando as atualizações e alterações de protocolo uma questão de troca de transceptores para usar o mesmo link para Ethernet, Fibre Channel ou InfiniBand. Os custos iniciais da instalação de fibra óptica são altos, mas o cabo de qualidade tem uma longa vida útil, pois as atualizações de largura de banda geralmente exigem apenas a atualização de transceptores e hardware de comutação.
Transceptores/Conectores estilo SFP
Durante os últimos 10 anos, o SFP e os sucessores do SFP comandaram um segmento crescente do mercado de interconexão devido à flexibilidade do fator de forma. A maior parte do que vemos em 2013 apresenta SFP+ ou QSFP, embora existam outras variantes.
- SFP: Small Form-Factor Pluggable, projetado para velocidades de até 1 Gb/s
- SFP+: plugável de fator de forma pequeno aprimorado, projetado para velocidades de até 10 Gb/s e compatível com SFP
- QSFP: Quad Small Form-Factor Pluggable, projetado para suportar 40 Gb/s e conexões mais rápidas, este fator de forma combina quatro interfaces em um transceptor
Olhando para o futuro
Com suporte da Brocade, Emulex, HP, Intel, Mellanox, Netgear, QLogic e outros, o laboratório StorageReview está equipado para qualquer necessidade de interconexão que possa surgir. Em um ambiente heterogêneo como este, a flexibilidade é fundamental, não há como dizer quando uma parte do backbone de fibra pode precisar ser provisionada para uma nova matriz ou quando veremos um pequeno NAS padrão que oferece suporte à agregação de link Ethernet quádruplo. É claro que nem todos os ambientes corporativos ou SMB precisarão ser tão flexíveis e, para esse fim, alguns provedores de armazenamento estão falando mais sobre modularidade do que prender os compradores em requisitos de interconexão específicos. A NetApp, por exemplo, possui placas intercambiáveis de fibra e 10 GbE para facilitar o encaixe de seus arrays em ambientes que podem ter sido padronizados em um ou outro.
Os caras da interconexão também estão fazendo algo semelhante, agora estão disponíveis switches SFP+ que simplificam para os técnicos alternar entre mídia de link e protocolos sem rasgar e reconstruir. Os HBAs (Host Bust Adapters) convergentes da QLogic oferecem suporte à alteração de portas entre Ethernet e Fibre Channel, trocando transceptores e cabos, bem como alterando uma configuração no BIOS da placa. A Mellanox foi uma das primeiras líderes em placas de rede que utilizam interconexões virtuais, permitindo que a mesma NIC opere via InfiniBand ou Ethernet conectando um cabo diferente e carregando um driver diferente.
O impulso para a infraestrutura convergente está ocorrendo paralelamente à tendência para a virtualização. As implicações das gerações mais recentes de SAN e tecnologia de virtualização apontam para um movimento constante para desacoplar a infraestrutura física não apenas dos servidores e aplicativos que são executados nelas, mas também da camada de rede que conecta a própria infraestrutura. Em vez de ver plataformas concorrentes de interconexão caminhando para silos e competição entre tecnologias, o mercado está caminhando para a intercompatibilidade e infraestruturas heterogêneas e convergentes.