O protocolo de teste SQL Server OLTP da StorageReview emprega o rascunho atual do Benchmark C (TPC-C) do Transaction Processing Performance Council, um benchmark de processamento de transações online que utiliza uma combinação de transações somente leitura e atualização intensiva para simular as atividades encontradas em bancos de dados complexos ambientes de aplicativos. Embora o benchmark TPC-C não possa simular toda a gama de aplicativos de banco de dados em uso, ele se aproxima muito mais do que benchmarks de desempenho sintéticos mais simples ao medir os pontos fortes de desempenho e gargalos de armazenamento e infraestrutura de servidor em ambientes de banco de dados.
O TPC-C simula um ambiente onde muitos operadores de terminal executam transações em um banco de dados, incluindo atividades essenciais de processamento de transações online (OLTP), como entrada e entrega de pedidos, registro de pagamentos, verificação do status dos pedidos e monitoramento do nível de estoque nos armazéns . O cenário e a carga de trabalho são modelados nos requisitos e cargas de trabalho de um fornecedor atacadista, mas destinam-se a refletir amplamente qualquer setor que deve gerenciar, vender ou distribuir um produto ou serviço.
Cinco tipos de transações são usados para modelar essa atividade comercial, com os resultados expressos em termos de pedidos que podem ser totalmente processados por minuto. O benchmark TPC-C requer a execução simultânea de vários tipos de transações de diferentes complexidades, processamento para transações online e diferidas, integridade da transação (propriedades ACID), distribuição não uniforme de acesso a dados por meio de chaves primárias e secundárias e contenção de acesso a dados e atualizar.
Dell Benchmark Factory para bancos de dados
O Dell Benchmark Factory for Databases é uma ferramenta de teste de desempenho de banco de dados destinada a testar patches e outros novos códigos, realizar migrações, consolidar bancos de dados, virtualizar bancos de dados existentes e fazer outras alterações em ambientes de hardware ou software. O Benchmark Factory for Databases também apresenta uma tecnologia de captura e reprodução de carga de trabalho que cria scripts de cargas de trabalho de produção Oracle e SQL Server em ambientes de teste para medir o desempenho, funcionalidade que usamos como parte de nosso protocolo de benchmark SQL Server OLTP.
Servidor 2012 do Windows
O Windows Server 2012 incorpora uma ampla variedade de funcionalidades de servidor, incluindo recursos de armazenamento, rede, virtualização e automação. O Windows Server 2012 pode usar a plataforma de virtualização Hyper-V com até 64 processadores virtuais e 1 TB de memória por máquina virtual.
Servidor SQL 2012 SP1
O SQL Server 2012 é uma plataforma para armazenamento de informações locais e em nuvem pública e incorpora a funcionalidade de alta disponibilidade AlwaysOn, dados consistentes por meio de modelo semântico de BI e serviços de qualidade de dados e descoberta de dados por meio de Power View e PowerPivot. De acordo com a Microsoft, as tecnologias xVelocity in-memory do SQL Server 2012 fornecem ganhos de desempenho de consulta em relação ao SQL Server 2008.
Ambiente de teste OLTP do SQL Server
As soluções de armazenamento são testadas com o benchmark OLTP do SQL Server no Laboratório de Testes Empresariais da StorageReview, utilizando múltiplos servidores conectados por uma rede de alta velocidade. Utilizamos o Dell PowerEdge R730 para diferentes segmentos do ambiente, incluindo quatro R730s atuando como hosts ESXi 5.1, um R730 executando um VMware vCenter Appliance e um R730 como servidor bare-metal executando o SQL Server 2012 sobre o Windows Server 2012. A linha Dell PowerEdge é atualmente nossa principal escolha para o desenvolvimento desta plataforma, pois oferece desempenho superior e, ao mesmo tempo, excelente custo-benefício. A linha PowerEdge também oferece excelente compatibilidade de hardware, o que é absolutamente essencial, visto que incorporamos diferentes tecnologias de armazenamento e rede em nossa plataforma de testes.
Interconexões InfiniBand de 56 Gb da Mellanox foram utilizadas para fornecer o máximo desempenho e eficiência de rede em cada host ESXi vSphere, garantindo que as VMs conectadas não sofressem limitações de rede. Utilizamos uma única placa de rede Mellanox ConnectX-3 operando em modo IPoIB, o que nos proporciona uma conexão de 56 Gb/s entre cada servidor. Isso elimina quaisquer restrições de rede e reduz a complexidade do ambiente em nossa infraestrutura de testes multiuso.
Equipamento LoadGen de primeira geração do SQL Server OLTP Benchmark Factory
- Lenovo ThinkServer RD630 Cluster VMware ESXi vSphere de 2 nós
- Quatro CPUs Intel E5-2690 em cluster (dois por nó, 2.9 GHz, 8 núcleos, cache de 20 MB)
- 256 GB de RAM (128 GB por nó, 8 GB x 16 DDR3, 64 GB por CPU)
- SSD OCZ Deneva 120 SATA de 2 GB x 4 (via LSI 9207-8i)
- 2 adaptadores Mellanox ConnectX-3 InfiniBand (vSwitch para vMotion e rede VM)
- VMware ESXi vSphere 5.1 / Enterprise Plus 4 CPUs
Equipamento LoadGen de fábrica de benchmark OLTP do SQL Server de segunda geração
- Hosts de cliente virtual Dell PowerEdge R730 VMware ESXi vSphere (2)
- Quatro CPUs Intel E5-2690 v3 para 124 GHz em cluster (dois por nó, 2.6 GHz, 12 núcleos, cache de 30 MB)
- 512 GB de RAM (256 GB por nó, 16 GB x 16 DDR4, 128 GB por CPU)
- Inicialização do cartão SD (Lexar 16 GB)
- 2 adaptadores Mellanox ConnectX-3 InfiniBand (vSwitch para vMotion e rede VM)
- 2 x Emulex 16GB FC HBA de porta dupla
- 2 x NIC de porta dupla Emulex 10GbE
- VMware ESXi vSphere 6.0 / Enterprise Plus 4-CPU
- Comutador InfiniBand Mellanox SX6036
- 36 portas FDR (56 Gb/s)
- Capacidade de comutação agregada de 4 TB/s
Resultados do benchmark OLTP do SQL Server
A principal métrica de desempenho relatada pelo TPC-C é uma medida de “produção de negócios” para o número de pedidos processados por minuto, expresso como transações por minuto-C (tpmC). Outras métricas, incluindo preço por tpmC e watts por tpmC, também são relatadas.
A empresa retratada pelo benchmark é um fornecedor atacadista com vários distritos de vendas distribuídos geograficamente e armazéns associados. À medida que o negócio simulado se expande, novos armazéns e distritos de vendas são criados. Cada armazém regional cobre 10 distritos e cada distrito atende a 3,000 clientes. Cada armazém simulado possui dez terminais e todas as cinco transações estão disponíveis em cada terminal. A métrica tpm-C é o número de transações 'New Order' executadas por minuto.
Em nosso ambiente de teste Benchmark Factory, usamos um esquema de teste TPC-C modificado, com latências VU definidas para 1/4 de seus valores originais para direcionar I/O adicional para o meio de armazenamento que está sendo testado. Usamos tamanhos de banco de dados de escala 1,500 e escala 3,000 para testar diferentes classes de produtos, o que resulta em tamanhos de banco de dados medindo 333 GB e 685 GB, respectivamente.
As plataformas SAN e hiperconvergentes mais recentes executam 4 VMs simultaneamente para mostrar como várias cargas de trabalho operam ao mesmo tempo em cada uma. Essa metodologia de teste ajuda a desmistificar as comparações de desempenho entre os sistemas hiperconvergentes mais recentes e os arrays de armazenamento SAN tradicionais.
Resultados de desempenho de SQL hiperconvergente/virtualizado SAN (4 VM agregados)
| dispositivo | TPS agregado de usuário virtual de 15k | Tempo médio de resposta do usuário virtual de 15k (ms) |
|---|---|---|
| X-IO ISE 860 (4) Dell R730, X-IO ISE 860 AFA (2) Volumes de 10 TB |
12,565 | 13 |
| DotHill Ultra48 Híbrido (4) Dell R730, híbrido DotHill Ultra48 (2) pools RAID14 de 1 discos, 40 HDDs de 1.8 TB, 8 SSDs de 400 GB |
12,480 | 65.5 |
| VMware Virtual SAN (ESXi 6.0) (4) Dell R730xd, 80 HDDs de 1.2 TB, 16 SSDs de 800 GB |
12,437 | 74 |
Resultados de desempenho de SQL virtualizado de armazenamento flash local (4 VM agregado)
| dispositivo | TPS agregado de usuário virtual de 15k | Tempo médio de resposta do usuário virtual de 15k (ms) |
|---|---|---|
| SSD Intel DC P3700 3.2TB |
12,629.366 | 7.0 |
| HGST Ultrastar SN100 AIC 3.2TB |
12,599.87 | 7.0 |
| SanDisk PX600 3.2TB |
12,628.64 | 7.0 |
| Huawei ES3000v2 3.2TB |
12,629.37 | 7.0 |
| Samsung XS1715 3.2TB |
12,628.641 | 7.0 |
| Memblaze PBlaze4 3.2TB |
12,628.447 | 7.5 |
| Memblaze PBlaze4 6.4TB |
12,628.24 | 7.5 |
Resultados de desempenho do PCIe Application Accelerator / Multi-SSD/HDD RAID (escala 3,000)
| dispositivo | TPS médio de usuário virtual de 30k | Tempo médio de resposta do usuário virtual de 30k (ms) |
|---|---|---|
| FusionioDrive2 Duo 2.4 TB eMLC PCIe |
6322.78 | 3 |
| Huawei ES3000 2.4 TB MLC PCIe |
6321.67 | 3 |
| Fusão SX300 3.2TB MLC PCIe |
6321.1 | 3 |
| FusionioDrive2 Duo 1.2 TB SLC PCIe |
6320.93 | 3 |
| Huawei ES3000 1.2 TB MLC PCIe |
6320.76 | 3 |
| Membraze PBBlaze3L 2.4 TB MLC PCIe x 1 |
6320.7 | 3 |
| Fusão PX600 2.6TB MLC PCIe |
6320.5 | 3 |
| Fusão ioDrive2 1.2TB eMLC PCIe |
6319.61 | 4 |
| Hitachi SSD800MM 400GB eMLC SAS x 4, espaços de armazenamento do Windows, espelho |
6316.21 | 7 |
| Infortrend ESDS S16F-R2651 Sandisk Optimus Eco 400 GB x 16, RAID10 (1) Conjunto |
6316.08 | 7 |
| Membraze PBBlaze3L 1.2 TB MLC PCIe x 1 |
6315.3 | 7 |
| Virident FlashMAX II 2.2 TB MLC PCIe, modo HP |
6314.71 | 8 |
| Fusão ioScale 3.2 TB MLC PCIe |
6314.26 | 8 |
| Samsung XS1715 NVMe 1.6 TB MLC PCIe |
6311.9 | 10 |
| Samsung 845DC PRO 400GB MLC SATA x 4 |
6309.4 | 12 |
| OCZ ZD-XL 1.6 TB (Volume Flash) MLC PCIe |
6309.12 | 12 |
| LSI Nytro WarpDrive 800GB MLC PCIe |
6306.10 | 15 |
| Intel P3700 NVMe 800 GB MLC PCIe |
6303.72 | 15 |
| Sandisk Optimus Eco 400 GB MLC SAS x 4, espaços de armazenamento do Windows, espelho |
6300.18 | 19 |
| Micron P420m 1.4 TB MLC PCIe |
6299.99 | 19 |
| Hitachi SSD800MM 400GB MLC SAS x 8, RAID10, 10GbE x 2 iSCSI da Supermicro S2012 R2 FileServer |
6298.17 | 21 |
| OCZ Talos 2 400 GB MLC SAS x 4, espaços de armazenamento do Windows, espelho |
6297.17 | 21 |
| SamsungSM843T 480GB MLC SATA x 4 |
6290.4 | 26 |
| Sandisk CloudSpeed 1000E MLC SATA x 4, espaços de armazenamento do Windows, espelho |
6270.32 | 42 |
| SSD Intel S3500 480GB MLC SATA x 4, espaços de armazenamento do Windows, espelho |
6265.92 | 46 |
| Samsung PM853T 960GB MLC SATA x 4 |
6262.6 | 48 |
| SSD Samsung 845DC EVO 480GB TLC SATA x 4 |
6244.8 | 62.0 |
| Micron P400m 400 GB MLC SATA x 4, espaços de armazenamento do Windows, espelho |
6231.87 | 72 |
| Micron M500 960 GB MLC SATA x 8, RAID50, 10GbE x 2 iSCSI da Supermicro S2012 R2 FileServer |
6222.76 | 79 |
| X-IO ISE 710 FC Híbrido |
6153.12 | 133 |
| Dell EqualLogic PS6210XS iSCSI Híbrido |
6135.52 | 146 |
| Dell EqualLogic PS6110XS iSCSI Híbrido |
5794.10 | 434 |
| Seagate Turbo SSHD 600GB SAS H/W LSI 9286-8e x 16, RAID10 |
4689.80 | 1,523 |
| WD Xe 900GB 10K SAS H/W LSI 9286-8e x 16, RAID10 |
3729.85 | 3,303 |
| Samsung SSD 840 Pro 512GB MLC SATA x 4, espaços de armazenamento do Windows, espelho |
2616.08 | 6,725 |
Resultados de desempenho individuais de SSDs SAS/SATA (escala de 3,000)
| dispositivo | TPS médio de usuário virtual de 30k | Tempo médio de resposta do usuário virtual de 30k (ms) |
|---|---|---|
| Toshiba HK3R2 960GB MLC SATA x 1 |
6309.7 | 12 |
| SanDisk CloudSpeed Eco 960GB cmLC SATA x 1 |
6307.0 | 14 |
| OCZ Intrépido 3600 400GB MLC SATA x 1 |
6281.2 | 32 |
| Hitachi SSD800MM 800GB eMLC SAS x 1 |
6277.76 | 36 |
| Intel S3700 800GB eMLC SATA x 1 |
6219.12 | 82 |
| Toshiba PX02SM 800GB eMLC SAS x 1 |
6193.63 | 102 |
| Toshiba PX03SN 800GB eMLC SAS x 1 |
6181.64 | 111 |
| Samsung SSD 840 EVO 1TB MLC SATA x 1 |
2560.33 | 6,974 |
| Micron M500 960GB MLC SATA x 1 |
107.13 | 275,318 |
| Toshiba HG6 512GB MLC SATA x 1 |
96.1 | 307,558 |
Resultados de desempenho da solução de cache (escala 1,500)
| dispositivo | TPS médio de usuário virtual de 15k | Tempo médio de resposta do usuário virtual de 15k (ms) |
|---|---|---|
| Seagate Turbo SSHD 600GB SAS H/W LSI 9286-8e x 16, RAID10 |
3049.46 | 176 |
| Seagate Savvio 10k.7 600GB SAS H/W LSI 9286-8e x 16, RAID10 |
3027.22 | 212 |
| Seagate Enterprise Capacidade SAS 1.2TB H/W LSI 9286-8e x16, RAID10 |
3001.5 | 255 |
| WD Se 4 TB SATA H/W LSI 9286-8e x 16, RAID10 |
2948.79 | 347 |
| WD RE4 4 TB SAS H/W LSI 9286-8e x 16, RAID10 |
2629.40 | 964 |
| WD Xe 900GB 10K SAS H/W LSI 9286-8e x 16, RAID10 |
2187.89 | 2,114 |
Amazon