Virtual SAN (VSAN) 5.5, VMwares första Software Defined Data Center-produkt, släpptes förra månaden och har mottagits mycket väl av företag som vill få ut mer av traditionella datorservrar. VSAN ger i huvudsak användare tillgång till redundanta noder som kombinerar beräkning och lagring, samtidigt som den integreras i virtualiseringsmiljön som allt hanteras via VMwares vSphere-klient. Enligt VMwares interna riktmärken har VSAN kapacitet att nå 2 miljoner IOPS i ett kluster med 32 noder. Hur åstadkom VMware detta och vilka är detaljerna i konfigurationen de använde för att nå denna bedrift?
VMware släppte nyligen sin testkonfiguration som nådde det anmärkningsvärda 2 miljoner IOPS-talet. Naturligtvis vet vi att IOPS bara är en del av prestandabilden för alla lagringsprodukter, applikationstestning kommer att avslöja mer om VSAN:s kapacitet när det gäller latens och potentiell genomströmning, men branschen som den är idag förstår till stor del IOPS som ett mått på lagringsprestanda .
VMware publicerade VSAN-prestandaresultat i två scenarier; 1) 100 % läsarbetsbelastning och 2) 70 % läsarbetsbelastning, 30 % skrivarbetsbelastning. Till att börja med använde varje värd en Dell PowerEdge R720 med Intel Xeon CPU E5-2650 v2 med dubbla socklar @ 2.6 GHz (Ivy Bridge), 128 GB RAM, 10 GbE, LSI 9207-8i, 1x 400 GB Intel S3700 och en hårddiskkonfiguration med 4x 1.1 TB 10 000 RPM Hitachi SAS-diskar och 3x 1.1 TB 10 000 RPM Seagate SAS-diskar.
VMware använde vSphere 5.5 U1 med Virtual SAN 5.5 på klustret med följande ändringar av standardinställningarna i vSphere:
- Öka högstorleken för vSphere-nätverksstacken till 512 MB. "esxcli systeminställningar avancerade set -o /Net/TcpipHeapMax -i 512". Du kan validera den här inställningen med "esxcli systeminställningar avancerade lista -o /Net/TcpipHeapmax"
- Tillåt VSAN att bilda 32-värdkluster. "esxcli systeminställningar avancerade set -o /adv/CMMDS/goto11 1".
- Installerade Phase 18 LSI-drivrutinen (mpt2sas version 18.00.00.00.1vmw) för LSI-lagringskontrollern.
- Konfigurerad BIOS Power Management (Systemprofilinställningar) för "Prestanda", (till exempel var alla energisparfunktioner inaktiverade)
För en mer detaljerad titt på ESXi-konfiguration, besök deras VMware Knowledgebase-sida.
100 % läs benchmarkinställningar
VMware gjorde det så att varje värd körde en enda 4-vcpu 32-bitars Ubuntu 12.04 VM med 8 virtuella diskar (vmdk-filer) på VSAN-dataarkivet med diskar fördelade över två PVSCSI-kontroller. Standarddrivrutinen för pvscsi (version 1.0.2.0-k) användes också.
För att bättre stödja storskaliga arbetsbelastningar med höga utestående I/O har VMware ändrat starttidsparametrarna för pvscsi till "vmw_pvscsi.cmd_per_lun=254 vmw_pvscsi.ring_pages=32". Besök VMwares kunskapsbas för mer information om den här konfigurationen. VMware tillämpade en lagringspolicybaserad hanteringsinställning på HostFailuresToTolerate=0 på vmdk:erna för detta benchmarktest.
IOMeter med 8 arbetartrådar kördes i varje virtuell dator, med varje tråd konfigurerad att fungera på 8 GB av en enda vmdk. Dessutom körde varje tråd en 100 % läsning, 80 % slumpmässig arbetsbelastning med 4096 byte IO:er anpassade vid 4096 bytegränsen med 16 OIO per arbetare. I huvudsak utfärdade varje virtuell dator på varje värd följande:
- 4096 byte IO-förfrågningar över en 64 GB arbetsuppsättning
- 100% läst, 80% slumpmässigt
- Sammanlagt 128 OIO/värd
VMware körde konfigurationen i en timme och mätte en sammanlagd gäst-IOPS med 60 sekunders intervall. Detta resulterade i en aldrig tidigare skådad median IOPS på 2,024,000 XNUMX XNUMX.
70% Läs 30% Skriv Benchmark
I 70/30 IO-profilen körde varje värd en enda 4-vcpu 32-bitars Ubuntu 12.04 VM med 8 virtuella diskar (vmdk-filer) på VSAN-dataarkivet. Dessutom distribuerades skivorna över två PVSCSI-kontroller. Standarddrivrutinen för pvscsi användes (version 1.0.2.0-k) medan parametrarna för starttid modifierades för pvscsi för att förbättra stödförmågan för hög utstående IO: “vmw_pvscsi.cmd_per_lun=254 vmw_pvscsi.ring_pages=32″.
Liksom i 100% Read-konfigurationen körde VMware IOMeter med 8 arbetartrådar i varje virtuell dator, även om varje tråd var konfigurerad att fungera på 4 GB av en enda vmdk. Varje tråd kör en 70 % läs, 80 % slumpmässig arbetsbelastning med 4096 byte IO:er justerade vid 4096 byte gränsen med 8 OIO.
I huvudsak utfärdade varje virtuell dator på varje värd följande:
- 4096 byte IO-förfrågningar över en 32 GB arbetsuppsättning
- 70% läst, 80% slumpmässigt
- Sammanlagt 64 OIO/värd
I 70/30-testet registrerade VMware en hastighet på 652,900 2.98 iops med en genomsnittlig latens på 3.2 ms och bandbredden under den tiden var XNUMX GB/s.
Vad betyder det?
Även om mycket mer benchmarking återstår att göra, inklusive vår uppsättning benchmarks som inkluderar saker som SQL Server och VMmark, är det uppenbart att med dessa prestandasiffror, om än med ett maximalt kluster på 32 noder, har VSAN stor potential ur ett prestandaperspektiv. Det är också värt att notera att VMware bara använde 8 fack i bakplanen, med denna konfiguration kunde de effektivt ha fördubblat lagringsutrymmet, genom att lägga till ytterligare en SSD och 7 hårddiskar till varje nod.
VMware Virtual SAN är för närvarande tillgängligt för $2,495 50 per processor med VMware Virtual SAN för Desktop till ett pris av $XNUMX per användare.
Amazon