NVMe SSD:er tar över datacentret och cementerar sig snabbt som den bästa teknologin för uppdragskritiska applikationer. NVMe-gränssnittet låter blixten gå fritt och tar sig förbi äldre flaskhalsar i SATA- och SAS-gränssnitt. Att ta bort flash-slussarna introducerar dock nya arkitektoniska utmaningar som inte är lätta att lösa med traditionella HBA/RAID-kortserverlayouter. Intel har åtgärdat detta problem med en förenklad lösning för att hantera NVMe SSD:er på servrar. Virtual RAID på CPU, eller Intel VROC för kort, tillåter i huvudsak SSD:erna att ha direkt åtkomst till CPU:erna, vilket tar bort behovet av en HBA helt. Detta förenklar avsevärt både datavägen och komponenterna som krävs för att få ut det mesta av NVMe SSD:er på servrar. Utöver RAID i företagsklass inkluderar Intel VROC den förväntade servicebarheten som företaget kräver, inklusive RAID-hantering före start, hot plug-stöd och LED-hantering.
För att bättre förstå Intel VROC är det viktigt att förstå en annan teknik som kallas Intel Volume Management Device (Intel VMD). Intel VMD är kompatibel med de senaste Intel Xeon Scalable-processorerna och är en integrerad kontroller i CPU PCIe-rotkomplexet. Nettoresultatet är att Intel VMD möjliggör mer eller mindre virtuella HBA för de anslutna NVMe SSD:erna. Detta är viktigt eftersom Intel VMD erbjuder kritiska funktioner för diskservice som är förenklade utan att offra tillförlitligheten. Tack vare Intel VMD kan NVMe SSD-enheter hot-swapas utan tjänstavbrott eller omstart. Intel VMD omdirigerar insättning och borttagning av PCIe-busshändelser till RAID-lagringsmedvetna drivrutiner som hanterar dessa händelser och kommer att initiera en automatisk ombyggnad. I händelse av ett fel är det också viktigt att veta vilken enhet som ska tas bort, vilket kan vara svårt i datacenter med dussintals eller hundratals enheter och inkonsekventa rutiner för märkning av enhetsfack från leverantörer. Intel VMD stöder NVMe LED Management, vilket är i linje med enhetsljusspecifikationen som SATA- och SAS-enheter har använt i åratal, vilket gör det enkelt att identifiera och serva en SSD när det behövs. Intel VMD stöds också brett i branschen, VMware, till exempel, stöder Intel VMD NVMe-drivrutinen inbyggt i VMware ESXi 6.7-utgåvan som inkluderar stöd för att hantera NVMe SSD:er i vSAN.
Intel VROC bygger på Intel VMD, vilket ger NVMe SSD RAID till bilden. För närvarande kan en enda Xeon Scalable CPU stödja upp till 12 NVMe direktanslutna enheter och upp till 6 RAID-arrayer. Ett dual-proc-system skulle stödja 24 respektive 12. En CPU kan dock utnyttja switchar för att stödja upp till 48 SSD:er i ett system. Intel VROC stöder datavolymer och startvolymer, något som har varit historiskt svårt för NVMe-enheter att åstadkomma. RAID-inställningar kan konfigureras via BIOS eller CLI och Intel stöder hantering lokalt eller på distans via RESTful-agent.
Intel VROC säljs som en fysisk nyckel; det finns tre SKU:er tillgängliga. Standard stöder RAID 0/1/10 med SSD-stöd från tredje part. Premium-licensen lägger till stöd för RAID3. Det finns också en Intel SSD Only-licens, som, som namnet antyder, endast stöder Intel-enheter men erbjuder hela raden av RAID-alternativ.
Förutom en licens, NVMe SSD:er och Xeon Scalable CPUs, behövs en kompatibel server. Även om Intel VROC stöds brett, finns det vissa serverleverantörer som föredrar sina egna kortbaserade tekniker för att hantera enheter framför detta mer moderna alternativ. I den här recensionen har vi samarbetat med EchoStreams, som stöder Intel VROC över deras lagringsserverlinjer..
För att vara en så liten låda är EchoStreams FlacheSAN1N10U-D5 extremt flexibel. I vår konfiguration är servern utrustad med dubbla Intel 8180M-processorer, 64 GB RAM och åtta 2 TB Intel DC P4510 NVMe SSD-diskar . Servern erbjuder tre x16 PCIe 3.0-kortplatser, vilket gör det möjligt för användare att maximera den interna lagringskapacitetens fulla potential med upp till 160 TB NVMe-flash (10 x 16 TB SSD-diskar) och tre 100 Gbps Ethernet-nätverkskort.
Chassidesignen möjliggör också en symmetrisk layout mellan båda CPU:erna, NVMe SSD:erna och de utgående NIC:erna. Som ett whitebox-erbjudande kan chassit även anpassas för slutanvändaren och stöder andra SSD-storlekar som 15 mm och 7 mm U.2 samt interna M.2 SSD:er och Intel Optane. Slutligen kan servern konfigureras med en dubbel 850W AC-strömförsörjning, eller ställas in för att stödja 48VDC högeffektiva nätaggregat. Med tanke på de avancerade Intel-processorerna i vår konfiguration kom de större nätaggregaten väl till pass.
När man tittar på var FlacheSAN1N10U-D5 kan lägga till värde, pekar EchoStreams på innehållsleveransnätverk (CDN) som ett primärt användningsfall. För närvarande använder kunder dessa noder som cachningsenheter antingen i datacentret eller på kantplatser för att leverera populärt innehåll till slutanvändare. Det finns också flera universitet som utnyttjar plattformen för HPC och forskningsanvändningar där beräkningskraft och lagringskapacitet ger en avgörande fördel för att lösa komplexa problem. Utöver dessa scenarier fungerar servern också bra för media och underhållning efter produktions-arbetsflöden och passar även bra med mjukvarudefinierade lagringserbjudanden som kan dra nytta av NVMe-lagring och höghastighetsnätverk.
EchoStreams FlacheSAN1N10U-UN Specifikationer
| Formfaktor | 1U |
| CPU | Stöder dual Socket LGA3647 Intel Xeon skalbar processor |
| chipset | Intel C622 |
| RAM | DDR4 upp till 1.5 TB RDIMM/RDIMM/LRDIMM 2666/2400 MHz |
| DIMM-kortplatser | Upp till 16 |
| Enhetsfack |
|
| I / O-gränssnitt |
|
| Expansion Slots |
|
| bakplan | 5 x 2-fack NVMe-bakplan |
| Operativsystem som stöds |
|
| Effekt |
|
| Mått |
|
| Miljö |
|
Användbarhet och distribution
Moderkortet har inget fancy GUI för att konfigurera Intel VROC, men det är säkert användarvänligt. För IT-administratörer som kanske är bekanta med att använda mdadm-kommandon från en konsol automatiserar Intel VROC mycket av backend-arbetet för att förenkla installationen. Även om det inte är laddat med klockor och visselpipor, kommer det inte att vara svårt för de flesta IT-proffs att använda. Från BIOS-skärmen kan användare ställa in sina RAID-volymer samtidigt som de ser de fysiska diskarna som är tillgängliga.
Därefter kan man namnge volymen (volym 0 i det här fallet), välja RAID-nivån och aktivera RAID över båda Intel VMD-kontroller.
När RAID är konfigurerat kan man titta på volymåtgärderna som att ta bort RAID-volymen eller göra den startbar.
Slutligen kan användare vidta diskåtgärder som att återställa till icke-RAID eller ta bort RAID-data från diskarna.
När systemet väl var igång i vår CentOS 7.4-miljö var konfigurationen av RAID-volymerna klara och väntade. För RAID5/10-volymer kan du titta på mdstat för bakgrundsinitiering, eller ändra hela RAID-gruppen manuellt om du vill. BIOS-nivåinställningen tar bort mycket av benet för att få igång RAID, men tar inte bort eller ersätter det för användare som vill ha den extra nivån av anpassning.
Prestanda
VDBench arbetsbelastningsanalys
När det gäller benchmarking av lagringsmatriser är applikationstestning bäst, och syntetiska tester kommer på andra plats. Även om det inte är en perfekt representation av faktiska arbetsbelastningar, hjälper syntetiska tester till baslagringsenheter med en repeterbarhetsfaktor som gör det enkelt att göra jämförelser mellan äpplen och äpplen mellan konkurrerande lösningar. Dessa arbetsbelastningar erbjuder en rad olika testprofiler som sträcker sig från "fyra hörn"-tester, vanliga tester av databasöverföringsstorlek, såväl som spårfångst från olika VDI-miljöer. Alla dessa tester utnyttjar den vanliga vdBench-arbetsbelastningsgeneratorn, med en skriptmotor för att automatisera och fånga resultat över ett stort beräkningstestkluster. Detta gör att vi kan upprepa samma arbetsbelastningar över ett brett utbud av lagringsenheter, inklusive flash-arrayer och individuella lagringsenheter.
profiler:
- 4K slumpmässig läsning: 100 % läsning, 128 trådar, 0-120 % iorat
- 4K Random Write: 100% Write, 64 trådar, 0-120% iorate
- 64K sekventiell läsning: 100 % läsning, 16 trådar, 0-120 % iorat
- 64K sekventiell skrivning: 100 % skrivning, 8 trådar, 0-120 % iorate
- Syntetisk databas: SQL och Oracle
- VDI Full Clone och Linked Clone Traces
För den här serien av VDBench-tester kommer vi att köra våra normala tester men istället för en enhet (t.ex. SSD, server eller array), kommer vi att köra flera konfigurationer balanserade över båda processorerna:
- 8 enheter i JBOD
- Två grupper om fyra SSD:er i RAID0
- Två grupper om fyra SSD:er i RAID5
- Två grupper om fyra SSD:er i RAID10
Data som presenteras nedan är summan av de 8 SSD-enheter som används i varje konfiguration. Dessa data är helt enkelt avsedda att belysa vad den här plattformen är kapabel till i de olika konfigurationer som Intel VROC stöder. Det bör noteras att RAID5-inlägg lägre skrivprestanda under hela denna recension på grund av komplexiteten i paritetsberäkningar och uppdateringar och förväntas baserat på RAID-nivåjämförelser.
För 4K topp slumpmässig prestanda kunde alla RAID-grupper hålla sig under 1 ms för latens (i själva verket var alla grupper under 210 μs). Alla grupper slutade på mellan 2.5 miljoner och 3 miljoner IOPS och den bästa prestandan gick till JBOD-gruppen med 2,944,335 163 XNUMX IOPS och en latens på XNUMX μs.
4K slumpmässig skrivning såg inte samma enhet med de olika RAID-grupperna. RAID5-gruppen hade den lägsta prestandan med en topp på 21,921 936.7 IOPS och en latens på 0 ms. De andra RAID-grupperna presterade bättre med RAID1,879,180-gruppen som toppade på 1.35 XNUMX XNUMX IOPS med en latens på XNUMX ms.
Genom att byta över till sekventiella arbetsbelastningar visade 64K-läsning att alla RAID-grupper började starkt med fördröjning på under millisekunder och att endast JBOD gick över 1ms runt 330K IOPS eller 22GB/s och toppade på 363,203 22.7 IOPS eller 1.4GB/s med en latens på endast XNUMX. Fröken.
Återigen med skriver att RAID-grupperna bryts upp och levererar mycket olika prestanda. Återigen tappade RAID5-gruppen ut runt 25K IOPS med 4.3ms latens och RAID0 gick vidare till 124,104 958 IOPS med en latens på XNUMXμs.
Nästa upp är våra SQL-arbetsbelastningar. Alla RAID-grupper hade en latensprestanda på under millisekunder fram till cirka 1.4 miljoner IOPS. Här ökade RAID5-gruppen i latens och sjönk i prestanda. De andra tre grupperna fortsatte på under 1 ms tills de alla bröt 2 miljoner IOPS. De högsta siffrorna tilldelas återigen RAID0-gruppen med toppprestanda på 2,519,727 1.45 XNUMX IOPS med en latens på XNUMX ms.
För SQL 90-10 såg vi en bättre latensprofil för RAID5-gruppen med en topp på 302μs men dess toppprestanda var bara 436,439 1.5 IOPS. De andra grupperna gjorde det över 1 miljoner IOPS innan de bröt 10 ms, med både JBOD- och RAID0-grupperna som toppade kort därefter. RAID2,135,362-gruppen nådde en topp på 1.54 XNUMX XNUMX IOPS med en latens på XNUMX ms.
Återigen i SQL 80-20 hade RAID5-gruppen sub-millisekunders latens med lägre prestanda jämfört med de andra, 345μs till 212,980 1 IOPS. De andra grupperna passerade 1 miljon IOPS under 10 ms med JBOD och RAID0 som toppade kort efter igen och RAID1,753,622 toppade på 1.7 XNUMX XNUMX IOPS med en latens på XNUMX ms.
Våra Oracle-riktmärken gav oss föga överraskande en liknande placering som ovanstående. RAID5-gruppen toppade först vid 61,695 153 IOPS med en latens på 780μs. De andra enheterna nådde cirka 1K IOPS tillsammans på mindre än 10 ms innan RAID954,567 bröt över och toppade (2.63 1,274,172 IOPS med en latens på 4.2 ms), följt av JBOD (toppade vid 0 1,472,338 2.18 IOPS med en latens på XNUMX ms), och slutligen RAIDXNUMX-gruppen med en topp på XNUMX XNUMX XNUMX IOPS med en latens på XNUMX ms.
Oracle 90-10 hade RAID5-gruppens topp först med 406,693 255 IOPS och en latens på 1.5μs. De andra grupperna hade en fördröjning på under millisekunder till över 10 miljoner IOPS och toppade på samma sätt som vi har sett: RAID0, JBOD och RAID2,110,799 med topplaceringen på 1.55 XNUMX XNUMX IOPS och en latens på XNUMX ms.
För Oracle 80-20 nådde RAID5-gruppen en topp på 213,479 327 IOPS och en latens på 1μs. De andra grupperna nådde över 0 miljon IOPS innan de toppade med RAID1.65 vilket gjorde det till 1 miljoner IOPS på mindre än 1,757,722 ms och toppade på 1.63 XNUMX XNUMX IOPS med en latens på XNUMX ms.
Därefter bytte vi till vårt VDI-klontest, Full och Linked. Här fortsätter vi att se samma välbekanta placeringsmönster för de olika RAID-grupperna: RAID5, RAID10, JBOD och RAID0. För VDI Full Clone Boot nådde RAID5-gruppen en topp på 288,613 182 IOPS med en latens på 1.2μs. De andra grupperna nådde nästan 10 miljoner IOPS med submillisekunders latens innan RAID1,217,620-gruppen först sköt upp till 2.65 1,314,075 4.19 IOPS med 0 ms latens följt av JBOD-gruppen med 1,400,765 2.22 XNUMX IOPS med XNUMX ms latens och sedan RAID XNUMX-gruppen med XNUMX ms latens. en latens på XNUMXms.
Med VDI FC Initial Login hade RAID5-gruppen en mycket kort sikt som toppade på 13,296 286 IOPS och 175 μs för latens. De andra enheterna nådde 1K IOPS innan de bröt 0ms. RAID390-gruppen tog sig hela vägen till 429,692K IOPS med latens på under millisekunder och nådde en topp på 4.98 XNUMX IOPS med en latens på XNUMXms.
Med VDI FC Monday-inloggning nådde RAID5-gruppen en topp på 15K IOPS med 262μs. De andra RAID-grupperna tog sig över 150K innan de bröt 1 ms med RAID10-gruppen och JBOD som såg ganska hög latens på 12.8 ms respektive 11.7 ms, även om prestandan var imponerande, 234,431 341,483 IOPS och 0 435,641 IOPS. RAID5.67-gruppen hade den övergripande bästa prestandan med XNUMX XNUMX IOPS och en latens på XNUMX ms.
När vi byter till våra VDI Linked Clone-tester ser vi mycket starkare prestanda från alla grupper i vår start med RAID5-grupp som toppar vid 543,680 407 IOPS och 10 μs latens, RAID782,224 toppar vid 4.76 822,555 med 11.52 ms latens, JBOD toppar vid 0IOPS, 820,998 ms och 4.39 ms. RAIDXNUMX når en topp på XNUMX XNUMX IOPS med XNUMX ms latens.
Med VDI LC Initial Login ser vi toppprestanda som sträcker sig från 10,998 312 IOPS med 5μs latens från RAID276,814 till 7.88 0 IOPS med XNUMXms latens för RAIDXNUMX.
Slutligen med VDI LC Monday Login fortsätter vi att se mönstret av RAID5 som slutar först (11,591 315 IOPS vid 10μs) följt av RAID155 (ungefär 1.2K IOPS vid 238ms för topp) sedan JBOD (ungefär 15.8K IOPS vid 0ms topp) och (slutligen RAID279,332) 8.06 XNUMX IOPS vid XNUMX ms).
Slutsats
När vi tittade på Intel VROC-prestanda på denna 1U EchoStreams-plattform, tittade vi på fyra olika testgrupper som var och en använde aggregerad data från 8x av Intel P4510 NVMe SSD:erna. Det är lätt att deklarera RAID0 som "vinnaren" från gruppen, men det är av förväntade skäl på grund av hur RAID fungerar. Om man tittar på prestationsresultaten nerifrån och upp; som noterades inledningsvis har RAID5 en tung dataredundansstraff med paritetsberäkningar och det återspeglas tydligt i data. RAID10 använder spegling, så redundansstraffet är mycket lägre och därmed tar resultaten ett stort steg framåt jämfört med RAID5. Den gruppen följs av JBOD, med sammanlagd pass-thru-prestanda. RAID0 leder siffrorna eftersom det enbart är prestandafokuserat och drar fördel av att enheterna fungerar tillsammans via datastripning, men offrar dataresiliency. All data, ur ett RAID-funktionalitetsperspektiv, stödjer det faktum att Intel VROC är väl implementerat och ger konsekventa och förväntade resultat på en välkonstruerad plattform.
Istället för att gå igenom varje resultat i detalj (med fyra grupper kommer detta att generera totalt 64 resultat), kommer vi istället att titta på några av höjdpunkterna. I vårt 4K-test såg vi att JBOD-gruppen nästan nådde 3 miljoner IOPS med en fördröjning på under millisekunder för läsningar och RAID0 nådde 1.9 miljoner IOPS med bara 1.35 ms latens. För 64K sekventiell såg vi siffror så höga som 22.7 GB/s läsning och 7.8 GB/s skrivning. Våra SQL-tester såg 2.5 miljoner IOPS, 2.1 miljoner IOPS för 90-10 och 1.75 miljoner IOPS för 80-20, allt under 1.7 ms latens. Oracle såg 1.47 miljoner IOPS, 2.1 miljoner IOPS för 90-10 och 1.76 miljoner IOPS för 80-20, allt med 2.18 ms latens eller mindre. Vårt VDI-test visade FC Boot på 1.4 miljoner IOPS, FC Initial Login på 430K IOPS och VDI FC Monday Login på 436K IOPS och LC Boot på 821K IOPS, LC Initial Login på 277K IOPS och LC Monday Login på 279K IOPS.
I slutändan, vad Intel VROC tillhandahåller systemleverantörer som EchoStreams är ett förenklat sätt att leverera RAID med NVMe SSD:er. Resultatet är att EchoStreams kan leverera utmärkt genomströmning och latens med mindre komplexitet och kostnad. Dessutom, tack vare de extra funktionerna från Intel VMD, får EchoStreams-kunder förbättrad systemservicebarhet med funktioner som NVMe SSD hot swap, NVMe-enhetsljusstöd och startbar RAID med pre-boot-konfiguration. Som nämnts är användningsfallen varierande, men uppenbarligen finns det en enorm potential för CDN:er och andra som kan dra nytta av RAID i företagsklass över de snabbaste lagrings- och nätverksgränssnitten som är allmänt tillgängliga.
Amazon