Utvecklande lagring med SFF-TA-1001 (U.3) Universal Drive Bays

IT-avdelningar utmanas med att behöva välja och konfigurera datalagring för att möta dagens och framtida datacenter-, system- och slutanvändarkrav för sina organisationer. De måste förutsäga applikationsanvändning, arbetsbelastningsstorlekar, prestandabehov och kapacitetsförväntningar för kommande år. Att fastställa dessa krav, och sedan implementera en lagringsstrategi som möter dessa behov för idag och imorgon, är ett enormt åtagande för alla IT-avdelningar.

IT-avdelningar utmanas med att behöva välja och konfigurera datalagring för att möta dagens och framtida datacenter-, system- och slutanvändarkrav för sina organisationer. De måste förutsäga applikationsanvändning, arbetsbelastningsstorlekar, prestandabehov och kapacitetsförväntningar för kommande år. Att fastställa dessa krav, och sedan implementera en lagringsstrategi som möter dessa behov för idag och imorgon, är ett enormt åtagande för alla IT-avdelningar.

Allt eftersom tekniken utvecklas innebär uppgraderingar av lagringssystemet ytterligare en utmaning för IT och begränsas vanligtvis av det ursprungliga köpet av hårdvara. Till exempel, om en SATA-baserad lagringsinfrastruktur hade distribuerats, skulle alla hårdvaruuppgraderingar inklusive serverns bakplan, lagringskontroller och ersättningsenheter behöva vara SATA- eller möjligen SAS-baserade. För att lagring ska utvecklas till nästa nivå måste beräkningssystem byggas för att stödja nödvändiga applikationer med hjälp av nuvarande och framtida resurser. Om dessa mål uppnås kan slutresultatet för IT bli betydande när det gäller minskningar av lagringskostnader och systemkomplexitet.

Med tillkomsten av SFF-TA-1001-specifikationen¹(även känd som U.3), lagringsindustrin närmar sig att konfigurera lagring för dagens och framtida applikationskrav. U.3 är en term som hänvisar till överensstämmelse med SFF-TA-1001-specifikationen, vilket också kräver överensstämmelse med SFF-8639-modulspecifikationen². Lösningar som är baserade på U.3 skulle kunna uppnås med en tri-mode-konfiguration som använder ett enda bakplan och kontroller, som stöder alla tre enhetsgränssnitten (SAS, SATA och PCIe® från en serverplats. Oavsett gränssnitt, SAS och SATA SSD:er och hårddiskar, såväl som NVMe™SSD:er, är utbytbara inom U.3-baserade servrar och kan användas i samma fysiska kortplats.U.3 tillgodoser ett antal industribehov, allt samtidigt som det skyddar den initiala lagringsinvesteringen.

Industrins utmaning

Dagens serverlagringsarkitekturer är utmanade på det sätt de rymmer blandade eller skiktade miljöer. Inom en viss server kan lagring kräva kombinationer av hårddiskar och SSD:er konfigurerade med olika gränssnitt beroende på arbetsbelastningens behov. Till exempel kan ett ingenjörsteam kräva snabba NVMe-enheter för att testa kod i sina utvecklingsmiljöer. En annan arbetsgrupp kan kräva SAS-enheter för att uppnå hög tillgänglighet och feltolerans för sin intäktsgenererande databas. Och en annan grupp kan förlita sig på kapacitetsoptimerade SATA-enheter eller värde SAS-enheter för att analysera kall data i realtid. Oavsett applikation kan delar av servern segmenteras för att hantera de olika användningsfallen.

Utan U.3 ur ett serverdesignperspektiv måste OEM-tillverkare utveckla flera bakplan, mittplan och kontroller för att rymma alla tillgängliga enhetsgränssnitt, vilket skapar ett utmanande överflöd av SKU:er och inköpsalternativ för kunderna att välja mellan.

Konsolidering av hårddiskar tog ett första steg framåt när SAS-gränssnittet gjorde det möjligt för företags SATA SSD och hårddiskar att ansluta till SAS bakplan, HBA eller RAID-kontroller. Denna förmåga fortsätter idag eftersom de flesta servrar levereras med SAS HBA eller RAID-kort som gör att SAS och SATA SSD/HDD kan användas i samma enhetsfack. Även om SATA-enheter enkelt kan bytas ut mot SAS-enheter, fanns det inget stöd för NVMe SSD-enheter eftersom de fortfarande krävde en separat konfiguration som använder ett NVMe-aktiverat bakplan (Figur 1).

Figur 1 visar separata bakplan som krävs för SAS-, SATA- och PCIe-gränssnitt

Stöd för NVMe SSD:er som en del av enhetskonsolideringsstrategin är extremt viktigt eftersom dessa distributioner ökar på grund av de betydande prestandaförbättringar de levererar jämfört med SAS och SATA SSD:er. Enhetsförbrukning av NVMe SSD:er i företaget (inklusive både datacenter- och företagsversioner) förväntas representera över 42.5 % av alla SSD:er i slutet av 2019³. Enhetsförbrukningen i företaget kommer att öka till över 75 % i slutet av 2021 och över 91 % i slutet av 2023³. För närvarande är NVMe-baserade server-, infrastruktur- och RAID-kontrollalternativ i ett tidigt skede, vilket kräver att många datacenter fortsätter att använda SAS-baserad RAID-hårdvara för att ge en mogen, robust nivå av feltolerans och prestanda. Att migrera direkt till NVMe-lagring kräver vanligtvis köp av nya NVMe-aktiverade servrar som använder ett NVMe-specifikt bakplan och styrenhet.

Nästa steg i att stödja alla tre SSD-protokollen med en gemensam infrastruktur inträffade med tillgängligheten av SFF-8639-kontakten, i samband med utvecklingen av SFF-8639-modulspecifikationen. Den här kontakten har utformats för att stödja upp till fyra körfält med PCIe för NVMe SSD-enheter och upp till två körfält för SAS/SATA-hårddiskar eller SSD-enheter. Överensstämmelse med SFF-8639-modulspecifikationen har betecknats som U.2. Uttagsversionen av SFF-8639-kontakten monteras på serverns bakplan, och även om den stöder alla tre enhetsgränssnitten, är NVMe- och SAS/SATA-enheter inte utbytbara om inte facket var försett för båda. Ett separat NVMe-aktiverat bakplan krävdes fortfarande för att stödja NVMe SSD:er.

Enhetskonsolidering har nu utvecklats till U.3 där SAS-, SATA- och NVMe-enheter alla stöds via en SFF-8639-kontakt när de används med ett tri-mode-bakplan och kontroller (Figur 2), och är också kompatibla med SFF-8639-modulen specifikation (U.2). För detta tillvägagångssätt används samma 8639-kontakt förutom att höghastighetsbanorna är ommappade för att stödja alla tre protokoll. U.3-specifikationen inkluderar pinouts och användning för en multiprotokollaccepterande enhetskontakt, och utvecklades av Storage Networking Industry Association (SNIA) SSD Form Factor (SFF) Technical Affiliate (TA). Specifikationen ratificerades i oktober 2017.

Figur 2 visar U.3 tri-mode universell lagringskonfiguration för SAS, SATA och PCIe gränssnitt

Nyckel U.3-komponenter

U.3 tri-mode-plattformen kan rymma NVMe-, SAS- och SATA-enheter från samma serverplats genom en enda bakplansdesign och SFF-8639-kontakt med reviderad ledning enligt SFF-TA-1001-specifikationen. Plattformen består av en: (1) Tri-mode Controller; (2) SFF-8639-kontakt (en för frekvensomriktaren och en för bakplanet); och (3) Universal Backplane Management Framework.

Tri-Mode Controller

Tri-mode-styrenheten upprättar anslutning mellan värdservern och enhetens bakplan, och stöder SAS-, SATA- och NVMe-lagringsprotokoll. Den har en lagringsprocessor, cacheminne och en gränssnittsanslutning till lagringsenheterna. Lagringsadaptern stöder alla tre gränssnitten och driver de elektriska signalerna för de tre protokollen genom en enda fysisk anslutning. En "auto-sense"-möjlighet inom styrenheten bestämmer vilket av de tre gränssnittsprotokollen som för närvarande betjänas av styrenheten.

Ur ett designperspektiv eliminerar tri-mode-styrenheten behovet för OEM-tillverkare att använda en styrenhet som är dedikerad till SAS- och SATA-protokoll, och en annan styrenhet för NVMe. Den levererar förenklad kontroll som möjliggör gemensamt bay-stöd för SAS-, SATA- och NVMe-enhetsprotokoll. Med denna flexibilitet kan flera typer av hårddiskar blandas och matchas med SAS och SATA SSD/HDD, såväl som NVMe SSD.

SFF-8639 Kontakt

SFF-8639-kontakten gör att en given enhetsplats på bakplanet kan kopplas till en enda kabel så att den kan ge åtkomst till en SAS-, SATA- eller NVMe-enhet och bestämma rätt kommunikationsprotokoll som drivs av tri-mode-värden. SFF-TA-1001 (U.3)-specifikationen binder samman komponenterna genom att definiera stiftanvändning och platsdetektering, samt ta itu med värd- och bakplansledningsproblem som uppstår när man designar för ett bakplansuttag som accepterar både NVMe och SAS/SATA-lagring enheter (Figur 3).

Figur 3 visar utvecklingen till en U.3 tri-mode-kontakt

SFF-TA-1001-specifikationen stöder de tre gränssnittstyperna på SFF-8639-kontakten med signaler för värden för att identifiera dess typ och med signaler för enheten för att identifiera dess konfiguration (t.ex. PCIe med dubbla portar).

U.3 eliminerar behovet av separata NVMe- och SAS/SATA-adaptrar, vilket gör det möjligt för OEM-tillverkare att förenkla sina bakplansdesigner med färre spår, kablar och kontakter. Detta resulterar i en kostnadsfördel förknippad med att bygga bakplan med färre komponenter, samt en övergripande förenkling av OEM-server och komponent-SKU:er. Enheter som är U.3-baserade måste vara bakåtkompatibla med U.2-värdar.

Universal Backplane Management Framework

UBM-ramverket (Universal Backplane Management) definierar och tillhandahåller en gemensam metod för att hantera och kontrollera SAS-, SATA- och NVMe-bakplan (Figur 4). Den har också utvecklats av SSD Form Factor Working Group under den ratificerade specifikationen SFF-TA-1005⁴och ger ett identiskt hanteringsramverk över all serverlagring oavsett gränssnittsprotokoll (SAS, SATA eller NVMe) eller lagringsmedia (hårddiskar eller SSD).

Figur 4 visar endast en domän som krävs för U.3-bakplans- och bayhantering

Källa: Broadcom® Inc.⁵

Hanteringsramverket tillåter användare att hantera SAS-, SATA- och NVMe-enheter utan några nödvändiga ändringar av drivrutiner eller mjukvarustackar, och adresserar ett antal uppgifter på systemnivå som är viktiga för NVMe-protokollet, och specifikt för U.3-drift. Denna hantering inkluderar förmågan att:

• Ange exakta placeringar av chassispår. För den här kapaciteten gör UBM-ramverket det möjligt för användare att enkelt identifiera var lagringsenheter som måste bytas ut finns, eller när det gäller felsökning, identifiera möjliga problem som kan vara associerade med enhetsplatser, kablar, ström eller själva enheterna.
• Aktivera beställningsoberoende för kabelinstallation. För att ta itu med denna förmåga före tri-mode-konfigurationen, var användarna tvungna att lägga specifika kablar till specifika enhetsplatser eftersom den totala kabellängden var extremt viktig i dessa konfigurationer. I tri-mode-konfigurationen är en flerfunktionskabel ansluten till alla enhetsplatser, vilket eliminerar detta problem.
• Hantera LED-mönster på bakplanet. UBM-ramverket gör det möjligt för användare att använda LED-kodning på varje enhet som ger en synlig signal om enhetsaktivitet som inkluderar diskanvändning, diskfel, ström, etc.
• Aktivera energi- och miljöhantering. UBM-ramverket hanterar ström till en kortplats och lagringsenhet med dess huvudfunktion att strömsätta en enhet som inte svarar.
• Aktivera PCIe-återställningar. På bussnivå återställer PCIe varje enhet som är ansluten till en PCIe-brygga oavsett om lagringsenheterna fungerar normalt eller inte. UBM-ramverket gör det möjligt för användare att aktivera PCIe-återställningar på specifika enhetsplatser och endast återställa de enheter som behöver det.
• Aktivera klockningslägen. Med högre datahastigheter som levereras av PCIe 3.0 och PCIe 4.0, blir klockning svårare att stödja vid dessa högre hastigheter. UBM-ramverket kan konfigurera lagringsenheter för att använda antingen ett traditionellt PCIe-klocknätverk eller bädda in klocksignaler direkt i höghastighetssignalerna. Inbyggda klocksignaler kan ha en betydande effekt för att minska den elektromagnetiska störningen som är förknippad med höghastighetssignalering, vilket resulterar i mycket flexibel klockning.

UBM-ramverket gör det möjligt för en styrenhet att dynamiskt dela upp PCIe-banorna genom att beskriva bakplanet så att U.3 x1, x2 och x4-ledningar alla är möjliga. Det ger också ett sätt att styra den enstaka PERST-signalen (PCIe-återställning) från andra sidbandssignaler (som CLKREQ och WAKE) till flera oberoende förekomster för 2×2 och 4×1 ledningar. UBM tillhandahåller även referensklocka (REFCLK) styrning för 2×2 och 4×1 ledningar. Även om UBM är designat som ett ramverk som kan fungera på egen hand, låser det upp den fulla kraften hos U.3 när UBM implementeras. Slutresultatet är ett universellt bakplanshanteringssystem som möjliggör större konfigurerbarhet och verklig systemflexibilitet.

U.3-plattform och SSD-tillgänglighet

Med ratificeringen av SFF-TA-1001-specifikationen har ett U.3-ekosystem utvecklats med ledande leverantörer av server, kontroller och SSD som utvecklar lösningar för att flytta denna teknikplattform framåt. Till exempel implementeras servrar med tri-mode-kontroller och tillhörande bakplan av vissa OEM-tillverkare av nivå 1-server. Initial systemtillgänglighet förväntas ske genom OEM-tillverkare av tier 1 och tier 2 server, följt av breda kanalerbjudanden.

Ur ett kontrollerperspektiv utvecklar de flesta RAID/HBA-leverantörer kontroller med tri-mode-funktioner och stöd för U.3-drift.

Ur ett SSD-perspektiv deltog fyra diskleverantörer, KIOXIA (tidigare Toshiba Memory), Samsung, Seagate och SK Hynix framgångsrikt i första U.3 Plugfest i juli 2019 hölls vid University of New Hampshires Interoperability Lab. Av dessa SSD-leverantörer var KIOXIA först med att demonstrera SFF-TA-1001 (U.3) SSD:er vid Flash Memory Summit 2019.

Sammanfattning

Med big data som blir större och snabba data blir snabbare, tillsammans med beräkningsintensiva applikationer, som artificiell intelligens, maskininlärning och till och med kall dataanalys, växer behovet av högre prestanda inom datalagring med stormsteg. Att behöva förutsäga dagens applikationsanvändning, arbetsbelastningsstorlekar, prestationsbehov och kapacitetsförväntningar är en ganska utmaning, men att förutsäga användningen för kommande år tar utmaningen till en ny nivå.

U.3 tri-mode-metoden bygger på U.2-specifikationen med samma SFF-8639-kontakt. Detta tillvägagångssätt kombinerar SAS-, SATA- och NVMe-stöd till en enda styrenhet inuti en server, som hanteras av ett UBM-system som gör att SAS SSD/HDD, SATA SSD/HDD och NVMe SSD kan blandas och matchas. U.3 ger en enorm mängd fördelar som inkluderar:

• Enkelt bakplan, kontakt och kontroller för lagring
  • Eliminerar separata komponenter för varje protokoll som stöds
  • Möjliggör hot-swapping mellan enheter (om enheten stöder det)
  • Ger SAS/SATA/NVMe-stöd från en enhetsplats
  • Sänker de totala lagringskostnaderna genom att använda mindre kablage, färre spår och färre komponenter
  • Ger större lagringskonfigurerbarhet och verklig systemflexibilitet
• High Performance
  • Ger 64 % större bandbredd för hårddiskfack och IOPS-prestanda när en SATA SSD ersätts med en NVMe/PCIe Gen3 x1 SSD i ett U.3-enhetsfack⁶
  • Ger prestandaförbättringar på 13x fackkapacitet när en SATA SSD ersätts av en NVMe/PCIe Gen4 x4 SSD i ett U.3-enhetsfack med en kapacitet på SATA = 0.6GB/s; x1 PCIe Gen3 NVMe = 0.98 GB/s; och PCIe Gen4 NVMe x4 = 7.76 GB/s⁶
• Verksamhetsledningen
  • Ger samma hanteringsverktyg för alla serverlagringsprotokoll via UBM
• Universalanslutning
  • Utökar anslutningsfördelarna med SAS och SATA till NVMe
  • Eliminerar behovet av protokollspecifika adaptrar
  • Möjliggör U.2- (SFF-8639-modul) eller U.3- (SFF-TA-1001)-kompatibla enheter att användas i samma lagringsarkitektur
  • Sänker systemkostnaden genom ett universellt bakplan och delad kabelinfrastruktur
  • Minskar systemköpskomplexiteten (tar bort möjligheten att välja "fel" bakplan och lagringsadaptrar

U.3-plattformen tillgodoser ett antal industribehov: att minska TCO-utgifterna, minska komplexiteten i lagringsinstallationer, tillhandahålla en hållbar ersättningsväg mellan SATA, SAS och NVMe, bibehålla bakåtkompatibilitet med nuvarande U.2 NVMe-baserade plattformar, samtidigt som skydda kundens initiala lagringsinvestering.

Om Författarna:

John Geldman är chef för SSD Industry Standards på KIOXIA America, Inc. (tidigare Toshiba Memory America, Inc.) och leder verksamheten för lagringsstandarder. Han är för närvarande involverad i standardaktiviteter som involverar JEDEC, NVM Express, PCI-SIG, SATA, SFF, SNIA, T10, T13 och TCG. Han har bidragit till standardaktiviteter i över tre decennier som täcker NAND-flashminne, hårddisklagring, Linux™, nätverk, säkerhet och IC-utveckling. John har suttit i styrelsen, handlat, varit ordförande eller redigerat specifikationerna för CompactFlash, SD Card Association, USB, UFSA, IEEE 1667, JEDEC, T10 och T13, och fungerar för närvarande som styrelseledamot för NVM Express, Inc.

 

John Geldman, KIOXIA

Rick Kutcipal isa Marknadschef i Data Center Storage Group på Broadcom Inc., och är en 25-årig veteran inom dator- och datalagringsbranschen. Han koordinerar majoriteten av globala lagringsstandardaktiviteter för Broadcom. Före Broadcom tillbringade Rick nästan 15 år på LSI Logic som produktchef och var avgörande för lanseringen av den första 12Gb/s SAS-expandern i branschen. Tidigare i sin karriär designade Rick avancerade marker och system för brädnivå för Evans & Sutherland. Idag sitter Rick i styrelsen för SCSI Trade Association (STA) och spelar en inflytelserik roll när det gäller att definiera och marknadsföra SAS-teknologi.

Rick Kutcipal, Broadcom

Cameron Brett är direktör för företagsmarknadsföring på KIOXIA America, Inc. (tidigare Toshiba Memory America, Inc.) och är ansvarig för utgående marknadsföring och meddelandeförmedling av företags-SSD, mjukvara och minnesprodukter. Han representerar KIOXIA som medordförande för NVM Express marknadsföringsarbetsgrupp, även som styrelsemedlem och ordförande för SCSI Trade Association (STA), och även som medordförande för Storage Networking Industry Association (SNIA) SSD SIG. Cam är en 20-årig veteran från lagringsindustrin och har haft tidigare produktmarknadsförings- och chefsbefattningar hos Toshiba Memory, PMC-Sierra, QLogic, Broadcom och Adaptec.

Cameron Brett, KIOXIA

varumärken:

Broadcom är ett registrerat varumärke som tillhör Broadcom Inc. Linux är ett varumärke som tillhör Linus Torvalds. NVMe och NVM Express är varumärken som tillhör NVM Express, Inc. PCIe är ett registrerat varumärke som tillhör PCI-SIG. SCSI är ett varumärke som tillhör SCSI, LLC. Alla andra varumärken eller registrerade varumärken tillhör sina respektive ägare.

Anmärkningar:

¹Specifikationen för SFF-TA-1001 Universal x4 Link Definition för SFF-8639 finns tillgänglig på: http://www.snia.org/sff/specifications.

²SFF-8639-modulspecifikationen finns tillgänglig på: http://www.pcisig.com/specifications.

³ Källa: IDC. – "Worldwide Solid State Drive Forecast Update, 2019-2023, Market Forecast Table 12, Jeff Janukowicz, December 2019, IDC #44492119.

⁴Specifikationen för SFF-TA-1005 Universal Backplane Management (UBM) finns tillgänglig på: http://www.snia.org/sff/specifications.

⁵Källa: Broadcom Inc. – “Common Method for Management of SAS, SATA and NVMe Drive Bays – SFF-TA-1005 aka UBM: Universal Bay Management.”

⁶Prestandasiffrorna representerar den fysiska kapaciteten hos gränssnittet som körs över kontakten och representerar inte kapaciteten hos värdbussadaptern eller lagringsenheten.

Produktbildskrediter:

Figur 1: Separata lagringskonfigurationer för SAS/SATA och PCIe:

1. SAS Expander: Källa = Avago Technologies – Avago Technologies 12Gb/s SAS expander, SAS35x48
2. SAS HBA: Källa = Broadcom Inc. – Broadcom 9400-8i SAS 12Gb/s värdbussadapter
3. PCIe Switch: Källa = Broadcom Inc. – Broadcom PEX88096 PCIe-lagringsswitch
4. SSD:er: Källa = KIOXIA America, Inc. – PM5 12Gbps enterprise SAS SSD, RM5 12Gbps värde SAS SSD, HK6 enterprise SATA SSD, CM6 PCIe 4.0 enterprise NVMe SSD och CD6 PCIe 4.0 datacenter NVMe SSD

Figur 2: Tri-mode / Universal Backplane:

1. Tri-mode Controller: Källa = Broadcom Inc. — Broadcom 9400-16i tri-mode lagringsadapter
2. SSD:er: Källa = KIOXIA America, Inc. – PM5 12Gbps enterprise SAS SSD, RM5 12Gbps värde SAS SSD, HK6 enterprise SATA SSD, CM6 PCIe 4.0 enterprise NVMe SSD och CD6 PCIe 4.0 datacenter NVMe SSD