Computing is ingrijpend veranderd, vooral in de afgelopen tien jaar. Volgens IDC heeft de opkomst van web- en mobiele applicaties, en de commoditisering van tools voor het maken van content, geleid tot een minstens 30 keer hogere contentconsumptie en contentcreatie op endpoints. Als zodanig proberen bedrijven tegenwoordig meer waarde te halen uit de petabytes aan gegevens die ze nu gewoonlijk opslaan. Echte self-service clouds, die werken op applicatie- en infrastructuurlagen, zijn nu miljardenbedrijven. Sensornetwerken en andere machine-naar-machine-interacties beloven een nieuwe exponentiële sprong in gegevensverplaatsing en -opslag. Maar ondanks al deze monumentale veranderingen in het gebruik van zowel gegevens als inhoud, afgezien van toenames in capaciteit en processorkracht, zijn gemeenschappelijke opslagarchitecturen de afgelopen twintig jaar in wezen onveranderd gebleven. We proberen te rekenen op een schaal van meerdere petabytes met architecturen die zijn ontworpen voor terabytes.
Door Leo Leung, VP Corporate Marketing, Scality
Computing is ingrijpend veranderd, vooral in de afgelopen tien jaar. Volgens IDC heeft de opkomst van web- en mobiele applicaties, en de commoditisering van tools voor het maken van content, geleid tot een minstens 30 keer hogere contentconsumptie en contentcreatie op endpoints. Als zodanig proberen bedrijven tegenwoordig meer waarde te halen uit de petabytes aan gegevens die ze nu gewoonlijk opslaan. Echte self-service clouds, die werken op applicatie- en infrastructuurlagen, zijn nu miljardenbedrijven. Sensornetwerken en andere machine-naar-machine-interacties beloven een nieuwe exponentiële sprong in gegevensverplaatsing en -opslag. Maar ondanks al deze monumentale veranderingen in het gebruik van zowel gegevens als inhoud, afgezien van toenames in capaciteit en processorkracht, zijn gemeenschappelijke opslagarchitecturen de afgelopen twintig jaar in wezen onveranderd gebleven. We proberen te rekenen op een schaal van meerdere petabytes met architecturen die zijn ontworpen voor terabytes.
Software-Defined Storage (SDS) belooft een flexibeler opslagmodel waarbij opslag echt een van de diensten onder andere computerdiensten wordt. Hardware-onafhankelijkheid maakt deel uit van deze architectuur, aangezien gegevens en services vrijer moeten stromen wanneer toepassingen veranderen en systemen omhoog en omlaag schalen. In plaats van gegevensbeheerfunctionaliteit in eigen gesloten apparaten in te bedden, ontkoppelt SDS deze functionaliteit van de hardwarefunctionaliteit die zich op gegevens richt, en overspant natuurlijk de hardware. Net als andere patronen van commoditisering van infrastructuur in de loop van de tijd (bijv. Soft Switches), legt deze ontkoppeling ook de opgeblazen marges (60 procent) bloot die huidige storage-appliances bevatten.
Aangezien SDS vaak op een schaal van meerdere petabytes wordt ingezet, moet de beschikbaarheid extreem hoog zijn en is er geen tussenkomst nodig bij bekende storingsscenario's. Applicatie-interfaces moeten vriendelijk zijn voor zowel bestaande applicaties als nieuwere web- en mobiele apps. De prestaties moeten sterk, lineair schaalbaar en geschikt zijn voor gemengde workloads. Diensten als gegevensbescherming en gegevensherstel moeten worden ontworpen voor hetzelfde niveau van dynamiek en schaalbaarheid.
Dit staat in schril contrast met verouderde opslagarchitecturen, die volledig gebonden zijn aan fysieke hardware en beschikbaarheid, gegevenstoegang, prestaties, beheer en duurzaamheid insluiten binnen de beperkte reikwijdte van propriëtaire apparaten. Deze verouderde architecturen zijn ontworpen voor kleinere schaal in elk van de bovengenoemde dimensies.
SAN is nog steeds een goede benadering voor toegang tot gegevens met een lage latentie, maar is slecht op grote schaal
SAN is ontworpen als de eenvoudigste manier om verbinding te maken met opslag via een speciaal lokaal netwerk. Het bestuurt gegevensblokken in kleine logische volumes, maar heeft geen context van wat de gegevens zijn en is volledig afhankelijk van de toepassing om de gegevens te organiseren, catalogiseren en structureren. Door hun ontwerp zijn SAN's beperkt in schaal, interfaces en reikwijdte, en meestal duurder vanwege de speciale netwerkinfrastructuur.
Bestand is nog steeds dominant en NAS is een werkpaard, maar wordt op grote schaal uitgedaagd
NAS is ook ontworpen als een manier om te communiceren met lokale netwerkopslag, maar biedt meer structuur in de vorm van bestandssystemen en bestanden. Bestandssystemen hebben natuurlijke limieten die zijn gebaseerd op de lokale interne structuren die worden gebruikt om de bestandshiërarchie en bestandstoegang te beheren. Vanwege de informatie binnen de beheerde bestandshiërarchie is er meer basisbewustzijn van de inhoud in het systeem, maar deze is volledig gelokaliseerd op een fysieke opslagcontroller. Ook door het ontwerp zijn NAS-systemen beperkt in schaal en reikwijdte. Geclusterde NAS-systemen breiden de schaalbaarheid van de technologie uit, maar hebben ook natuurlijke beperkingen verbonden aan fysieke controllers (nummering in de 10-en) en de centrale database die wordt gebruikt om de bestandshiërarchie en bestanden bij te houden.
Object Storage richt zich op schaal, maar is zeer beperkt in ondersteuning van werkbelasting
Object Storage is een technologie die extra abstractie creëert, vaak bovenop en tussen lokale bestandssystemen. Dit betekent dat gegevens in het systeem worden beheerd als objecten (in plaats van blokken of bestanden) in een globale naamruimte, met unieke identifiers voor elk object. Deze naamruimte kan honderden servers omvatten, waardoor het eenvoudiger is om de capaciteit te schalen dan bij SAN- of NAS-modellen.
Objectstores zijn echter fundamenteel beperkt in applicatie-ondersteuning omdat ze vereisen dat applicaties worden herschreven naar een specifieke smaak van HTTP API en de prestaties zijn doorgaans beperkt tot scenario's eenmaal schrijven, veel lezen (WORM) of eenmaal schrijven, nooit lezen. Dit gebrek aan prestaties is te wijten aan architecturen die verkeer door een beperkte set metadataknooppunten dwingen, wat soms extra overhead toevoegt aan deze beperkte knooppunten met services zoals wiscodering.
Softwaregedefinieerde opslag is holistisch ontworpen voor enorme schaal
Softwaregedefinieerde opslag is een nieuwe benadering die de opslagfunctionaliteit volledig loskoppelt van specifieke hardware, en daardoor een flexibelere implementatie, schaalbaarheid, toegankelijkheid en werking mogelijk maakt.
Door de ontkoppeling van SDS kan de software onafhankelijk van de hardware gebruikmaken, waardoor capaciteit, prestaties en toegankelijkheid onafhankelijk kunnen worden geschaald op basis van de use case. Dit type aanpassing is onmogelijk buiten de beste traditionele opslag, die speciaal voor dit doel gebouwde hardwarecomponenten heeft, wat uiteindelijk nog steeds de flexibiliteit en totale schaal beperkt.
Het ontkoppelen van opslagfunctionaliteit van de hardware maakt het ook gemakkelijker om problemen in het totale systeem te identificeren, in plaats van problemen op te lossen met apparaten die hardware- en software-uitzonderingen combineren tot een lage signaal-ruisstack.
Naast de basisscheiding van software en hardware profiteren de SDS-opslagdiensten ook van de ontkoppeling door capaciteit, beschikbaarheid, duurzaamheid en toegankelijkheidsdiensten aan te bieden die fysieke grenzen kunnen overstijgen. Een algemeen kenmerk van SDS is het gebruik van objectopslag om een bijna onbeperkte naamruimte van unieke objecten te creëren. Dit overstijgt de beheereenheden van logische eenheidsnummers (LUN's) en bestandssystemen, die door hun ontwerp fundamentele schaalbeperkingen hebben. Hierdoor kan een SDS-systeem eenvoudig worden opgeschaald door meer fysieke capaciteit toe te voegen zonder nieuwe beheereenheden toe te voegen.
De beschikbaarheid van SDS-systemen kan ook enorm superieur zijn, waarbij gebruik wordt gemaakt van de privé-netwerkruimte tussen SDS-knooppunten. In plaats van de beperkte actieve/passieve controlleropstelling van de meeste SAN- en NAS-systemen, of de geclusterde opstelling van scale-out NAS, kunnen SDS-systemen blijven schalen naar de duizenden adressen binnen een domein. Bovendien kunnen SDS-systemen ook profiteren van geavanceerde routeringsalgoritmen om respons te garanderen, zelfs in topologieën op grote schaal en bij meerdere storingsscenario's. Dit gaat veel verder dan de simpele geschakelde fabrics of daisy chains van traditionele opslag waarbij een hele array uitvalt door een simpele kabelfout.
De duurzaamheid van traditionele opslagsystemen is ontworpen om incidentele defecten van een schijf of twee te ondersteunen, waarbij bijna onmiddellijke vervanging vereist is. In een systeem op petabyte-schaal begint het aantal schijven in de honderden en loopt het vaak op tot duizenden. Zelfs met een hoge gemiddelde tijd tussen storingen (MTBF) zullen er altijd meerdere schijven uitvallen. SDS-systemen zijn ontworpen om veel storingen en veel verschillende storingsdomeinen te kunnen verwachten. Ze profiteren natuurlijk van gedistribueerde capaciteit en verwerking voor gedistribueerde beveiligingsschema's en extreem snelle herbouw. Dit is nodig op schaal versus het dubbele controller-schema van scale-up-architecturen, die ernstige knelpunten hebben tijdens het opnieuw opbouwen van schijven of andere opslagservices.
Toegankelijkheid was van ondergeschikt belang in traditionele opslagsystemen. Applicatieservers of mainframes bevonden zich op lokale, opslagspecifieke netwerken met een paar volwassen protocollen. Gedeelde Ethernet-netwerken en gemengde openbare en privétoegang zijn nu de norm. SDS-systemen moeten een veel bredere reeks vereisten ondersteunen. Van webgebaseerde tot Ethernet-gebaseerde toegang, van opslagresources die netwerkgebaseerd zijn tot lokale inzet op de applicatieserver - SDS moet ze allemaal ondersteunen.
Zoals in dit artikel wordt aangegeven, is traditionele opslag zeer gespecialiseerd, wat leidt tot veel silo's van functionaliteit en gegevens in een typisch groot bedrijf. Dit is niet alleen operationeel zeer inefficiënt, maar levert ook geen schaalvoordelen op en beperkt de mogelijkheden voor het delen en hergebruiken van gegevens drastisch.
SDS is ontworpen om te voldoen aan de meeste vereisten voor applicatie-integratie, met protocollen variërend van persistent tot stateless, van eenvoudig tot zeer interactief en semantisch rijk. Dit maakt een omgeving voor algemeen gebruik mogelijk, waar opslag een algemene service kan zijn voor toepassingen, ongeacht of ze kleine of grote bestanden hebben, verschillende beveiligingsvereisten en verschillende protocollen. Dit vervaagt de huidige grenzen tussen NAS-, object- en tapeopslag, ontgrendelt de hefboomwerking waar de hyperscale spelers al jaren van genieten, en updatet opslagservices voor een wereld waarin de connectiviteit zich heeft uitgebreid tot miljarden eindpunten.
Kortom, toepassingen en vereisten zijn ingrijpend veranderd. Met 90 procent van alle gegevens die in de afgelopen twee jaar zijn gemaakt; we bevinden ons vierkant in het Petabyte-tijdperk, met Exabytes om de hoek. De pijn van petabyte-schaal en de zoektocht naar verbeterde gegevenswaarde is de katalysator geworden om nieuwe benaderingen te overwegen, aangezien decennia-oude traditionele benaderingen hun ontworpen grenzen bereiken en overweldigd worden.
Over de auteur
Je kunt Leo Leung volgen op Twitter of bekijk zijn website op techexpectations.org.
