Home Lab Deep Dive: Zanurz się w magazynowaniu

Serwery mamy już za sobą , a jeśli jesteś taki jak ja, wybrałeś kilka energochłonnych bestii, które ogrzewają Twoje małe domowe biuro. W pewnym momencie chciałbym wrócić do domu z piwnicami, ponieważ wydają się one idealnym miejscem na takie rzeczy, chyba że masz wbudowaną szafę na okablowanie. Omówimy teraz kolejny ważny element domowego laboratorium – przechowywanie. Jest kilka decyzji, które należy podjąć w kwestii przechowywania, a każda z nich będzie miała nieco inny wpływ na Twoje laboratorium. W tym poście omówimy różnice między typami dysków, kontrolerami, pamięcią masową i protokołami przechowywania, abyś był w pełni przygotowany do podjęcia najlepszej decyzji.

Napędów

Dyski to jeden z elementów pamięci masowej. Obecnie używa się kilku rodzajów dysków, a każdy z nich może mieć inny wpływ na infrastrukturę pamięci masowej. W ciągu ostatnich dwóch dekad poczyniliśmy wiele postępów w dziedzinie dysków twardych i dysków SSD i nie zamierzamy zwalniać tempa. Chociaż nie znałem pierwszych dysków twardych, początkowo były one imponującymi maszynami, które przechowywały niewielkie ilości danych w porównaniu z dzisiejszymi. Cztery główne typy dysków, które omówię, to:

1. Dyski SATA
2. Dyski SAS
3. Dyski SSD
4. Dyski M.2

SATA

SATA to skrót od Serial Advanced Technology Attachment (Seria Zaawansowana Technologia Przyłączania). Większość komputerów domowych korzysta z dysków SATA. Są one niedrogie i mogą pomieścić duże ilości danych. W momencie pisania tego artykułu, moim zdaniem, największy ma pojemność około 16 terabajtów. Wprowadzenie SATA 1.0 w 2003 roku stanowiło duży krok naprzód w stosunku do zastąpionej przez nie technologii dysków twardych, czyli PATA (Parallel Advanced Technology Attachment). Dyski te mogły przesyłać dane znacznie szybciej (pierwotnie 1.5 Gb/s lub 150 MB/s) niż dyski wyjściowe, których maksymalna prędkość wynosiła 133 MB/s. Dodatkowo oferowały takie funkcje, jak lepsza funkcja hot plug (podłączanie dysku twardego przy włączonym systemie) oraz znacznie mniejsze złącze kablowe, wykorzystujące jedynie 7 pinów zamiast 40 lub 80. Od momentu wprowadzenia na rynek, SATA ewoluowało w kilku wersjach, aż do obecnego stanu. SATA 3.0, czyli Serial ATA-600, to obecna wersja, która znacznie poprawiła wydajność. Jak można się domyślić, obecne prędkości transferu sięgają 600 MB/s, a w wersjach przejściowych dodano więcej funkcji, takich jak Native Command Queueing, co zwiększyło wydajność. Jak wspomniano na wstępie, głównymi atutami tych dysków są ilość przechowywanych danych i cena. Oferują one dobrą wydajność i w zupełności wystarczają do większości domowych laboratoriów.

SAS

Następne są dyski SAS. Napędy SAS lub Serial Attached SCSI zastąpiły starsze dyski Parallel SCSI. SAS wszedł na rynek w 2004 roku wraz z dyskiem SAS-1. Dyski SCSI lub Small Computers System Interface działają inaczej niż SATA. SAS przejął wiele pierwotnych problemów związanych z koniecznością nadawania adresów dyskom i innych problemów, z którymi musieli radzić sobie administratorzy systemów. Napędy SAS używają innego zestawu poleceń opartego na oryginalnym zestawie poleceń SCSI i są bardziej inteligentne. Napędy SAS są również szybsze niż SATA. Częściowo wynika to z zestawu poleceń, ale także z samego interfejsu i prędkości obrotowej talerza dysku. SAS jest również w trybie pełnego dupleksu, co oznacza, że ​​może jednocześnie nadawać i odbierać. Talerze dysków twardych, których używają, mogą obracać się z prędkością do 15 000 obr./min. Dyski SATA obracają się z prędkością 7,200 obr./min lub wolniej. Używają również wyższych napięć, które umożliwiają dłuższe kable. Aktualna prędkość SAS-4 (aktualna wersja) wynosi 22.5 Gb/s, czyli około 2500 MB/s. Dyski SAS znajdują się w serwerach korporacyjnych i są droższe. Świetnie nadają się do domowego laboratorium, ale są droższe i zazwyczaj mają mniejsze rozmiary.

Istnieje jeden typ dysku, który może być mylący. Dyski NL-SAS. Są to dyski SATA z interfejsem SAS. Zostały wprowadzone jako niedrogi sposób na zwiększenie pojemności pamięci masowej w serwerach korporacyjnych. Są bardziej niezawodne niż zwykłe dyski SATA, a ich cena plasuje się gdzieś pośrodku.

Dyski SSD

Dyski SSD są szybkie. Nie ma wątpliwości, że gdybym mógł sobie na to pozwolić, miałbym wszystko w swoim domowym laboratorium na dyskach SSD. SSD to skrót od Solid State Drives i nie używają one talerzy, ale układów pamięci do przechowywania danych. Z tego powodu są one o rzędy wielkości szybsze niż poprzednio omawiane dyski. Ponieważ SSD opisuje głównie technologię przechowywania danych, można znaleźć dyski SSD z interfejsami SATA, SAS, NVMe i innymi. Dyski SSD wykorzystują kilka różnych układów, a ich prędkość różni się w zależności od użytych układów i kontrolerów. Chociaż nie będę zagłębiał się w głębsze szczegóły technologii SSD, zostawię Was z następującymi informacjami. Istnieją układy SLC, MLC, TLC i QLC. Kolejność, którą wymieniłem, jest kolejnością prędkości. Im wolniejszy układ, tym tańszy, więc jeśli ich używasz, możesz dokonać odpowiedniego wyboru.

M.2

Ostatnim typem dysków, który omówimy, są dyski SSD M.2. Również one korzystają z dysków SSD i mogą używać zestawów poleceń SATA lub NVMe. Jeśli używasz standardowego zestawu poleceń SATA (różnica występuje również w interfejsie fizycznym), prędkość będzie zbliżona do standardowego dysku SSD SATA, maksymalnie około 600 MB/s. Dyski SSD NVMe mogą osiągać prędkości do 5 GB/s przy użyciu nowych płyt głównych AMD. Nawet przy użyciu „starszej” technologii nadal możemy osiągnąć prędkość odczytu 3500 MB/s. Dyski NVMe wykorzystują bezpośrednie ścieżki do procesora, aby osiągnąć imponującą prędkość. Cena tych dysków znacznie spadła w ciągu ostatnich kilku miesięcy, ale nadal wynoszą około 100 USD za najtańsze dyski NVMe o pojemności 1 terabajta. Należy pamiętać, że w tych dyskach również stosowane są układy o innej prędkości (np. QLC), ponieważ są to dyski SSD.

Na podstawie powyższych informacji możesz podjąć trafną decyzję co do rodzaju dysków, które chcesz mieć. Pamiętaj również, że możliwe jest mieszanie powyższych typów w zależności od potrzeb i obsługi płyty głównej lub karty RAID. W rzeczywistości większość firm używa dysków NL-SAS lub SATA do przechowywania archiwów lub starszych informacji, a dysków SAS lub SSD, lub ich kombinacji, do przechowywania danych głównych. W wielu różnych urządzeniach pamięci masowej można tworzyć różne „poziomy” usług, takie jak pamięć masowa gorąca i zimna, a urządzenie będzie przenosić dane między nimi w zależności od częstotliwości dostępu do nich. Poeksperymentuj trochę z tym.

Sterowniki

Po zakupie dysków musisz mieć możliwość ich kontrolowania. Podobnie jak dyski, kontrolery mają różne poziomy wydajności. Zazwyczaj wybiera się jeden w oparciu o interfejs, który ma obsługiwać, oraz poziom ochrony, którego chcesz używać.

Nazewnictwo może być nieco mylące. Na szczęście zazwyczaj dostępna jest dobra dokumentacja, która pomoże Ci podjąć decyzję. Firma Dell ma stronę internetową, która pomoże Ci ustalić, który kontroler jest Ci potrzebny. Jeśli tam zajrzysz , znajdziesz świetną tabelę porównawczą, która zawiera listę wszystkich funkcji ich obecnych kontrolerów. Większość kontrolerów, które można kupić do starszych serwerów, będzie miała nieco mniej funkcji. Niektóre kolumny mogą być niezrozumiałe, więc je omówię.

• Model = Nazwa karty
• Obsługa interfejsu = typ dysków twardych obsługiwanych przez kartę.
• Obsługa PCI = Jest to wersja gniazda na płycie głównej, która jest wymagana do działania karty.
• Złącza SAS = liczba obsługiwanych dysków twardych i informacja, czy są one wewnętrzne w serwerze, czy zewnętrzne (podłączone przez port)
• Rozmiar pamięci podręcznej = Jest to istotne, ponieważ odgrywa dużą rolę w wydajności. Ogólnie rzecz biorąc, to tutaj karta przejmuje polecenia od systemu operacyjnego i przechowuje je do momentu ich wykonania. Im większa pamięć podręczna, tym szybciej system operacyjny lub aplikacja odzyska kontrolę nad następną operacją. Dlatego w tym przypadku zazwyczaj im większa pamięć, tym lepiej.
• Pamięć podręczna Write Back = W ten sposób dane w pamięci podręcznej (o której mowa powyżej) są chronione w przypadku awarii zasilania. Starsze karty, takie jak H700, wykorzystywały baterie na wypadek awarii serwera, aby zachować polecenia, które nie zostały jeszcze zapisane na dysku. Ograniczeniem było to, że jeśli zasilanie nie zostało wkrótce przywrócone, bateria rozładowywała się i trzeba było ją wymienić, gdy bateria była już zużyta. Flash Back nie ma tego ograniczenia i wykorzystuje kondensatory do zasilania, aby zapisać dane w pamięci podręcznej i przechowywać je do momentu, aż polecenia zostaną zapisane na dysku.
• Poziomy RAID = To poziom ochrony RAID obsługiwany przez kontroler
• Maksymalna obsługa dysków = Liczba dysków obsługiwanych przez kartę.
• Obsługa RAID = Ta kolumna określa, czy RAID jest realizowany sprzętowo, czy programowo. Jeśli programowo, jakie oprogramowanie jest obsługiwane. Chociaż RAID programowy stał się szybszy, sprzętowy RAID zawsze będzie szybszy. W pewnych okolicznościach możesz zdecydować się na użycie oprogramowania (na przykład, jeśli masz dyski o różnych pojemnościach do połączenia), ale zdecydowanie polecam korzystanie z RAIDu sprzętowego, jeśli pozwala na to Twój budżet.

Najbliższa matryca, jaką udało mi się znaleźć dla kontrolerów HP, wyglądała następująco. Oto Gen10 (aktualnie najnowsze), a oto kontrolery Gen 8, czyli generacja, która będzie dostępna w większości niedrogich serwerów na eBayu. Mają nieco więcej informacji technicznych na temat kontrolerów, ponieważ są to dokumenty marketingowe, ale ważne pola powyżej są nadal używane. Skrócili Flash Based Write Cache do FWBC.

Różne podejścia – komercyjny serwer NAS, domowy serwer NAS czy lokalna pamięć masowa

Teraz lepiej rozumiesz sprzęt potrzebny do przechowywania danych w Twoim domowym laboratorium. To stawia Cię przed nową decyzją. Czy chcesz korzystać tylko z pamięci lokalnej (dysków na serwerze), czy z pamięci współdzielonej? Oczywiście musimy bliżej przyjrzeć się tym opcjom.

• Pamięć lokalna – to pamięć masowa podłączona bezpośrednio do serwera. Można ją również nazwać pamięcią masową podłączaną bezpośrednio (Direct Attached Storage, DAS). Mogą to być dyski umieszczone wewnątrz serwera lub obudowa podłączona kablem SAS. Zaletą tego rozwiązania jest brak konieczności zakupu dodatkowego sprzętu ani serwerów. Kolejną zaletą jest prostota konfiguracji. Można skonfigurować poziom RAID i format w systemie operacyjnym i gotowe. Do tego dochodzi szybkość. Pamięć masowa podłączana bezpośrednio zawsze będzie szybsza niż pamięć masowa współdzielona. Wadą jest to, że z pamięci masowej można korzystać tylko bezpośrednio na serwerze.
• Pamięć współdzielona – to dyski twarde umieszczone w obudowie, na których działa system operacyjny. Pamięć ta jest udostępniana w sieci i używana. Laboratoria domowe korzystają z dwóch rodzajów pamięci współdzielonej.
  • Pamięć masowa na poziomie bloków – zazwyczaj wykorzystuje protokół iSCSI. Zasadniczo polega on na wysyłaniu poleceń SCSI przez sieć. Protokół ten służy do prezentowania pamięci masowej, która dla systemu operacyjnego wygląda jak surowe dyski twarde. Aby z nich korzystać, należy je sformatować. Kontrolę nad systemem plików i plikami na dyskach sprawują zdalne serwery, z którymi jest on współdzielony. Istnieją inne pamięci masowe na poziomie bloków, takie jak Fibre Channel, ale nie będę ich tutaj omawiać, ponieważ nie są one powszechne w laboratoriach domowych.
  • Pamięć masowa na poziomie plików – wykorzystuje protokół NFS lub SMB. NFS to skrót od Network File System (system plików sieciowych), a SMB oznacza Server Message Block (blok komunikatów serwera). Każdy z tych protokołów został udoskonalony i zazwyczaj określany jest nazwą wersji, której używa, tj. NFSv3 lub SMBv3. Każda nowa wersja bazuje na funkcjach i możliwościach poprzedniej. Zamiast udostępniać systemowi operacyjnemu surową pamięć masową, pamięć masowa na poziomie plików udostępnia serwerom zasoby lub montuje je. Komputer kontrolujący dyski kontroluje również system plików i znajdujące się na nim pliki.

Który jest lepszy? Cóż, jak wspomniano powyżej, to zależy. Jeśli zamierzasz mieć tylko jeden serwer, lokalna pamięć masowa jest w porządku i najprawdopodobniej jest najszybszą opcją dla Twoich potrzeb. Jeśli potrzebujesz współdzielić pamięć masową między serwerami, powinieneś rozważyć zakup jakiegoś rodzaju rozwiązania do współdzielonej pamięci masowej. Z tych dwóch, lubię próbować monitorować dowolny model przedsiębiorstwa, którego próbuję się nauczyć. Jeśli moja firma korzysta z iSCSI, to chcę się tego nauczyć. Osobiście wolę iSCSI. Głównym powodem jest szybkość. iSCSI jest generalnie nieco szybszy i obsługuje multipathing (więcej niż jedną ścieżkę danych do pamięci masowej) lepiej niż NFS. SMB jest generalnie używany tylko w środowiskach Windows i obecnie nie jest zbyt często używany w środowiskach korporacyjnych. Możesz się ze mną nie zgadzać w kwestii iSCSI kontra NFS. Opieram swoje badania na kilku rzeczach, takich jak ten artykuł . Jest wielu zwolenników obu stron. NFS JEST łatwiejszy w konfiguracji, żeby być uczciwym. Ale to temat na inny wpis na blogu.

Gotowe, współdzielone miejsce do przechowywania danych kontra samodzielne budowanie

Jeśli dotarłeś aż tutaj, musisz podjąć decyzję, czy chcesz spróbować zbudować własne rozwiązanie współdzielonej pamięci masowej, czy też wolisz kupić gotowe rozwiązanie.

Na rynku dostępnych jest wiele dobrych rozwiązań firm takich jak QNAP i Synology, żeby wymienić tylko kilka. Wiele firm oferuje te rozwiązania i każda z nich oferuje wiele podobnych funkcji. Serwis StorageReview.com również zrecenzował sporo z nich , co może pomóc w podjęciu decyzji. Warto pamiętać o kilku kwestiach, takich jak potrzebne lub pożądane funkcje oraz możliwości rozbudowy w przyszłości. Większość gotowych urządzeń obsługuje NFS/SMB/iSCSI. Niektóre mniejsze urządzenia mogą mieć problemy z zapewnieniem wystarczającej przepustowości danych, aby sprostać wymaganiom środowiska, dlatego należy podjąć odpowiednią decyzję. Większość z nich ma wiele wspólnych cech. Większość z nich to mniejsze urządzenia niż serwery, zużywające mniej energii i zużywające mniej prądu. Każda firma ma własny system operacyjny, zazwyczaj jakąś wersję Linuksa opracowaną specjalnie dla niej. Konfiguracja może wymagać trochę pracy, ale zazwyczaj jest to nieco prostsze niż samodzielne rozwiązanie. Osobiście preferuję tę opcję, ponieważ jest prosta i jeśli nie zamierzasz obsługiwać serwerów pamięci masowej, nie ma potrzeby samodzielnego projektowania.

Istnieją jednak dobre powody, aby mieć rozwiązanie do przechowywania danych DIY. Większość gotowych urządzeń pobiera nieco wyższą cenę za swoje rozwiązania i w większości przypadków trudno je rozbudować. Jeśli to możliwe, zazwyczaj będziesz musiał skorzystać z ich sprzętu do rozbudowy. Jeśli te powody Cię nie satysfakcjonują, to jest to właściwa droga. Możesz kupić zwykłą obudowę typu tower lub nawet obudowę rack. Możesz użyć zwykłego komputera PC lub zbudować go od podstaw. Musisz zdecydować, którego systemu operacyjnego użyć. Zazwyczaj masz do wyboru Windows lub Linux. Oprogramowanie do udostępniania pamięci masowej jest nieco bardziej skomplikowane, ponieważ istnieje kilka opcji. Wielu właścicieli laboratoriów domowych korzysta z systemu operacyjnego o nazwie FreeNAS. Konfiguracja jest nieco bardziej skomplikowana, ale w Internecie znajdziesz wiele pomocy. FreeNAS jest zdecydowanie jedną z najpopularniejszych opcji i, jak sama nazwa wskazuje, jest darmowy. Oprogramowanie jest całkowicie darmowe, pomijając czas poświęcony na konfigurację. Możesz również po prostu użyć systemu Windows Server. Oczywiście wiąże się to z kosztami. Oto pięć najlepszych pakietów oprogramowania według how2shout.com :

1. FreeNAS
2. NAS4Free / XigmaNAS
3. OpenMediaVault (OMV)
4. Openfiler
5. sklep rockowy

Osobiście posiadam obecnie dwie jednostki. Pierwsza to Synology i ma 4 „zatoki” lub może pomieścić 4 dyski twarde. Zapewnia to przyzwoitą prędkość i posiada 2 połączenia sieciowe umożliwiające obsługę wielu ścieżek lub zapasowe połączenie sieciowe. Obecnie dostępne są dyski twarde o pojemności do 14 terabajtów, ale chciałem mieć więcej możliwości, więc teraz mam jednostkę QNAP. Ta ma 9 zatok i może pomieścić 5 większych dysków 3.5” i 4 mniejsze 2.5”. Oferuje również coś, co nazywa się Smart Tiering. Tiering to koncepcja pierwotnie stosowana w droższych jednostkach pamięci masowej. Tiering polega na inteligentnym wykorzystaniu dwóch lub więcej prędkości dysków. Oprogramowanie w jednostce pamięci masowej analizuje częstotliwość korzystania z danych. Jeśli dane są używane często, przenosi je na szybszy dysk, aby użytkownicy mogli szybciej z nich korzystać. Koncepcja ta wykorzystuje idee pamięci masowej „gorącej” i „zimnej”. Im częściej coś jest używane, tym bardziej jest przenoszone do pamięci masowej „gorącej”. I odwrotnie, im rzadziej coś jest używane, tym jest zimniejsze i zostaje przeniesione na dyski pamięci masowej lub dyski o niższej wydajności. Pozwala to firmie kupować tańsze dyski, takie jak dyski SATA, do przechowywania danych, które nie są często używane.

To obejmuje sekcję dotyczącą pamięci masowej. Przeprowadzę Cię przez proces konfiguracji mojego urządzenia QNAP od podstaw, gdy przejdziemy do sekcji poświęconej konfiguracji w tej serii blogów. Dzięki temu, korzystając z tego bloga, a także z porad innych osób na StorageReview.com, będziesz mógł lepiej zrozumieć, jakie rozwiązanie pamięci masowej będzie najlepsze dla Twojego domowego laboratorium.

– Mike Wilson @IT_Muscle

Dyskusja na Reddicie

Ten wpis jest częścią trwającej serii treści publikowanych przez użytkowników, poświęconych odkrywaniu przyjemności i wyzwań związanych z budową, konserwacją, a czasem ponownym budowaniem domowego laboratorium. Seria ta jest realizowana we współpracy z naszymi przyjaciółmi z /r/homelab . Jeśli chcesz podzielić się swoją konfiguracją, wyślij wiadomość e-mail na adres info@storagereview.com