NetApp AFF A250 to podstawowa, kompleksowa macierz NVMe klasy korporacyjnej. Z wbudowanymi dyskami SSD NVMe po stronie zaplecza i łącznością hosta NVMe over FC po stronie front-end, A250 oferuje niesamowitą wydajność w przystępnej cenie. Pozwala to średnim i małym firmom w pełni wykorzystać możliwości swoich obciążeń na brzegu sieci.
W porównaniu z AFF A200, oferuje wzrost wydajności o 45% i nawet o 33% większą wydajność pamięci masowej, co z łatwością wykazaliśmy w naszej pierwszej recenzji AFF A250 . Nasze wyniki testów porównawczych tylko to potwierdziły, pokazując ogromny postęp w porównaniu z modelem poprzedniej generacji. Nie jest to zaskakujące, ponieważ kilka systemów NetApp, które testowaliśmy w przeszłości, otrzymało nagrodę redakcji.
Co więcej, NetApp jest jedną z najbardziej konsekwentnych firm, jeśli chodzi o wymianę starszych modeli na takie, które lepiej odpowiadają dynamicznie zmieniającemu się krajobrazowi IT. Zawsze z niecierpliwością czekamy na możliwość wypróbowania jednego z ich nowych systemów w naszych laboratoriach i oczekujemy jeszcze lepszego profilu wydajności z wykorzystaniem technologii NVMe over Fibre Channel (NVMe-oF), którą omówimy w tej recenzji.
NetApp NVMe-oF – komponenty AFF A250
Aby osiągnąć ten nowy poziom wydajności, NetApp wyposażył AFF A250 w 24-rdzeniowe procesory i 128 GB pamięci na parę HA, a także w firmową architekturę półek pamięci masowej NS224. Pamięć wewnętrzna obsługuje do 24 dysków SSD NVMe, choć użytkownicy mogą skonfigurować ją w konfiguracji z 8, 12 lub 24 dyskami.
Wewnętrzne dyski SSD mogą osiągnąć pojemność do 15.3 TB dla każdej konfiguracji lub 24 zewnętrzne dyski SSD o pojemności 30.2 TB na kontroler. Dodatkowo, A250 jest wyposażony w dwa porty Ethernet 25 Gb/s do obsługi HA i połączeń klastrowych, dwa porty 10Gbase-T do łączności z hostem oraz dwa gniazda Mezzanine do rozbudowy wejść/wyjść. A250 obsługuje również dyski SAS, z obsługą do 30.6 TB dla każdego dysku.
Zachęcamy do przeczytania naszej poprzedniej recenzji NetApp AFF A250 , w której szczegółowo opisano jego możliwości, potencjalne zastosowania i korzyści.
ONTAP 9.9.1
Jeśli chodzi o oprogramowanie, NetApp oferuje teraz AFF A250 z ONTAP 9.9.1. W naszej poprzedniej recenzji AFF A250 prezentowaliśmy wersję 9.8, aktualizację, która koncentrowała się na uproszczeniu obsługi. Najnowsza wersja koncentruje się na ulepszeniach i dodatkach do menedżera systemu, sieci SAN, ochrony danych i nie tylko.
Najważniejsze to:
- ONTAP obsługuje teraz do 12 węzłów, co stanowi ogromny postęp w porównaniu z poprzednimi wersjami, w których ASA mogło być klastrem tylko dwuwęzłowym. Oznacza to większą skalowalność zarówno pod względem wydajności, jak i pojemności.
- Menedżer systemu w najnowszej wersji pozwala użytkownikom ręcznie wybierać fizyczną warstwę pamięci masowej podczas tworzenia nowych woluminów. Nadal jednak można zezwolić ONTAP na automatyczne dokonywanie wyboru w oparciu o zrównoważoną logikę rozmieszczania.
- Inne aktualizacje obejmowały modernizację graficznego interfejsu użytkownika, która polegała na nieznacznej zmianie interfejsu, dodaniu nowych funkcji i przywróceniu niektórych brakujących funkcji, które zostały wcześniej usunięte. Na przykład, zdarzenia EMS na pulpicie nawigacyjnym są teraz wyświetlane po pierwszym zalogowaniu użytkownika.
NetApp AFF A250 i NVMe przez Fibre Channel (NVMe-oF)
Wersja 9.9.1 wprowadza szereg innych udoskonaleń, jednak dla nas (przynajmniej w tej recenzji) najważniejsza jest możliwość korzystania ze standardu NVMe over Fibre Channel (NVMe-oF) wszystkich macierzy SAN (ASA).
Podczas poprzednich testów NetApp AFF A250, testowaliśmy system w tradycyjnym trybie FC SAN z 12 dyskami SSD NVMe o pojemności 1.92 TB (RAID-DP z dwiema pulami pamięci masowej po 3 TB). Dlatego w tej recenzji system będzie działał w trybie NVMe-oF.
Technologia NVMe-oF została zaprojektowana w celu zwiększenia wydajności istniejących obciążeń sieci SAN i z pewnością jest najlepszym wyborem dla tych, którzy chcą w pełni wykorzystać zalety technologii NVMe, zwłaszcza jeśli chodzi o ogólną wydajność i czas reakcji aplikacji.
Wprowadzona w 2016 roku specyfikacja protokołu NVMe-oF zasadniczo rozszerza wydajność technologii NVMe z kontrolerów macierzy pamięci masowej na infrastrukturę sieciową (ang. fabric) poprzez Ethernet, Fiber Channel, RoCE lub InfiniBand. Protokół ten wykorzystuje infrastrukturę jako mapowanie transportowe zamiast magistrali PCIe, bez współdzielenia pamięci między punktami końcowymi. Aby uzyskać bardziej szczegółowe informacje, przeprowadziliśmy dogłębną analizę NVMe-oF zeszłego lata.
Specyfikacja NetApp AFF A250
| Maksymalna skalowalność | 2–24 węzły (12 par HA) |
| Maksymalna liczba dysków SSD | 48 |
| Maksymalna efektywna pojemność | 1.1PB |
| Specyfikacje dla każdego systemu (podwójny kontroler aktywny-aktywny) | |
| Współczynnik kształtu kontrolera | 2U |
| Gniazda rozszerzeń PCIe | 4 |
| Porty docelowe FC (automatyczne przełączanie zakresu 32 Gb) | Do 16 |
| Porty 100GbE (automatyczne przełączanie zakresu 40GbE) | 4 |
| Porty 25GbE (automatyczne przełączanie zakresu 10GbE) | Do 16 |
| 10Gbase-T (automatyczne przełączanie zakresu 1GbE) | 4 |
| Porty SAS 12 Gb/6 Gb | 4 |
| Obsługiwana sieć pamięci masowej | NVMe/FC, FC, iSCSI, NFS, pNFS, CIFS/SMB, Amazon S3 |
| Wersja systemu operacyjnego | ONTAP 9.9.1 lub nowszy |
| Półki i media | NS224 (2U; 24 dyski, 2.5” SFF NVMe); DS224C (2U; 24 dyski, 2.5” SFF); DS2246 (2U; 24 dyski, 2.5” SFF) |
Wydajność NetApp AFF A250 (NVMe-oF)
Nasza konfiguracja A250 obejmuje 12 dysków SSD NVMe o pojemności 1.92 TB i oprogramowanie NetApp ONTAP 9.9.1. Macierz została skonfigurowana przez NetApp w trybie RAID-DP z dwiema pulami pamięci masowej po 3 TB każda. W ramach tej recenzji przeprowadziliśmy testy w trybie NVMe-oF. Łączność zapewnia dwuprzełącznikowa magistrala Fibre Channel na dwóch przełącznikach Brocade G620 32 Gb/s.
Wydajność serwera SQL
Protokół testowania OLTP dla Microsoft SQL Server firmy StorageReview wykorzystuje aktualną wersję roboczą testu Benchmark C (TPC-C) opracowanego przez Transaction Processing Performance Council – internetowego testu porównawczego przetwarzania transakcji, który symuluje działania występujące w złożonych środowiskach aplikacji. Test TPC-C jest bliższy niż syntetyczne testy wydajnościowe, mierząc mocne strony i wąskie gardła infrastruktury pamięci masowej w środowiskach baz danych.
Każda maszyna wirtualna SQL Server jest skonfigurowana z dwoma dyskami wirtualnymi: woluminem 100 GB na rozruch i woluminem 500 GB na bazę danych i pliki dziennika. Z perspektywy zasobów systemowych, skonfigurowaliśmy każdą maszynę wirtualną z 16 procesorami wirtualnymi, 64 GB pamięci DRAM i wykorzystaliśmy kontroler LSI Logic SAS SCSI. Podczas gdy nasze obciążenia Sysbench testowane wcześniej obciążały platformę zarówno pod względem operacji wejścia/wyjścia, jak i pojemności pamięci masowej, test SQL sprawdza wydajność opóźnień.
W tym teście wykorzystano SQL Server 2014 działający na gościnnych maszynach wirtualnych z systemem Windows Server 2012 R2 i został on poddany testowi Dell Benchmark Factory for Databases. Podczas gdy tradycyjnie testowaliśmy ten test w dużych bazach danych o skali 3,000 w pamięci lokalnej lub współdzielonej, w tej iteracji skupiamy się na równomiernym rozłożeniu czterech baz danych o skali 1,500 na naszych serwerach.
Konfiguracja testowania serwera SQL Server (na maszynę wirtualną)
- Windows Server 2012 R2
- Zajętość pamięci masowej: 600 GB przydzielonych, 500 GB wykorzystanych
- SQL Server 2014
-
- Rozmiar bazy danych: skala 1,500
- Obciążenie wirtualnego klienta: 15 000
- Bufor RAM: 48 GB
- Długość testu: 3 godziny
-
- 2.5 godziny przygotowania wstępnego
- 30-minutowy okres próbny
W przypadku opóźnienia serwera SQL Server, A250 (NVMe-oF) uzyskał łączny wynik 3.5 ms dla 4 maszyn wirtualnych i 25.4 ms dla 8 maszyn wirtualnych. W trybie FCP A250 uzyskał łączny wynik 22.75 ms (8 maszyn wirtualnych) i 8.5 ms (4 maszyny wirtualne). W obu trybach A250 widać znaczną poprawę w porównaniu z poprzednią generacją (A200), która uzyskała wynik 25 ms dla 4 maszyn wirtualnych.
Wydajność Sysbench MySQL
Nasz kolejny test porównawczy aplikacji pamięci masowej składa się z bazy danych Percona MySQL OLTP, mierzonej za pomocą SysBench. Ten test mierzy również średnią liczbę transakcji na sekundę (TSP), średnie opóźnienie oraz średnie opóźnienie na poziomie 99. percentyla.
Każda maszyna wirtualna Sysbench jest skonfigurowana z trzema dyskami wirtualnymi: jednym do rozruchu (~92 GB), jednym z predefiniowaną bazą danych (~447 GB) i trzecim dla testowanej bazy danych (270 GB). Z perspektywy zasobów systemowych, skonfigurowaliśmy każdą maszynę wirtualną z 16 procesorami wirtualnymi, 60 GB pamięci DRAM i wykorzystaliśmy kontroler LSI Logic SAS SCSI.
Konfiguracja testów Sysbench (na maszynę wirtualną)
- CentOS 6.3 64-bit
- Percona XtraDB 5.5.30-rel30.1
- Stoły: 100
-
- Rozmiar: 10,000,000
- Wątki: 32 Baza danych
- Bufor RAM: 24 GB
- Długość testu: 3 godziny
-
- 2 godziny wstępnego kondycjonowania 32 wątków
- 1 godzina 32 wątki
W teście Sysbench OLTP, 8VM A250 (NVMe-oF) uzyskało łączny wynik 15 916 TPS, a 16VM – 17 537 TPS. W trybie FCP uzyskało łączny wynik 13 135 TPS dla 8VM i 16VM odpowiednio 16 149 TPS. Wydajność A200 była o połowę niższa, osiągając odpowiednio 8.871 TPS i 9,035 TPS dla 8VM i 16VM.
W przypadku średniego opóźnienia w Sysbench, model 8VM A250 (NVMe-oF) uzyskał łączny wynik 16.09 ms, a model 16VM – 29.23 ms. W trybie FCP, model 8VM i 16VM uzyskały łączny wynik odpowiednio 19.49 ms i 31.72 ms. Ponownie, wzrost wydajności w porównaniu z poprzednim był znaczący – model A200 uzyskał 28.86 ms (8VM) i 56.88 ms (16VM).
W naszym najgorszym scenariuszu opóźnienia (99. percentyl) NVMe-oF odnotowało łączne opóźnienie wynoszące 38.1 ms (8 maszyn wirtualnych) i 72.78 ms (16 maszyn wirtualnych), podczas gdy FCP wykazało 51.61 ms (8 maszyn wirtualnych) i 85.77 ms (16 maszyn wirtualnych). Nic dziwnego, że był to ogromny postęp w porównaniu z A200, który odnotował odpowiednio 84.93 ms i 152.91 ms dla 8 i 16 maszyn wirtualnych.
Analiza obciążenia VDBench
W przypadku testów porównawczych macierzy pamięci masowej, testy aplikacyjne sprawdzają się najlepiej, a testy syntetyczne plasują się na drugim miejscu. Chociaż testy syntetyczne nie odzwierciedlają idealnie rzeczywistych obciążeń, pomagają w ustaleniu punktu odniesienia dla urządzeń pamięci masowej, zapewniając powtarzalność, która ułatwia porównywanie konkurencyjnych rozwiązań.
Te obciążenia oferują szereg zróżnicowanych profili testowych, od testów „czterech narożników”, przez testy rozmiaru transferu wspólnej bazy danych, po przechwytywanie śladów z różnych środowisk VDI. Wszystkie te testy wykorzystują wspólny generator obciążeń vdBench z silnikiem skryptowym do automatyzacji i przechwytywania wyników w dużym klastrze obliczeniowym. Pozwala to nam powtarzać te same obciążenia w szerokiej gamie urządzeń pamięci masowej, w tym w macierzach flash i indywidualnych urządzeniach pamięci masowej.
Profile:
- Losowy odczyt 4K: 100% odczytu, 128 wątków, 0-120% ioratu
- 4K losowy zapis: 100% zapisu, 64 wątki, 0-120% ioracji
- 64K Sekwencyjny odczyt: 100% odczytu, 16 wątków, 0-120% ioratu
- 64K Sekwencyjny zapis: 100% zapisu, 8 wątków, 0-120% ioratu
- Syntetyczna baza danych: SQL i Oracle
- Ślady pełnego klonu VDI i klonów powiązanych
W przypadku losowego odczytu 4 KB, NetApp AFF A250 NVMe-oF wykazał znaczną poprawę w porównaniu z trybem FCP, osiągając opóźnienie poniżej milisekundy do ponad 700 KB, osiągając szczyt 787 910 IOPS przy opóźnieniu 3.58 ms. W trybie FCP, A250 wykazywał opóźnienie poniżej milisekundy do ponad 500 KB, osiągając szczyt 594 388 IOPS i opóźnienie 6.9 ms.
Losowy zapis 4K przyniósł nieco bliższe wyniki. W tym przypadku A250 z wykorzystaniem NVMe-oF osiągnął szczytową wydajność 183 805 IOPS przy 10.9 ms, po czym nieznacznie spadł pod koniec. W trybie FCP odnotował 169 543 IOPS i opóźnienie 10.4 ms.
Przechodząc do pracy sekwencyjnej, a konkretnie do naszych obciążeń 64 000, zauważyliśmy, że dysk A250 NVMe-oF utrzymywał się poniżej 1 ms do około 110 000 IOPS, czyli około 6.8 GB/s, a szczytowa wartość wyniosła 110 100 IOPS, czyli 6.9 GB/s, przy opóźnieniu 3.25 ms. Chociaż tryb FCP charakteryzował się lepszą przepustowością szczytową na poziomie 114 060 IOPS (7.13 GB/s), to jednak miał znacznie wyższe opóźnienie szczytowe, wynoszące 7.8 ms.
W przypadku 64 tys. operacji zapisu, A250 NVMe-oF osiągnął szczytową wartość około 47 tys. operacji wejścia/wyjścia na sekundę (IOPS), czyli około 3.04 GB/s, przy opóźnieniu 5.2 ms. W trybie FCP szczytowa wartość wyniosła 41 tys. operacji wejścia/wyjścia na sekundę (IOPS), czyli około 2.6 GB/s, przy znacznie wyższym opóźnieniu wynoszącym 24 ms (zanim wydajność nieco spadła, a opóźnienie wzrosło).
Następnie przechodzimy do naszych testów SQL: SQL, SQL 90-10 i SQL 80-20, gdzie AFF A250 w trybie NVMe-oF wykazał znaczną poprawę w porównaniu z trybem FCP. W SQL, A250 (NVMe-oF) utrzymywał się poniżej 1 ms, aż przekroczył 350 000, a następnie osiągnął szczyt 416 617 IOPS z czasem 2.10 ms. W trybie FCP osiągnął szczyt 348 403 IOPS z opóźnieniem 2.4 ms, po czym nastąpił niewielki spadek.
W SQL 90-10, A250 (NVMe-oF) miał opóźnienie poniżej milisekundy, aż do osiągnięcia 350 tys. IOPS, osiągając szczyt 388 589 IOPS przy 2.3 ms. W trybie FCP, A250 miał opóźnienie poniżej milisekundy do około 270 tys. IOPS, a następnie osiągnął szczyt 321 604 IOPS przy opóźnieniu nieco poniżej 3 ms.
W SQL 80-20, A250 (NVMe-oF) utrzymywał się poniżej 1 ms do około 270 tys. IOPS, osiągając szczyt 314 616 IOPS przy opóźnieniu 2.96 ms. Patrząc na A250 w trybie FCP, utrzymywał się poniżej 1 ms do około 200 tys. IOPS, a następnie osiągnął szczyt 263 157 IOPS przy opóźnieniu 3.6 ms.
Kolejną partią testów są nasze testy Oracle: Oracle, Oracle 90-10 i Oracle 80-20. Ponownie, NVMe-oF wykazał znacznie lepszą wydajność w całym cyklu. W obciążeniu Oracle, dawał nam opóźnienia poniżej milisekundy do około 230 tys. IOPS, a szczytowe wartości IOPS wynosiły 329 112, a opóźnienie wynosiło nieco ponad 3 ms. W trybie FCP, A250 dawał nam opóźnienia poniżej milisekundy do około 200 tys. IOPS, a szczytowe wartości IOPS wynosiły 263 802, a opóźnienie wynosiło nieco ponad 4.5 ms.

W trybie Oracle 80-20 A250 (NVMe-oF) osiągnął szczyt na poziomie 335 577 IOPS z opóźnieniem 1.75 ms, natomiast w trybie FCP odnotowano szczyt na poziomie 273 948 IOPS z opóźnieniem 2.1 ms.
Następnie przeszliśmy do testu klonowania VDI, pełnego i połączonego. W trybie rozruchu VDI Full Clone (FC), NetApp AFF A250 (NVMe-oF) osiągnął 240 tys. operacji wejścia/wyjścia bez opóźnienia przekraczającego 1 ms, osiągając szczyt 263 683 operacji wejścia/wyjścia na sekundę (IOPS) przy 3.23 ms, po czym nastąpił gwałtowny wzrost wydajności pod koniec. W trybie FCP, A250 osiągnął 200 tys. operacji wejścia/wyjścia na sekundę (IOPS) z opóźnieniem poniżej 1 ms, a następnie osiągnął szczyt 229 571 operacji wejścia/wyjścia na sekundę (IOPS) przy opóźnieniu nieco ponad 3 ms, po czym wydajność nieco spadła.

Podczas logowania VDI FC Monday, opóźnienie A250 wynosiło poniżej 1 ms do około 68 tys. IOPS, osiągając szczyt na poziomie 103 184 IOPS z opóźnieniem nieco poniżej 5 ms, po czym nastąpił kolejny skok. W trybie FCP, opóźnienie A250 utrzymywało się poniżej 1 ms do około 55 tys. IOPS, a następnie osiągnęło szczyt na poziomie 93 574 IOPS i opóźnienie 5.1 ms.
Teraz przechodzimy do klonu połączonego. W trybie VDI LC Boot oba tryby wykazały bardzo podobną wydajność, przy czym tryb FCP osiągnął szczyt z wyższą wartością IOPS, wynoszącą 151 953 IOPS (opóźnienie 3.2 ms). W trybie NVMe-oF, A250 osiągnął szczyt na poziomie 146 660 IOPS, choć z lepszym opóźnieniem wynoszącym 3.09 ms.

Wreszcie, dzięki poniedziałkowemu logowaniu VDI LC, A250 osiągnął około 48 tys. IOPS, zanim opóźnienie przekroczyło 1 ms. Osiągnął szczyt 75 259 IOPS przy opóźnieniu 6.67 ms, zanim nastąpił spadek wydajności. W FCP, A250 osiągnął prawie 40 tys. IOPS, zanim przekroczył 1 ms, osiągając szczyt 68 751 IOPS z opóźnieniem 7.3 ms.
Wniosek
NetApp AFF A250 to doskonały, kompleksowy system NVMe klasy podstawowej dla przedsiębiorstw średniej wielkości, które chcą uzyskać doskonałą wydajność i konsolidację danych. Sam system może być wyposażony w dyski SSD NVMe na froncie oraz łączność NVMe over FC na zapleczu, co wykorzystaliśmy w tej recenzji. Klienci z pewnością otrzymają wydajny system w przystępnej cenie i znaczną poprawę w porównaniu z poprzednim modelem, AFF A220. Nie jest to zaskakujące, ponieważ NetApp jest znany ze swojej świadomości aktualnych potrzeb branży IT. Dzięki temu firma oferuje fantastyczne aktualizacje systemu w kolejnych wersjach.
Aby sprawdzić wydajność, przeprowadziliśmy analizę obciążeń aplikacji (Application Workload Analysis) oraz VDBench. Jak wykazano powyżej, tryb NVMe-oF wykazał znaczący wzrost wydajności w porównaniu z tradycyjnym trybem SAN FCP (Fibre Channel Protocol).
W naszej analizie obciążenia aplikacji, A250 (NVMe-oF) uzyskał łączny wynik 3.5 ms dla 4 maszyn wirtualnych i 25.4 ms dla 8 maszyn wirtualnych. Dla porównania, tryb FCP uzyskał łączny wynik 22.75 ms (8 maszyn wirtualnych) i 8.5 ms (4 maszyny wirtualne).
W Sysbench A250 (NVMe-oF) wypadł równie imponująco, osiągając łączny wynik TPS wynoszący 15 916 TPS dla 8VM i 17 537 TPS dla 16VM, w porównaniu do odpowiednio 13 135 TPS i 16 149 TPS w trybie FCP. Średnie opóźnienie w Sysbench wyniosło 16.09 ms w trybie 8M i 29.23 ms w trybie 16VM, w porównaniu do 19.49 ms i 31.72 ms w trybie FCP. W najgorszym przypadku A250 osiągnął łączny wynik opóźnienia wynoszący 38.1 ms w trybie 8VM i 72.78 ms w trybie 16VM, w porównaniu do 51.61 ms (8VM) i 85.77 ms (16VM) w trybie FCP.
W teście VDBench dysk NetApp AFF A250 zabłysnął, znacząco zmniejszając opóźnienia w naszych profilach wydajności. Najważniejsze dane NetApp AFF A250 (NVMe-oF) to 788 tys. IOPS przy odczycie 4K, 183 tys. IOPS przy zapisie 4K, 6.8 GB/s przy odczycie 64K i 3.04 GB/s przy zapisie 64K. W naszych testach SQL zaobserwowaliśmy szczytowe wartości IOPS na poziomie 417 tys. IOPS, 389 tys. IOPS w SQL 90-10 i 315 tys. IOPS w SQL 80-20. W naszych testach Oracle zaobserwowaliśmy szczytowe wartości IOPS na poziomie 329 tys. IOPS, 407 tys. IOPS w Oracle 90-10 i 335 tys. IOPS w Oracle 80-20. W naszych testach klonowania VDI zaobserwowaliśmy wyniki pełnego klonu: 264 tys. IOPS podczas rozruchu, 99 tys. IOPS podczas pierwszego logowania i 103 tys. IOPS podczas logowania w poniedziałek. W przypadku klonu połączonego zaobserwowaliśmy szczyty na poziomie 147 tys. IOPS podczas rozruchu, 76 tys. IOPS podczas pierwszego logowania i 75 tys. IOPS podczas logowania w poniedziałek.
Wykorzystanie technologii NVMe w standardzie Fibre Channel zapewnia znacznie lepszą wydajność praktycznie w każdym obciążeniu, co – jeśli dysponujesz odpowiednim sprzętem – nie stanowi powodu, aby z niej nie korzystać. NetApp nie pobiera nawet dodatkowej opłaty za włączenie tych funkcji. Ostatecznie NVMe-oF to darmowy bonus wydajnościowy dla klientów NetApp, co czyni NVMe-oF ogromnym atutem dla użytkowników ONTAP AFA.





Amazon