Firma X-IO zyskała renomę w dziedzinie korporacyjnych pamięci masowych SAN, opracowując sposób na zapewnienie, że dyski twarde, a w przypadku konfiguracji hybrydowych – dyski SSD – nigdy nie będą wymagały serwisowania w pięcioletnim okresie gwarancyjnym. Aby osiągnąć ten cel, X-IO wykorzystuje dwa moduły DataPac, które są montowane i blokowane w całkowicie redundantnej obudowie, zapewniając pamięć masową typu „ustaw i zapomnij”. W marcu tego roku X-IO rozszerzyło rodzinę macierzy dysków twardych i hybrydowych o nową serię konfiguracji all-flash i zaktualizowaną architekturę trzeciej generacji (G3). Seria macierzy all-flash ISE 800 G3 obejmuje trzy modele o pojemności od 6.4 TB do 51.2 TB. Każdy z nich niesie ze sobą obietnicę radykalnego zmniejszenia częstotliwości zgłoszeń serwisowych, a także wydajności do 400 000 IOPS, przepustowości 5 GB/s i jednego z najsolidniejszych mechanizmów QoS.
Rozwiązanie X-IO jest już na rynku na tyle długo, że wielu klientów korzysta z niego już od pięcioletniego okresu gwarancji, co potwierdza, przynajmniej w pewnym stopniu, kluczową zasadę prostoty zarządzania. W przypadku konfiguracji all-flash wyzwania są jednak nieco inne. X-IO rozwiązało problemy związane z wytrzymałością, wprowadzając koncepcję wyrównywania zużycia na poziomie macierzy. System ten zasadniczo zarządza stanem każdego dysku SSD na poziomie systemu, zapewniając stosunkowo równy poziom zapisu danych na dyskach. Użytkownik końcowy nie musi martwić się o poszczególne dyski, ponieważ system sam zarządza ich zużyciem. W rzeczywistości X-IO nawet nie udostępnia dysków za pośrednictwem graficznego interfejsu użytkownika; użytkownicy zarządzają jedynie woluminami wydzielonymi z dostępnej puli.
X-IO to jedno z niewielu rozwiązań w obszarze macierzy all-flash, które oferuje QoS. W Menedżerze ISE administratorzy mogą określić minimalne, maksymalne i maksymalne możliwości IOPS dla każdego LUN. Proces ten wymaga zaledwie kilku kliknięć, a reguły są stosowane automatycznie. Dzięki temu woluminy o znaczeniu krytycznym dla firmy mają gwarantowaną wydajność bez obaw o zakłócenia w działaniu sąsiedniego urządzenia. Dodatkowo seria ISE 800 obsługuje thin provisioning oraz integrację z VMware VASA, vSphere Web Client, vCOP i OpenStack za pośrednictwem sterownika Cinder.
Niniejsza recenzja koncentruje się na ISE 860 G3, z ograniczonym zestawem danych zebranych również za pomocą modułów DataPac 820 w tej samej obudowie. Macierze all-flash ISE 800 Series G3 są już dostępne w sprzedaży, a ich cena katalogowa wynosi 124 900 USD za ISE 820, 320 500 USD za ISE 850 i 575 000 USD za ISE 860.
Specyfikacje X-IO Technologies ISE 800 Series G3
- Pojemność
- ISE 820 G3
- Przed RAID-em: 6.4 TB (20 dysków SSD po 200 GB na DataPac)
- Pojemność RAID 10: 2.7 TB
- Pojemność RAID 5: 4.3 TB
- ISE 850 G3 (10 dysków SSD o pojemności 1.6 TB na DataPac)
- Przed RAID-em: 25.6 TB
- Pojemność RAID 10: 11.4 TB
- Pojemność RAID 5: 18.3 TB
- ISE 860 G3 (20 dysków SSD o pojemności 1.6 TB na DataPac)
- Przed RAID-em: 51.2 TB
- Pojemność RAID 10: 22.9 TB
- Pojemność RAID 5: 36.6 TB
- ISE 820 G3
- Procesor Intel 2.2 GHz, 6-rdzeniowy, 16 GB pamięci DRAM na kontroler
- Wydajność przy pełnej wydajności
- Do 400,000 XNUMX IOPS
- Przepustowość do 5 GB/s
- Inteligentne algorytmy buforowania ISE zoptymalizują rozmiary operacji wejścia/wyjścia w zakresie od 512 B do 1 MB
- Łączność hosta
- 8 Gb Fibre Channel – 8 portów SFP (obsługuje zarówno podłączenie SAN, jak i DAS)
- Port zarządzania 1GbE z funkcją Wake-on-LAN
- Udogodnienia
- Aktywne-aktywne synchroniczne lustrzane odbicie
- Thin Provisioning
- QoS
- Interfejs API usług sieciowych ReST
- Zasilanie
- Typowo 600 W, maks. 700 W
- Napięcie 100-240 V AC, 47-63 Hz
- Prąd 6.6 A przy 110 V, 3.6 A przy 208 V
- Rozpraszanie ciepła (maks.) 2400 BTU/godz.
- Statystyki fizyczne
- Wysokość: 13.2 cm (5.2 cala) x szerokość: 44.45 cm (17.5 cala) x głębokość: 72.8 cm (28.5 cala)
- 72 funty (32.9 kg) bez DataPacs
Projekt i budowa X-IO Technologies ISE 860 G3
Podobnie jak w poprzednich wersjach ISE, konstrukcja urządzenia wyróżnia się dwoma modułami DataPac umieszczonymi z przodu, które są wsuwane i blokowane po włączeniu zasilania. Każdy z modeli serii 800 wykorzystuje tę samą obudowę i kontrolery; cechą wyróżniającą jest po prostu pojemność modułów DataPac i dysków SSD, które się w nich znajdują. Z przodu urządzenia znajdują się również dwa pakiety superkondensatorów, zaprojektowane tak, aby w przypadku nieoczekiwanej utraty zasilania zapewnić wystarczająco długi czas pracy, umożliwiający przelanie danych zapisanych w trakcie transmisji do pamięci nieulotnej. Po przywróceniu zasilania dane te są zapisywane w głównej puli pamięci masowej. Płyta główna SAS w modelu 860 została ulepszona, aby lepiej wykorzystać możliwości wejścia/wyjścia konfiguracji all-flash.
Z tyłu urządzenia znajdują się redundantne zasilacze oraz dwa kontrolery. Każdy kontroler jest napędzany 6-rdzeniowym procesorem Intel 2.2 GHz z 16 GB pamięci DRAM. Oprócz czterech portów Fibre Channel 8 Gb/s na każdym kontrolerze znajduje się również port zarządzania 1 GbE, port konsoli, dwa gniazda USB i port SAS.
Instalacja i konfiguracja X-IO Technologies ISE 860 G3
Pakiet ISE Manager Suite integruje się z systemami Citrix, Linux, Microsoft i VMware, tworząc środowisko, które znacznie upraszcza administrację środowiskiem ISE. W rzeczywistości X-IO podkreśla, że nie trzeba być przeszkolonym administratorem pamięci masowej, aby wdrożyć i zarządzać środowiskiem ISE. Zintegrowaliśmy pakiet ISE Manager Suite z naszym VMware vCenter. Po lewej stronie administratorzy mogą wybierać między grupami SAN, adapterem wydajnościowym i zbieraniem logów. W menu grup SAN znajduje się kilka dodatkowych zakładek, w tym widok serwera, widok pamięci masowej, widok fizyczny, widok ActiveWatch, widok wydajności, widok logów, CloudStack i X-Volume.
W widoku fizycznym użytkownicy mogą sprawdzić kilka ogólnych właściwości macierzy. Po lewej stronie znajduje się odczyt stanu systemu. Użytkownicy mogą sprawdzić pakiety DataPac. Można sprawdzić między innymi, czy są one sprawne, w jakiej pozycji się znajdują, jaki jest ich typ (w tym przypadku Flash) oraz do której puli należą.
Widok fizyczny pozwala również sprawdzić pulę(y) pamięci masowej. Wyświetlane są szczegółowe informacje, takie jak ilość dostępnej pamięci flash, który DataPac znajduje się w puli (w tym przypadku oba) oraz ilość wolnej i całkowitej pojemności.
W widoku pamięci masowej użytkownicy mogą zobaczyć różne pule pamięci masowej, ich rozmiar, konfigurację RAID, miejsce przypięcia puli oraz ustawienia maksymalnej i minimalnej wydajności.
Widok wydajności pozwala administratorom na bieżąco śledzić wydajność. Monitorowanie wydajności jest łatwe. Na przykład, pomiary od momentu rozpoczęcia obciążenia SQL są widoczne poniżej. Wraz z przenoszeniem danych do pamięci DRAM hosta, odczyty maleją, chociaż dla każdego zapisu w dzienniku widoczne są duże skoki zapisu.
Na początku testu Sysbench w środowisku wirtualnym, w którym macierz była obciążana 16 maszynami wirtualnymi, można było zaobserwować intensywne operacje odczytu i zapisu na obu kontrolerach.
Gdy wynik testu Sysbench 16VM się ustabilizuje, można zobaczyć, że macierz osiągnęła stan ustalony.
Analiza wydajności aplikacji
Benchmark Sysbench OLTP działa na bazie Percona MySQL, wykorzystując mechanizm pamięci masowej InnoDB działający w instalacji CentOS. Aby dostosować nasze testy tradycyjnej sieci SAN do nowszych, hiperkonwergentnych urządzeń, przenieśliśmy wiele naszych testów porównawczych do większego, rozproszonego modelu. Główną różnicą jest to, że zamiast uruchamiać pojedynczy test porównawczy na serwerze fizycznym, uruchamiamy teraz wiele instancji tego testu w środowisku zwirtualizowanym. W tym celu wdrożyliśmy 1, 4, 8, 12 i 16 maszyn wirtualnych Sysbench na platformie X-IO ISE 860, po 1-4 na węzeł, i zmierzyliśmy całkowitą wydajność klastra, działając jednocześnie. Ten test miał na celu pokazanie, jak macierz radzi sobie pod normalnymi i ekstremalnymi obciążeniami. W szczytowym momencie testu w pełni obciążamy cztery hosty ESXi, na których znajdują się maszyny wirtualne, określając wykorzystanie pamięci DRAM każdego z nich.
Klaster Sysbench zwirtualizowany Dell PowerEdge R730 z 4 węzłami
- Osiem procesorów Intel E5-2690 v3 o taktowaniu 249 GHz w klastrze (dwa na węzeł, 2.6 GHz, 12 rdzeni, pamięć podręczna 30 MB)
- 1 TB pamięci RAM (256 GB na węzeł, 16 GB x 16 DDR4, 128 GB na procesor)
- Rozruch z karty SD (Lexar 16 GB)
- 4 x adapter Mellanox ConnectX-3 InfiniBand (vSwitch dla vMotion i sieci VM)
- 4 x Karta HBA FC Emulex 16 GB z dwoma portami
- 4 x Karta sieciowa dwuportowa Emulex 10GbE
- VMware ESXi vSphere 6.0 / Enterprise Plus 8-CPU
Każda maszyna wirtualna Sysbench jest skonfigurowana z trzema dyskami wirtualnymi: jednym do rozruchu (~92 GB), jednym z predefiniowaną bazą danych (~447 GB) i trzecim na bazę danych, którą będziemy testować (400 GB). Z perspektywy zasobów systemowych, każdą maszynę wirtualną skonfigurowaliśmy z 16 procesorami wirtualnymi, 64 GB pamięci DRAM i wykorzystaliśmy kontroler LSI Logic SAS SCSI.
Nasz test Sysbench mierzy średnią liczbę transakcji na sekundę (TSP), średnie opóźnienie, a także średnie opóźnienie 99. percentyla przy szczytowym obciążeniu 32 wątków.
Patrząc na średnią liczbę transakcji na sekundę, XIO ISE 860 osiągnął 1,762 TPS przy użyciu jednej maszyny wirtualnej. Po zwiększeniu konfiguracji do 4 maszyn wirtualnych zaobserwowaliśmy znaczną poprawę TPS do 4,424, co stanowi wzrost o około 150%. Zaobserwowaliśmy również wzrost wydajności przy przejściu z 4 do 8 maszyn wirtualnych (38%), a także z 8 do 12 maszyn wirtualnych (9%). Jednak po zwiększeniu do 16 maszyn wirtualnych zaobserwowaliśmy niewielki spadek TPS o 7.4%. Nawet gdy ogólna wydajność spadła przy 16 maszynach wirtualnych, X-IO ISE 860 okazał się absolutną potęgą, utrzymując ten poziom wydajności przy ekstremalnie dużym obciążeniu.
W przypadku średniego opóźnienia wyraźnie widać, że im więcej maszyn wirtualnych dodano do XIO ISE 860, tym wyższe było zarejestrowane opóźnienie. Po zmianie konfiguracji ISE 860 z 1 maszyny wirtualnej (18 ms) na 4 maszyny wirtualne (29 ms), opóźnienie wzrosło o 61%. Z 4 do 8 maszyn wirtualnych zaobserwowaliśmy wzrost o 34.5%, a z 8 do 12 – o 38.5%. Wreszcie, przy użyciu 16 maszyn wirtualnych, opóźnienie wyniosło 48%. Wracając do powyższego wykresu TPS, zauważmy, że przy użyciu 12 maszyn wirtualnych uzyskano najwyższą wydajność, podczas gdy przy 16 maszynach wirtualnych TPS zaczęło spadać, a opóźnienie jeszcze bardziej wzrastać.
W naszym najgorszym scenariuszu opóźnień MySQL (99. percentyl opóźnienia), XIO SE 860 odnotował jedynie niewielki wzrost opóźnień przy przejściu z 1 do 4 maszyn wirtualnych i ponownie z 4 do 8 maszyn wirtualnych. Jednak po dodaniu 12 maszyn wirtualnych zaobserwowaliśmy znaczący wzrost opóźnień o 113%, a jeszcze większy przy przejściu z 12 do 16 maszyn wirtualnych (136%).
Protokół testowania OLTP dla Microsoft SQL Server firmy StorageReview wykorzystuje aktualną wersję roboczą testu Benchmark C (TPC-C) opracowanego przez Transaction Processing Performance Council – internetowego testu porównawczego przetwarzania transakcji, który symuluje działania występujące w złożonych środowiskach aplikacji. Test TPC-C jest bliższy niż syntetyczne testy wydajnościowe, mierząc mocne strony i wąskie gardła infrastruktury pamięci masowej w środowiskach baz danych.
W tym teście wykorzystano SQL Server 2014 działający na gościnnych maszynach wirtualnych z systemem Windows Server 2012 R2, testowany przez program Dell Benchmark Factory for Databases. Podczas gdy tradycyjnie testowaliśmy ten test w dużych bazach danych o skali 3,000 w pamięci lokalnej lub współdzielonej, w tej iteracji skupiamy się na równomiernym rozmieszczeniu czterech baz danych o skali 1,500 w naszym systemie X-IO ISE 860, aby lepiej zilustrować łączną wydajność w 4-węzłowym klastrze VMware.
Druga generacja SQL Server OLTP Benchmark Factory LoadGen Equipment
- Hosty klientów wirtualnych Dell PowerEdge R730 VMware ESXi vSphere (2)
- Cztery procesory Intel E5-2690 v3 o taktowaniu 124 GHz w klastrze (dwa na węzeł, 2.6 GHz, 12 rdzeni, pamięć podręczna 30 MB)
- 512 GB pamięci RAM (256 GB na węzeł, 16 GB x 16 DDR4, 128 GB na procesor)
- Rozruch z karty SD (Lexar 16 GB)
- 2 x adapter Mellanox ConnectX-3 InfiniBand (vSwitch dla vMotion i sieci VM)
- 2 x Karta HBA FC Emulex 16 GB z dwoma portami
- 2 x Karta sieciowa dwuportowa Emulex 10GbE
- VMware ESXi vSphere 6.0 / Enterprise Plus 4-CPU
-
Klaster SQL zwirtualizowany Dell PowerEdge R730 z 4 węzłami
- Osiem procesorów Intel E5-2690 v3 o taktowaniu 249 GHz w klastrze (dwa na węzeł, 2.6 GHz, 12 rdzeni, pamięć podręczna 30 MB)
- 1 TB pamięci RAM (256 GB na węzeł, 16 GB x 16 DDR4, 128 GB na procesor)
- Rozruch z karty SD (Lexar 16 GB)
- 4 x adapter Mellanox ConnectX-3 InfiniBand (vSwitch dla vMotion i sieci VM)
- 4 x Karta HBA FC Emulex 16 GB z dwoma portami
- 4 x Karta sieciowa dwuportowa Emulex 10GbE
- VMware ESXi vSphere 6.0 / Enterprise Plus 8-CPU
Każda maszyna wirtualna SQL Server jest skonfigurowana z dwoma dyskami wirtualnymi: jednym o pojemności 100 GB do rozruchu i jednym o pojemności 500 GB na bazę danych i pliki dziennika. Z perspektywy zasobów systemowych, skonfigurowaliśmy każdą maszynę wirtualną z 16 procesorami wirtualnymi, 64 GB pamięci DRAM i wykorzystaliśmy kontroler LSI Logic SAS SCSI.
Platforma X-IO ISE 860 poddana testowi SQL Server z pewnością dobrze poradziła sobie z obsługą 15 000 użytkowników wirtualnych, gdyż XIO ISE 860 osiągnął średnią łączną na poziomie 12 564,9 TPS.
Analizując średnie opóźnienie przy takim samym obciążeniu użytkowników wirtualnych, X-IO ISE 860 zaoferował średnie opóźnienie na poziomie 13 ms, z rozrzutem od 12 do 14 ms między 4 maszynami wirtualnymi. To kolejny obszar, w którym spójność ISE 860 między woluminami i jego niska responsywność w zakresie opóźnień pomogły mu osiągnąć czołowe wyniki.
Analiza syntetycznego obciążenia przedsiębiorstwa
Przed rozpoczęciem każdego z syntetycznych testów porównawczych Fio , nasze laboratorium przeprowadza wstępne testy systemu w stanie stacjonarnym przy dużym obciążeniu 16 wątków i kolejce oczekujących na wykonanie 16 wątków na wątek. Następnie pamięć masowa jest testowana w ustalonych odstępach czasu z wieloma profilami głębokości wątków/kolejek, aby pokazać wydajność przy lekkim i intensywnym obciążeniu.
- Testy wstępnego kondycjonowania i podstawowego stanu stacjonarnego:
- Przepustowość (łączna liczba operacji wejścia/wyjścia na sekundę odczytu i zapisu)
- Średnie opóźnienie (średnie opóźnienie odczytu i zapisu)
- Maksymalne opóźnienie (maksymalne opóźnienie odczytu lub zapisu)
- Odchylenie standardowe opóźnienia (uśrednione odchylenie standardowe odczytu i zapisu)
Niniejsza analiza syntetyczna uwzględnia dwa profile, które są powszechnie stosowane w specyfikacjach producentów i testach porównawczych:
- 4k – 100% odczytu i 100% zapisu
- 8k – 70% odczytu/30% zapisu
Trzecia generacja FIO LoadGen
- HP ProLiant DL380 Gen9
- Dwa procesory Intel E5-2667 v3 (3.2 GHz, 8 rdzeni, pamięć podręczna 20 MB)
- 256 GB pamięci RAM (16 GB x 16 DDR4, 128 GB na procesor)
- Windows Server 2012 R2
- Dysk SSD rozruchowy 400 GB
- 2 x Karta HBA FC Emulex 16 GB z dwoma portami
- Przełącznik Brocade 6510 48-portowy 16 Gb
Nasz pierwszy test porównawczy mierzy wydajność losowych transferów 4k, składających się w 100% z zapisu i w 100% z odczytu. Pod względem przepustowości, X-IO ISE 860 odnotował 286 694 IOPS odczytu i 117 131 zapisu w konfiguracji RAID5. W konfiguracji RAID1 zmierzył 281 253 IOPS odczytu i 174 572 IOPS zapisu.
W przypadku X-IO ISE 860 średnie opóźnienie odczytu wyniosło zaledwie 0.89 ms, a opóźnienie zapisu 2.18 ms w macierzy RAID5, podczas gdy w przypadku RAID1 średnie opóźnienie odczytu wyniosło 0.91 ms, a opóźnienie zapisu było jeszcze lepsze i wyniosło 1.46 ms.
Podczas testów maksymalnych opóźnień, X-IO ISE 860 w macierzy RAID1 osiągnął odczyt na poziomie 22.7 ms i zapis na poziomie 17.2 ms, natomiast konfiguracja RAID5 zmierzyła odczyt na poziomie 24.1 ms i zapis na poziomie 27.0 ms.
W naszym teście odchylenia standardowego konfiguracja RAID1 nadal osiągała świetne wyniki, z odczytem w czasie zaledwie 0.25 ms i zapisem w czasie 1.06 ms. Chociaż konfiguracja RAID5 charakteryzowała się podobnymi odczytami, miała znacznie wyższe opóźnienie w zapisie (1.82 ms).
Przechodząc do obciążenia losowego 8k z 70% odczytem i 30% zapisem, obie konfiguracje X-IO ISE 860 wykazują praktycznie identyczne wyniki w naszych wątkach. Konfiguracja RAID5 zaczęła zanikać dopiero przy 16T/8Q, gdzie osiągnęła około 185 000 IOPS. RAID1 wykazał całkowitą wydajność na poziomie około 230 000 IOPS.
Analiza średniego opóźnienia pokazała podobny obraz – zarówno RAID1, jak i RAID5 ponownie wykazały podobne wyniki, ale różnica nastąpiła około 8T16Q. W przypadku głębokości terminala, RAID5 wykazał średnie opóźnienie na poziomie około 1.4 ms, podczas gdy RAID1 zmierzył 1.2 ms.
Wyniki były znacznie mniej zbliżone, jeśli chodzi o wydajność szczytowego opóźnienia. W tym przypadku RAID1 wystartował z początkowym opóźnieniem 16 ms przy 2T2Q, osiągając 32 ms w terminalu. X-IO ISE 860 w RAID5 zmierzył 18 ms przy 2T2Q i 30 ms przy 16T16Q.
Jak pokazano poniżej, nasze wyniki odchylenia standardowego były bardzo zbliżone do naszych wykresów średniego opóźnienia. Obie konfiguracje RAID wystartowały z opóźnieniem 0.1 ms, stopniowo oddalając się od siebie o 4T4Q. W wątkach terminala konfiguracja RAID5 osiągnęła 0.73 ms, a RAID1 0.51 ms.
Nasze kolejne obciążenie przenosi się do testu sekwencyjnego małych bloków 8K. W tym scenariuszu ISE 860 w RAID5 miał niewielką przewagę zarówno pod względem wydajności odczytu, jak i zapisu, osiągając 434 562 IOPS odczytu i 231 022 IOPS zapisu, w porównaniu z RAID1, który osiągnął 431 200 IOPS odczytu i 229 683 IOPS zapisu. Pod względem szczytowego potencjału wejścia/wyjścia, ISE 860 nie zawiódł.
Naszym ostatnim obciążeniem był sekwencyjny test dużych bloków o rozmiarze 128 KB. W tym scenariuszu obie konfiguracje RAID uzyskały podobne wyniki: RAID5 wykazał odczyt na poziomie 4,513 MB/s i zapis na poziomie 1,767 MB/s, podczas gdy RAID1 odnotował odczyt i zapis na poziomie odpowiednio 4,503 MB/s i 1,913 MB/s. Chociaż wydajność sekwencyjna nie odgrywa dużej roli w mocno zwirtualizowanym świecie, gdzie ruch jest bardzo zrandomizowany, to i tak cieszy fakt, że macierz miała wystarczającą moc, aby zapewnić wydajność na poziomie ponad 4.5 GB/s. Wydajność sekwencyjnego zapisu dużych bloków była nieco niska, ale biorąc pod uwagę, jak dobrze radziła sobie w naszych testach aplikacyjnych, nie będzie to miało większego wpływu na warunki rzeczywiste.
Część 1 Ostatnie przemyślenia
W części 2 recenzji przyjrzymy się kilku innym obszarom wydajności. Z tego, co widzieliśmy do tej pory, jest wiele powodów do optymizmu co do pozostałych testów, które obejmą testy w VMmark, DataFusion w bazie danych pamięci oraz OpenLDAP. Niestety, nie mamy zbyt wielu danych, z którymi moglibyśmy bezpośrednio porównać ISE 860. Metodologia testowania Gen2 i zaplecze laboratoryjne (serwery Dell), które wdrożyliśmy do testów, przynoszą jedynie owoce sukcesu, a ISE 860 jest pierwszą siecią SAN, która została poddana recenzji. Mimo to, patrząc wstecz na podobne wyniki i ekstrapolując niektóre z nich, możemy stwierdzić, że platforma XIO ISE jest gotowa do gry na głównej scenie z innymi gigantami all-flash, rywalizując na bardzo wysokim poziomie w zakresie obciążeń krytycznych dla biznesu. Część 2 ujawni jeszcze więcej, gdy ponownie doprowadzimy system do granic możliwości, testując ponad 20 kafelków w VMmark. Bądźcie czujni, aby przeczytać kolejną część.
Już wkrótce: recenzja X-IO Technologies ISE 860 G3: część 2
Amazon