AKTUALIZACJA 8 sierpnia 2015 r.: Odpowiedź Lukasa Lundella, globalnego dyrektora ds. rozwiązań i inżynierii wydajności w Nutanix, na naszym forum . Oświadczenie zawierało nieścisłe uwagi, które zostały już poprawione.
StorageReview to od wielu lat największy niezależny serwis recenzujący korporacyjne rozwiązania IT. Po raz pierwszy możemy opowiedzieć historię o tym, jak trwająca recenzja zakończyła się bez publikacji. Kilkakrotnie zdarzyło się, że dostawcy prosili nas o niepublikowanie recenzji, ale recenzje zawsze były publikowane. Ta historia jest jednak zupełnie inna, ponieważ napotkaliśmy nowe zachowania Nutanix. W skrócie: Nutanix wysłał klaster NX-8150 do recenzji, nasze testy ujawniły problemy z wydajnością, Nutanix wprowadził kilka aktualizacji oprogramowania w ciągu sześciu miesięcy w celu poprawy wydajności, w czerwcu poproszono nas o aktualizację naszego klastra do nowszych systemów opartych na procesorach Haswell, zgodziliśmy się, ale Nutanix wycofał się i odmówił wysłania obiecanych zamienników.
Ta krótka historia sama w sobie stanowi prosty fakt, ale w celu pełnego ujawnienia prawdy naszym czytelnikom, uważamy, że najlepiej przedstawić wszystkie szczegóły zdarzenia. Historia ta jest ważna dla zrozumienia nie tylko sposobu działania firmy Nutanix w tym przypadku, ale także tego, jak jej postawa może negatywnie wpłynąć na osoby poruszające się w coraz bardziej zatłoczonym i złożonym świecie rozwiązań hiperkonwergentnych. Przed dostarczeniem systemów do nas, przeprowadziliśmy wiele rozmów na temat naszych możliwości i metodologii testowania. Po raz pierwszy wdrożyliśmy klaster Nutanix NX-8150 20 stycznia 2015 roku, z pomocą przedstawiciela Nutanix na miejscu.
@BMBeeler @nutanix Klaster 4-węzłowy właśnie dotarł! pic.twitter.com/KwXzZUAE7u
— Kevin OBrien (@TestLabNut) 8 stycznia 2015 r
Wstępne testy koncentrowały się na VMmark z systemem operacyjnym Nutanix (NOS) 4.0.2.2. W przypadku większości uruchomień VMmark zaczynamy od średniego zestawu danych składającego się z 10 kafelków, aby poznać zachowanie systemu. W tym przypadku próbowaliśmy wielokrotnie odtworzyć 10 kafelków, nie uzyskując pozytywnego wyniku. Aby wesprzeć nasze testy, Nutanix zadeklarował zamiar replikacji środowiska VMmark i zasugerował użycie jednego magazynu danych zamiast wielu. Nutanix zasugerował również, że Storage vMotion będzie miał spadek wydajności, który może nie występować w standardowych wdrożeniach u klientów. Finalne środowisko VMmark dla środowisk hiperkonwergentnych skorzystało z tych wskazówek i wykorzystało oddzielną sieć SAN dla pojedynczej jednostki LUN wdrożeniowej.
VMmark to obciążenie infrastrukturalne zaprojektowane do testowania wydajności zasobów obliczeniowych, pamięci masowej i sieciowych w zwirtualizowanym środowisku o dużej skali. Obciąża ono zasoby obliczeniowe i pamięci masowej poprzez obciążenie aplikacji, a także sieć poprzez ruch między maszynami wirtualnymi i aktywność vMotion. Szczegółowy opis VMmark i tego, co tworzy kafelek, jest dostępny tutaj.
W przypadku platform hiperkonwergentnych z systemem ESXi, można to uznać za jeden z najlepszych testów porównawczych, ponieważ obciąża wszystkie komponenty klastra i bezpośrednio pokazuje, jak gęste jest rozwiązanie pod względem maszyn wirtualnych, zanim zacznie spadać wydajność. Nutanix nie zgadza się z tym testem, twierdząc, że jest on ograniczony przez procesor i pamięć. Niestety, Nutanix nigdy nie odtworzył własnej konfiguracji testowej VMmark, aby przekonać się, że tak nie jest.
Pod koniec stycznia klaster został zaktualizowany do wersji NOS 4.1.1, a jednym z efektów była poprawa wydajności. Podjęliśmy próbę testowania z wykorzystaniem Sysbench , w którym to momencie firma Nutanix zgłosiła wątpliwości dotyczące prawidłowego wdrożenia w systemach hiperkonwergentnych. Wstrzymaliśmy testy, aby zintegrować opinie firmy Nutanix ze wszystkimi naszymi profilami testowania baz danych dla systemów hiperkonwergentnych. Postanowiliśmy również poczekać na nową wersję oprogramowania NOS, która miała się wkrótce ukazać.
W maju klaster został zaktualizowany do wersji NOS 4.1.2. Firma Nutanix wyraziła chęć powtórzenia testów z naszych wcześniejszych testów na starszym oprogramowaniu, na co przystaliśmy. Ponownie podjęliśmy kilka prób, ale w związku z rychłym pojawieniem się wsparcia dla wersji 4.1.3 i ESXi 6.0, postanowiliśmy wstrzymać testy, aby umożliwić firmie Nutanix korzystanie z zalet wydajniejszego hiperwizora i innych aktualizacji w ESXi 6.0.
W czerwcu firma Nutanix zorganizowała swoją pierwszą doroczną konferencję .NEXT. Podczas wydarzenia firma Nutanix dała do zrozumienia, że nie czuje się komfortowo z testowaniem wydajności. W tym czasie klaster VMware Virtual SAN trafił do laboratorium w celu przeprowadzenia testów, co dodatkowo zniechęciło Nutanix do testowania wydajności. Inżynierowie ds. wydajności z Nutanix udzielili jednak podczas wydarzenia obszernych porad; wiele z tych sugestii zostało wdrożonych w naszych najlepszych praktykach testowania systemów hiperkonwergentnych.
Pod koniec miesiąca Nutanix zaktualizował klaster do wersji NOS 4.1.3, ze wsparciem dla ESXi 6.0. Ponownie przeprowadzono testy Sysbench. Ta wersja oprogramowania i zaktualizowana konfiguracja testów Sysbench były obiecujące; udało nam się podwoić wydajność Sysbench do 600TPS na węzeł, przy doskonałej równowadze transakcyjnej między węzłami. Wystąpiły pewne skoki opóźnień, ale nie wpłynęły one na ogólną liczbę transakcji w klastrze. Testowanie z aplikacjami wprowadza elementy takie jak buforowanie systemu plików i pamięci systemowej, których testy syntetyczne nie wykryją. Pomimo wkładu w metodologię testowania Sysbench, Nutanix nie zgadzał się z naszym procesem testowania bazy danych. Ich rozwiązaniem jest wdrożenie lekkiej maszyny wirtualnej za pomocą vdbench (generatora obciążenia syntetycznego) i monitorowanie jej pod kątem spełnienia pewnego poziomu zdefiniowanych parametrów obciążenia.
Gdy nadszedł lipiec, Nutanix poprosił nas o zwrot klastra NX-8150 z zaleceniem, abyśmy przetestowali klaster oparty na Haswellu, który ich zdaniem oferowałby wyższą wydajność niż sprzęt oparty na Ivy Bridge . Przyjęliśmy ofertę, ponieważ było jasne, że NX-8150 zbliża się do końca okresu sprzedaży. Ton rozmów szybko zmienił się w tym momencie. Po opuszczeniu laboratorium StorageReview przez NX-8150, wszystkie dyskusje wróciły do punktu wyjścia, czyli stworzenia planu testów. Nutanix poprosił nas o wykonanie ich planu testów, jednak wszystkie testy opracowane przez Nutanix są syntetyczne, a nie oparte na aplikacjach. Testowanie musiało zostać „dopracowane” przez inżynierów wydajności w Nutanix, zanim mogli ruszyć dalej. Obiecany nowy sprzęt, który miał zastąpić NX-8150, został wstrzymany; Nutanix odmówił wysyłki, dopóki nie zostanie uzgodniony nowy plan testów.
Podczas naszych wzajemnych testów w dobrej wierze, Nutanix zasugerował dostarczenie nam własnej platformy VSAN o niższej specyfikacji oraz Nutanix NX-3460-G4 (4 dyski twarde i 2 dyski SSD na węzeł). Odmówiliśmy zaakceptowania konfiguracji podstawowej i zrezygnowaliśmy z testowania systemu konkurencji bez zgody lub zaangażowania tego dostawcy. Ponownie naciskaliśmy na przeprowadzenie testów porównawczych z porównywalnym sprzętem, ale napotkaliśmy na przeszkody ze strony Nutanix.
Pod koniec lipca Nutanix złożył ostatnią ofertę sprzętu, prosząc o przesłanie nam klastra NX-3460-G4, abyśmy mogli przetestować interfejs i oprogramowanie. Oferta po raz pierwszy wyraźnie stwierdzała, że jeśli zaakceptujemy klaster, nie będziemy mogli uruchamiać na nim żadnych obciążeń wydajnościowych. Fragment wiadomości e-mail:
Oczywiście, zachęcamy do publikowania zrzutów ekranu interfejsu Nutanix Prism, aby wesprzeć ocenę powyższych kwestii. Uprzejmie prosimy o umożliwienie firmie Nutanix przejrzenia wszystkich opisów i komentarzy dotyczących produktu Nutanix (sprzętu i oprogramowania) na 72 godziny przed publikacją w celu weryfikacji faktów. (Mamy nadzieję, że jest to zgodne z Państwa obecnym procesem weryfikacji).
Podczas prac nad finalizacją planu testów wydajności prosimy o nieprzeprowadzanie testów mierzących wydajność produktu Nutanix ani wydajność jakiejkolwiek aplikacji (w tym oprogramowania testowego) działającej na platformie Nutanix. W szczególności prosimy o niekorzystanie z żadnych niestandardowych ani komercyjnych narzędzi testowych do pomiaru wydajności, w tym między innymi Sysbench, VMmark, IOmeter i Open LDAP.
Będziemy nadal współpracować z Państwem w dobrej wierze, aby wspólnie opracować szczegółowy plan testów (w tym metodologię i narzędzia testowe) na potrzeby przyszłej oceny wydajności produktu Nutanix. Do czasu wspólnego uzgodnienia planu prosimy o niewykonywanie żadnych testów wydajności produktu Nutanix ani niepublikowanie wyników wcześniejszych testów wydajności.
Zdecydowaliśmy się odrzucić również tę ofertę, ponieważ wierzymy, że nasza wiarygodność wśród czytelników opiera się na pełnej historii, którą chcemy opowiedzieć, a nie tylko na najważniejszych informacjach, o które prosi dostawca. Co więcej, plan testów proponowany obecnie przez Nutanix jest wystarczający do nauki systemu i scharakteryzowania lekkich zachowań, ale nie pokazuje, czego mogą oczekiwać klienci, gdy ich wymagania wzrosną po początkowym wdrożeniu.
Ostatecznie Nutanix wysłał nam klaster gotowy do testów z dobrze znanymi narzędziami branżowymi, których używamy na platformach współdzielonej pamięci masowej, mówiąc dosłownie „…można oszaleć z testowaniem”. Gdy tylko Nutanix dowiedział się, że ich NX-8150 można porównać z innymi rozwiązaniami sprzętowo-programowymi, wycofali sprzęt i nie wysyłali nowego sprzętu, chyba że na ich warunkach. Biorę na siebie winę za to, że do tego dopuściłem. Myślałem, że zaoferowanie nowszej wersji recenzji będzie lepsze dla naszych czytelników. Niestety tak się nie stało. Nutanix obecnie zajmuje stanowisko, że ich plan testowania powinien być standardem hiperkonwergentnym , co jest dość zaskakujące, biorąc pod uwagę, że ich plan testowania wykorzystuje przede wszystkim narzędzia do testowania syntetycznego i nie kładzie nacisku na wydajność klastra.
To jednak dłuższa debata, którą z przyjemnością toczymy, dotycząca zalet i najlepszych praktyk w zakresie testowania hiperkonwergentnego. Na razie jednak nie będziemy recenzować Nutanix, ale nadal współpracujemy z wieloma innymi podmiotami w tej branży, które są otwarte na testowanie aplikacji w warunkach rzeczywistych i niezależną ocenę.
AKTUALIZACJA 8 sierpnia 2015 r.: Oświadczenie Lukasa Lundella z Nutanix można znaleźć na naszych forach dyskusyjnych tutaj . Pierwotnie oświadczenie zawierało nieścisłe informacje dotyczące pojemności dysku SSD w urządzeniu Nutanix NX-8150 wysłanym do StorageReview. Lukas sprostował ten komentarz.
Amazon