AKTUALIZACE 8. srpna 2015: Odpověď od Lukase Lundella, globálního ředitele pro řešení a výkonnostní inženýrství ve společnosti Nutanix, na našich fórech . Toto prohlášení obsahovalo nepřesné poznámky, které byly následně opraveny.
StorageReview je již mnoho let největším nezávislým zdrojem pro hodnocení podnikových IT. Poprvé musíme vyprávět příběh o tom, jak rozpracovaná recenze skončila bez zveřejnění. Už několikrát jsme byli od dodavatele požádáni, abychom recenze nezveřejňovali, ale recenze se vždycky objevily. Tento příběh je však výrazně odlišný, protože jsme se setkali s novým chováním ze strany Nutanixu. Shrnutí je toto: Nutanix poslal k recenzi cluster NX-8150, naše testování odhalilo problémy s výkonem, Nutanix provedl během šesti měsíců několik aktualizací softwaru pro zlepšení výkonu, v červnu nás požádali o aktualizaci našeho clusteru novějšími systémy založenými na Haswellu, souhlasili jsme, Nutanix pak ustoupil a odmítl poslat slíbené náhrady.
Tato stručná historie sama o sobě je prostým faktem, ale v zájmu úplného odhalení pro naše čtenáře považujeme za nejlepší poskytnout veškeré podrobnosti o tom, co se stalo. Historie je důležitá nejen pro pochopení způsobu, jakým společnost Nutanix v tomto případě jednala, ale i pro pochopení toho, jak by jejich přístup mohl negativně ovlivnit ty, kteří se orientují ve stále přeplněnějším a složitějším světě hyperkonvergovaných řešení. Než nám systémy dodali, vedli jsme několik rozhovorů o našich testovacích možnostech a metodologii. Cluster Nutanix NX-8150 jsme poprvé nasadili 20. ledna 2015 za pomoci zástupce společnosti Nutanix na místě.
@BMBeeler @nutanix Právě dorazil cluster se 4 uzly! pic.twitter.com/KwXzZUAE7u
— Kevin OBrien (@TestLabNut) 8. ledna 2015
Počáteční testování se zaměřilo na VMmark s operačním systémem Nutanix (NOS) 4.0.2.2. U většiny běhů VMmark začínáme se střední datovou sadou 10 dlaždic, abychom získali představu o chování systému. V tomto případě bylo 10 dlaždic vyzkoušeno několikrát, aniž by bylo dosaženo požadovaného skóre. Pro podporu našeho testování společnost Nutanix naznačila záměr replikovat prostředí VMmark a také navrhla použití jednoho datového úložiště namísto mnoha. Nutanix také uvedla, že Storage vMotion by mělo pokles výkonu, který by se u běžných zákaznických nasazení nemusel projevit. Finální prostředí VMmark pro hyperkonvergované systémy se z toho inspirovalo a využilo samostatnou SAN pro jednu nasazenou LUN.
VMmark je infrastrukturní úloha navržená k testování výkonu výpočetních, úložných a síťových zdrojů ve virtualizovaném prostředí ve velkém měřítku. Zaměřuje se na výpočetní a úložné prostředky prostřednictvím zátěže aplikací a také na síťové aktivity s provozem mezi virtuálními počítači a aktivitami vMotion. Podrobný rozpis VMmark a toho, co dělá dlaždici, je k dispozici zde.
Pro hyperkonvergované platformy s ESXi by se to dalo považovat za jeden z nejlepších benchmarků, protože zatěžuje všechny komponenty clusteru a přímo ukazuje, jak hustě je řešení VM, než začne trpět výkon. Nutanix s tímto benchmarkem nesouhlasí a tvrdí, že je vázán na CPU/paměť. Nutanix však bohužel nikdy nereplikoval vlastní testovací nastavení VMmark, aby se sám přesvědčil, že tomu tak není.
Ke konci ledna byl cluster upgradován na NOS 4.1.1, přičemž jedním z výsledků bylo zlepšení výkonu. Pokusili jsme se o testování pomocí Sysbench , načež společnost Nutanix vyjádřila obavy ohledně správného nasazení pro hyperkonvergované systémy. Testování jsme zde pozastavili, abychom integrovali zpětnou vazbu od společnosti Nutanix do všech našich profilů testování databází pro hyperkonvergované systémy. Také jsme se rozhodli počkat na novou revizi softwaru NOS, která se chystala.
V květnu byl cluster upgradován na NOS 4.1.2. Společnost Nutanix naznačila zájem o zopakování testování z našich předchozích testů na starším softwaru, čemuž jsme vyhověli. Opět se pokusilo o několik testů, ale vzhledem k tomu, že podpora pro verze 4.1.3 a ESXi 6.0 brzy následuje, rozhodli jsme se testování pozastavit, abychom společnosti Nutanix umožnili využívat výhod efektivnějšího hypervizoru a dalších upgradů v ESXi 6.0.
V červnu uspořádala společnost Nutanix svou první výroční konferenci s názvem .NEXT. Na akci společnost Nutanix projevila známky nespokojenosti s testováním výkonu. V té době do laboratoře dorazil k posouzení cluster VMware Virtual SAN, což společnost Nutanix dále přimělo k defenzivnímu postoji k testování výkonu. Výkonoví inženýři ze společnosti Nutanix však na akci nabídli rozsáhlé rady; mnoho z těchto návrhů bylo začleněno do našich osvědčených postupů pro testování hyperkonvergovaných systémů.
Později v měsíci společnost Nutanix upgradovala cluster na NOS 4.1.3 s podporou pro ESXi 6.0. Znovu bylo provedeno testování v Sysbench. Tato revize softwaru a naše aktualizovaná konfigurace testování v Sysbench byly slibné; podařilo se nám zdvojnásobit výkon Sysbench na 600 TPS na uzel s vynikající transakční bilanci mezi jednotlivými uzly. Vyskytly se určité výkyvy latence, ale ty zřejmě neovlivnily celkový počet transakcí v clusteru. Testování s aplikacemi zavádí prvky, jako je souborový systém a ukládání do mezipaměti systémové paměti, které syntetické testy neukazují. Přestože společnost Nutanix přispívá k metodologii testování v Sysbench, nesouhlasí s naším procesem testování databáze. Jejich řešením je nasadit odlehčený virtuální stroj pomocí vdbench (syntetický generátor pracovní zátěže) a monitorovat ho, aby se zjistilo, zda splňuje určitou úroveň definovaných parametrů pracovní zátěže.
S nástupem července nás společnost Nutanix požádala o vrácení clusteru NX-8150 s tím, že by chtěli, abychom zrecenzovali cluster založený na Haswellu, který by podle nich nabízel vyšší výkon než hardware založený na Ivy Bridge . Nabídku jsme přijali, protože bylo jasné, že prodejní období NX-8150 se blíží ke konci. Tón konverzace se v tomto bodě rychle změnil. Poté, co byly NX-8150 vyřazeny z laboratoře StorageReview, se veškerá diskuse vrátila k vytvoření testovacího plánu. Společnost Nutanix nás požádala o provedení jejich testovacího plánu, nicméně všechny testy uvedené společností Nutanix jsou syntetické, nikoli aplikační. Testování museli „doladit“ výkonnostní inženýři společnosti Nutanix, než mohli pokračovat. Slíbené nové zařízení, které by mělo nahradit NX-8150, bylo pozastaveno; společnost Nutanix odmítla dodávky, dokud nebude dohodnut nový testovací plán.
Během naší vzájemné diskuse o testování nám společnost Nutanix navrhla dodat jejich vlastní platformu VSAN s nižšími specifikacemi a server Nutanix NX-3460-G4 (4x HDD a 2x SSD na uzel). Odmítli jsme akceptovat konfiguraci nižší třídy a bránili jsme se myšlence testování konkurenčního systému bez souhlasu nebo zapojení daného dodavatele. Opět jsme prosazovali podobné testování se srovnatelným hardwarem, ale narazili jsme na překážky od společnosti Nutanix.
Na konci července společnost Nutanix učinila poslední nabídku hardwaru a požádala nás o zaslání clusteru NX-3460-G4, abychom si mohli prohlédnout rozhraní a software. V nabídce bylo poprvé výslovně uvedeno, že pokud cluster přijmeme, nemůžeme na něm provozovat žádné výkonnostní úlohy jakéhokoli druhu. Výňatek z e-mailu:
Samozřejmě můžete publikovat snímky obrazovky rozhraní Nutanix Prism, které podpoří vyhodnocení výše uvedeného. Žádáme vás, abyste společnosti Nutanix poskytli možnost zkontrolovat všechny popisy a komentáře k produktu Nutanix (hardware a software) 72 hodin před publikací za účelem ověření faktů. (Doufáme, že je to v souladu s vaším stávajícím procesem kontroly.)
Během práce na finalizaci plánu testování výkonu vás žádáme, abyste neprováděli žádné testy, které měří výkon produktu Nutanix nebo výkon jakékoli aplikace (včetně testovacího softwaru) běžící na platformě Nutanix. Konkrétně vás žádáme, abyste k měření výkonu nepoužívali žádné zakázkové ani komerční testovací nástroje, včetně, ale nikoli výhradně, Sysbench, VMmark, IOmeter a Open LDAP.
Budeme s vámi i nadále v dobré víře spolupracovat na společném vývoji podrobného testovacího plánu (včetně metodiky a testovacích nástrojů) pro budoucí hodnocení výkonu produktu Nutanix. Dokud nebudeme mít vzájemně dohodnutý plán, žádáme vás, abyste neprováděli žádné testování výkonu produktu Nutanix ani nezveřejňovali výsledky předchozích testů výkonu.
I tuto nabídku jsme se rozhodli odmítnout, protože se domníváme, že naše důvěryhodnost u čtenářů závisí na uceleném příběhu, který bude vyprávěn, spíše než jen na hlavních bodech, které si dodavatel vyžádá. Testovací plán, který v současné době navrhuje společnost Nutanix, je navíc vhodný pro seznámení se systémem a charakterizaci odlehčeného chování, ale neukazuje, co mohou zákazníci očekávat s růstem jejich požadavků po počátečním nasazení.
Nakonec nám Nutanix poslal cluster připravený k testování s dobře známými nástroji v oboru, které používáme na platformách sdíleného úložiště, a doslova nám řekl: „…s testováním se můžete zbláznit.“ Jakmile Nutanix zjistil, že jejich NX-8150 lze porovnat s jinými hardwarovými/softwarovými řešeními, stáhl zařízení z trhu a nedodal nové, pokud to nebylo za jejich podmínek. Beru vinu za to, že se to stalo, na sebe beru sám. Myslel jsem si, že nabídka novější verze recenze by pro naše čtenáře byla lepší. Bohužel se tak nestalo. Nutanix nyní zastává postoj, že jejich testovací plán by měl být hyperkonvergovaným standardem , což je poněkud překvapivé vzhledem k tomu, že jejich testovací plán využívá primárně syntetické testovací nástroje a neklade důraz na výkon clusteru.
To je ale delší debata o výhodách a osvědčených postupech hyperkonvergovaného testování, kterou rádi povedeme. Prozatím ale nebudeme mít recenzi Nutanixu, ale nadále budeme tlačit vpřed s mnoha dalšími v tomto oboru, kteří jsou otevřeni testování aplikací v reálném světě a nezávislému hodnocení.
AKTUALIZACE 8. srpna 2015: Prohlášení Lukase Lundella ze společnosti Nutanix si můžete prohlédnout v našich diskusních fórech zde . Toto prohlášení původně obsahovalo nepřesné podrobnosti o kapacitě SSD disku uvnitř disku Nutanix NX-8150 dodaného serveru StorageReview. Lukas tento komentář následně opravil.
Amazon