StorageReview.com

Recenze řešení SuperMicro X11 MicroBlade

Enterprise  ◇  Server

Řada serverů SuperMicro MicroBlade se skládá ze dvou klíčových komponent: širokého výběru konfigurací šasi a množství možností hustých blade serverů. Skříň MicroBlade se dodává ve dvou hlavních variantách, jednou je 3U jednotka s podporou 14 serverů a druhou 6U jednotka s podporou 28 serverů. Mezi těmito velikostmi existují různé možnosti konfigurace napájení, ze kterých si uživatelé mohou vybrat v závislosti na tom, jak bude konfigurováno konečné řešení. Samotné servery pokrývají širokou škálu možností, od systémů s jedním nebo dvěma procesory Intel Xeon až po ultrahusté blade servery nabízející čtyři uzly Intel-Avoton. To umožňuje společnosti Supermicro dosáhnout vysokého počtu jader na rack, až 6272 jader se 784 čtyřmi uzly Avoton v 42U půdorysu. Rozmanitost možností poskytuje spoustu flexibility pro ty, kteří potřebují husté výpočetní výkony pro vysoce náročné aplikace, nebo pro ty, kteří chtějí začít v malém, ale vědí, že jejich výpočetní nároky se budou muset rychle škálovat. V obou případech nabízejí skříně MicroBlade jednoduchý model nasazení a také modul pro správu šasi (CMM) pro vzdálený přístup k blade serverům, napájecím zdrojům, chladicím ventilátorům a síťovým přepínačům.

V laboratoři StorageReview nám byla dodána konfigurace šasi 6U (MBE-628E-820) osazená dvěma různými typy jedno- a dvouuzlových blade serverů. Vše propojoval v jedné fabrice přepínač Intel 1G/2.5G MBM-GEM-001 s interním přístupem 1G a externí konektivitou 10/40GB.

S pouhými čtyřmi blade servery se testování zaměřilo na správu skříně a také na to, jak si uzly (v konfiguraci) vedly v našem prostředí VMware s virtualizovanou úlohou MySQL TPC-C. Naše čtyři blade servery se také trochu liší, což zdůrazňuje rozmanitost konfigurací CPU, SSD a RAM. To se hodí pro sdružování výpočetních zdrojů pro specifické úlohy nebo jednoduše pro flexibilitu při podpoře nových technologií, jakmile se dostanou na trh.

Specifikace SuperMicro MicroBlade

  • Kryt MBE-628E-820 (8x zdroj):
    • Serverový blade: Až 28 serverových blade modulů s možností výměny za provozu
    • GbE přepínač / průchozí modul: Až 2 hot-swap přepínače MBM-GEM-001/003i/003S nebo MBM-XEM-001
    • Modul pro správu:
      • Až 2 hot-swap moduly pro správu šasi (CMM) poskytující funkce vzdáleného KVM a IPMI 2.0
      • Modul řízení není součástí skříně
    • Napájení: Až 8 hot-swap vysoce účinných 2000W redundantních napájecích zdrojů N+1 nebo N+N
    • Chlazení: Až 8 chladicích ventilátorů
    • Rozměry (VxŠxH): 10.43″ x 17.67″ x 36.10″ (265 mm x 449 mm x 917 mm)
    • Dostupné modely:
      • MBE-628E-820 – Rozvaděčová skříň s osmi vysoce účinnými napájecími zdroji o výkonu 2000 W
      • MBE-628E-420 – Rozvaděčová skříň se čtyřmi vysoce účinnými napájecími zdroji o výkonu 2000 W + čtyřmi moduly ventilátorů
  • Atom C2750/2550:
    • MBI-6418A-T7H/T5H
      • Uzel na 6U/3U: 112/56
      • SSD/HDD na 6U/3U: 112/56x 2.5” SATA3 SSD/HDD
      • Uzel na čepel: 4
      • Procesor:
        • Intel Atom 2750 (T7H) 8jádrový, 2.4 GHz, 20 W
        • Intel Atom 2550 (T5H) 4jádrový, 2.4 GHz, 14 W
      • Kapacita paměti: Až 32 GB DDR3-1600 ECC SO-DIMM ve 2 slotech DIMM
      • Pozice pro mechaniku:
        • 1x 2.5” SATA3 HDD/SSD
        • 1 SATADOM
      • Síťová konektivita: Dvouportová 2.5GbE
  • Xeon D UP Broadwell-DE
    • MBI-6118G-T41X
      • Uzel na 6U/3U: 28/14
      • SSD/HDD na 6U/3U:
        • 112/56x 2.5” SATA3 SSD
        • 56/28x 2.5” SATA3 HDD + 56/28 SSD
      • Uzel na čepel: 1
      • Procesor: Intel Broadwell-DE SoC Xeon D-1541 8jádrový, 45W
      • Kapacita paměti: Až 128 GB DDR4-2400 ECC VLP RDIMM v 4 slotech DIMM
      • Pozice disku: 4x 2.5” SATA3 SSD (2 HDD/SSD + 2 SSD) 1 SATADOM
      • Síťové připojení: Dvouportové 10GbE
    • MBI-6218G-T41X
      • Uzel na 6U/3U: 56/28
      • SSD/HDD na 6U/3U: 58/28x 2.5” SATA3 SSD/HDD
      • Uzel na čepel: 2
      • Procesor: Intel Broadwell-DE SoC Xeon D-1541 8jádrový, 45W
      • Kapacita paměti: Až 128 GB DDR4-2400 ECC VLP RDIMM v 4 slotech DIMM
      • Pozice pro mechaniku:
        • 1x 2.5” SATA3 HDD/SSD
        • 1 SATADOM
      • Síťové připojení: Dvouportové 10GbE
  • Xeon UP E3-1200 v5/v4/v3
    • MBI-6219G-T
      • Uzel na 6U/3U: 56/28
      • SSD/HDD na 6U/3U:
        • 112/56x 2.5” SATA3 SSD
        • 56/28x 2.5” SATA3 HDD
      • Uzel na čepel: 2
      • Procesor: Intel E3-1200 v5 4jádrový, 25W–95W
      • Kapacita paměti: Až 64 GB DDR4-2400 ECC VLP UDIMM ve 4 slotech DIMM
      • Pozice pro disk: 2x 2.5” SATA3 SSD nebo 1 HDD
      • Síťové připojení: Dvouportové 1GbE
    • MBI-6118D-T4H/T2H
      • Uzel na 6U/3U: 28/14
      • SSD/HDD na 6U/3U:
        • 112/56x 2.5” SATA3 HDD/SSD
        • 56/28x 3.5” SATA3 HDD
      • Uzel na čepel: 1
      • Procesor: Intel E3-1200 v4 s grafikou Iris Pro
      • Kapacita paměti: Až 32 GB DDR3-1600 ECC VLP UDIMM ve 4 slotech DIMM
      • Pozice pro mechaniku:
        • 2x 3.5” SATA3 HDD (T2H)
        • 4x 2.5” SATA3 HDD/SSD (T4H)
      • Síťové připojení: Dvouportové 1GbE
    • MBI-6118D-T2/T4
      • Uzel na 6U/3U: 28/14
      • SSD/HDD na 6U/3U:
        • 112/56x 2.5” SATA3 HDD/SSD
        • 56/28x 3.5” SATA3 HDD
      • Uzel na čepel: 1
      • Procesor: Intel E3-1200 v3
      • Kapacita paměti: Až 32 GB DDR3-1600 ECC VLP UDIMM ve 4 slotech DIMM
      • Pozice pro mechaniku:
        • 2x 3.5” SATA3 HDD (T2)
        • 4x 2.5” SATA3 HDD/SSD (T4
      • Síťové připojení: Dvouportové 1GbE
  • Xeon DP E5-2600 v4/v3
    • MBI-6128R-T2X/T2
      • Uzel na 6U/3U: 28/14
      • SSD/HDD na 6U/3U: 56/28x 2.5” SATA3 SSD/HDD
      • Uzel na čepel: 1
      • Procesor: Duální Intel E5-2600 v4/v3, až 18 jader, 120 W
      • Kapacita paměti: Až 256 GB DDR4-2400 ECC VLP RDIMM v 8 slotech DIMM
      • Pozice pro disk: 2x 2.5” SATA3 HDD/SSD 1 SATADOM
      • Síťové připojení:
        • Dvouportový 10GbE (T2X)
        • Čtyřportový 1GbE (T2)

Konfigurace přepínačů MicroBlade

  • Intel 1G/2.5G MBM-GEM-001
    • Externí porty:
      • 2x40Gbps QSFP
      • 8x 10Gb/s SFP+
      • 1x1 Gb/s RJ45
    • Interní porty: 56×2.5G/1G
    • Čipová sada přepínače: Intel FM5224
  • Broadcom 1G MBM-GEM-004
    • Externí porty:
      • 4x 10Gb/s SFP+
      • 8x1 Gb/s RJ45
    • Interní porty: 42x1G
    • Čipová sada přepínače: Broadcom BCM56151
  • Intel 10G MBM-XEM-001
    • Externí porty:
      • 4x40Gbps QSFP
    • Interní porty: 56x10G
    • Čipová sada přepínače: Intel FM6348
  • Broadcom 10G MBM-XEM-002
    • Externí porty:
      • 2x40Gbps QSFP
      • 4x 10Gb/s SFP+
    • Interní porty: 56x10G
    • Čipová sada přepínače: Broadcom BCM56846

Navrhněte a postavte

Řešení SuperMicro X11 MicroBlade je poměrně velké šasi o výšce 6U, které pojme až 28 mikroblade serverů. Po celé přední straně zařízení se nacházejí úchyty pro vytahování blade serverů. Nachází se jich 14 nahoře a 14 dole. Chcete-li je otevřít, stačí jednoduše zatáhnout za úchyt nahoru v horní řadě nebo dolů v dolní řadě.

Na zadní straně zařízení se nacházejí napájecí zdroje a ventilátory, které se nacházejí jak nahoře, tak dole. Uprostřed zařízení se nachází modul šasi a síťový přepínač 10G, jeden na každé straně.

Správa šasi MicroBlade

Šasi SuperMicro Microblade staví na jejich standardním rozhraní pro správu BladeCenter, které společnost používá již delší dobu. Pokud jste v posledním desetiletí k něčemu používali SuperMicro, nepochybně znáte uspořádání rozhraní. Šasi Microblade zvyšuje počet připojených systémů, ale ve většině ostatních aspektů zůstává podobné – což vede k plynulému přechodu ze starších systémů. Systém umožňuje připojení přes webové rozhraní, přes samostatnou aplikaci od SuperMicro s názvem IPMITool nebo z jejich platformy SuperMicro Server Manager (SSM) určené pro správu více systémů v podniku. Dnes se zaměříme na webové rozhraní, protože nevyžaduje žádné další stahování.

První stránka zobrazuje celkový stav systému, uživatele, pod kterým jste přihlášeni, a IP adresu systému, ke kterému jste připojeni. Můžete se podrobněji podívat na oblasti OverAll Blade, Switch a Power Supply a získat tak další informace o každé komponentě systému. To je velmi užitečné pro zjištění, který uzel nebo zařízení by mohlo přispívat k chybám v systému.

Stránka Stav blade serveru umožňuje upravit několik zásad pro blade server/uzel. Můžete zapnout nebo vypnout uzel, přistupovat k KVM, rozsvítit LED diodu UID (identifikátor jednotky) nebo nastavit více zásad týkajících se chování při výpadku napájení.

Stránka Napájení vám poskytuje přehled o výkonu napájecích zdrojů v systému. Zobrazuje teplotu, otáčky ventilátorů, vstupní napětí a řadu dalších statistik o napájení, které vám pomohou určit, zda mají napájecí zdroje dostatečný prostor pro další růst. Máte také možnosti nastavit redundanci napájecích zdrojů. Mezi dostupné konfigurace patří „Max Power“, N+1 a N+N. Konfigurace Max Power umožňuje plný výkon ze všech napájecích zdrojů dohromady, což umožňuje vyšší výpočetní hustotu. N+1 a N+N poskytují výrazně větší odolnost na úkor kapacity napájení. Pro lidi, kteří pracují v oblasti HPC nebo distribuovaných výpočtů, by konfigurace Max Power byla skvělá pro dosažení maximální hustoty z racku. N+1 a N+N by byly nejužitečnější pro většinu podnikových uživatelů a poskytovatelů služeb.

Stránka s modulem přepínače je poměrně prázdná a zobrazuje jen málo informací o typu přepínače, jeho správní IP adrese a dočasném stavu. Na této stránce je k dispozici jen velmi málo konfiguračních údajů (kromě správní IP adresy). Zdá se, že by se od této stránky dalo upustit a sloučit ji s jinou stránkou, aby se zmírnil nepořádek v primárním rozhraní.

Stránka CMM, stejně jako stránka přepínacího modulu, obsahuje poměrně málo informací. Na této stránce je kromě názvu CMM jen velmi málo konfiguračních informací. Vše ostatní pouze informuje o stavu modulu. Z této stránky nelze CMM ani vypnout/vypnout. Toto by bylo vhodné pro konsolidaci se stránkou síťového přepínače.

Informace o FRU uvádějí prakticky každou součástku v systému a číslo dílu pro objednání náhradních dílů nebo rozšíření kapacity. To je ve skutečnosti opravdu dobrý nápad pro rezervní skladování. Je docela praktické mít místo, kde je přesně uvedeno, co je v systému nainstalováno, abyste si mohli objednat identické náhradní díly (nebo rozšířit kapacitu), aniž byste museli nahlížet do objednávkového listu, jezdit do datového centra nebo volat někomu, aby si systém přečetl údaje.

V sekci Stav systému najdete obrazovku věnovanou všem údajům ze senzorů všech modulů připojených k systému. Pro snadnou kontrolu parametrů infrastruktury zde lze vybrat napájecí zdroj, blade moduly, síťové moduly a moduly pro správu šasi.

Obrazovka Protokol systémových událostí zobrazuje události zaznamenané blade moduly, uzly a moduly pro správu šasi. Zdá se, že napájecí zdroje se zaznamenávají do modulu pro správu šasi. V protokolu událostí nebyly zaznamenány žádné události ze síťového modulu, protože síťový modul zaznamenává všechny své události interně.

Stránka Výkon/Teplota zobrazuje přesně to, co byste očekávali: historické hodnoty výkonu a teploty ze systému. Položky, které se mají zobrazit, si můžete vybrat pomocí zaškrtávacích políček, která se poté zobrazí níže. Grafy se zobrazují za poslední hodinu, poslední den a poslední týden datových bodů. K dispozici je také možnost stáhnout si celý záznam ve formátu CSV, který můžete importovat do jiných systémů pro analýzu.

Další oblastí, na kterou se podíváme, je stránka Konfigurace. Tato stránka obsahuje téměř všechny konfigurační proměnné, které budete muset nastavit před spuštěním produkčního prostředí. Patří mezi ně e-mailová upozornění, datum a čas, integrace LDAP, Active Directory, RADIUS, konfigurace sítě pro blade servery a moduly pro správu šasi, dynamický DNS, server SMTP, SNMP, certifikáty SSL, uživatelské účty, porty webových služeb, řízení přístupu IP, časové limity relací, SMC RAKP (Remote Access Key Exchange Protocol) a nastavení automatické aktualizace modulu pro správu šasi. Konkrétní poznámka k SNMP: SNMP podporuje komunity pro čtení a zápis ve webovém rozhraní, ale nemáte přístup ke konfiguracím SNMP Trap. Chcete-li povolit SNMP trapping, musíte se připojit pomocí softwaru IPMITool nebo SSM. Celkově se zdá, že většina všeho, co je třeba v tomto systému konfigurovat, je přístupná na této stránce a jejích podstránkách.

Oblast Vzdálené ovládání v uživatelském rozhraní je pravděpodobně nejpoužívanější částí rozhraní systému MicroBlade. Odtud můžete spustit aplikaci iKVM v jazyce Java pro vzdálené připojení konzole k libovolnému systému v systému Microblade. Můžete také spustit aplikaci Virtuální média pro vzdálené připojení médií k libovolnému systému. Tyto dvě aplikace jsou oddělené. Uživatelé, kteří jsou obeznámeni s konzolí VMware, jsou zvyklí na to, že svá virtuální média jsou přístupná ze stejného okna jako virtuální konzole. Tato aplikace se však takto nechová. Máte k dispozici možnosti připojení lokálních disků (pevných disků nebo optických médií) nebo síťových obrazů. Tato připojení (i síťové obrazy) se po zavření aplikace Java neuloží. To je poněkud nevýhoda při práci na něčem, co se může chvíli chvilku instalovat (například bezobslužné instalace).

Poslední obrazovka je obrazovka Údržba. Tato stránka umožňuje provádět aktualizace většiny kritických prvků systému, včetně modulu správy šasi, blade serverů, resetů systému, resetů konfigurace a opětovného načtení konfigurace IPMI.

Závěrem lze říci, že systém byl primárně aktualizován, aby poskytoval přístup k výrazně vyšší hustotě blade serverů v architektuře MicroBlade oproti původním systémům SuperBlade. V tomto ohledu se mu daří poskytovat rozhraní, se kterým se kdokoli dokáže rychle seznámit a spravovat tento extrémně hustý systém. Mohlo by dojít k vylepšení konsolidace některých konfiguračních položek, aby se snížil počet unikátních obrazovek, které se v systému zobrazují. Další věcí, kterou by bylo možné vylepšit, je použití Javy pro rozhraní a použití dynamických obrazovek. Při provádění změn u mnoha výběrů zobrazení je nutné kliknout na „použít“, aby se změny zobrazily, místo aby se stránka dynamicky aktualizovala při provedení nového výběru (zejména v oblasti Stav systému). Celková použitelnost je stále zachována pro většinu systému a pro mnoho obchodů bude tento systém fungovat mimořádně dobře pro správu.

Testování aplikací

Dvě konfigurace uzlů, které jsme obdrželi, jsme podrobili našemu testu Sysbench, abychom zjistili, jak si vedou. Nicméně v obou uzlech existovalo mnoho různých konfiguračních možností, které kromě samotných rozdílů v CPU přímo ovlivňovaly výkon. MBI-6118D-T4H MicroBlade byl vybaven procesorem E3-1285L v4, 32 GB DRAM a 400GB SSD disky Intel S3700. MBI-6219G-T MicroBlade byl naopak vybaven procesorem E3-1275 v5, 64 GB DRAM a 480GB SSD disky Intel S3500. Vzhledem k tomu, že jsme si v minulosti všimli rozdílů mezi těmito SSD disky jednotlivě, je samozřejmé, že samotné rozdíly v CPU nebudou v následujícím benchmarku hlavním faktorem ovlivňujícím úroveň výkonu.

S naším nejnižším nastavením DRAM 32 000 MB na virtuální počítač v našem testu Sysbench jsme na MicroBlade MBI-6118D-T4H dokázali spustit 1 virtuální počítač, zatímco MBI-6219G-T s 64 GB paměti nám umožnil spustit 1 i 2 virtuální počítače. V každém blade jsme jako úložiště databáze pro naše testy použili dodané SSD disky Intel. V případě MBI-6219G-T, kde jsme testovali 2 virtuální počítače, jsme použili dva SSD disky, zatímco na MBI-6118D-T4H, kde jsme testovali pouze 1 virtuální počítač, jsme použili pouze jeden SSD disk.

Každý virtuální počítač Sysbench je nakonfigurován se třemi virtuálními disky (vDisky): jedním pro bootování (~92 GB), jedním s předpřipravenou databází (~447 GB) a třetím pro testovanou databázi (270 GB). Bootovací disk a předpřipravená databáze zůstaly v našem testovacím úložišti na sdíleném úložišti. Z hlediska systémových zdrojů jsme každý virtuální počítač nakonfigurovali s 8 virtuálními procesory (vCPU), 32 000 MB paměti DRAM a využili jsme řadič LSI Logic SAS SCSI.

Konfigurace testování Sysbench (na virtuální počítač)

  • CentOS 6.3 64bitový
  • Percona XtraDB 5.5.30-rel30.1
    • Databázové tabulky: 100
    • Velikost databáze: 10 000 000
    • Vlákna databáze: 32
    • Vyrovnávací paměť RAM: 24 GB
  • Délka testu: 3 hodiny
    • 2 hodiny předběžné přípravy 32 vláken
    • 1 hodina 32 vláken

Náš test Sysbench měří průměrný počet transakcí za sekundu (TPS), průměrnou latenci a také průměrnou latenci 99. percentilu při špičkovém zatížení 32 vláken. Při pohledu na průměrný TPS jsme zjistili, že Supermicro Blade E5-1285L v4 s jedním virtuálním strojem dosáhl 1 408 TPS. Supermicro Blade E5-1275 v5 s jedním virtuálním strojem dosáhl 1 087 TPS a se dvěma virtuálními stroji dosáhl stejný blade 1 247 TPS.

S průměrnou latencí měl Supermicro Blade E5-1285L v4 s jedním virtuálním strojem průměrnou latenci pouze 22.7 ms. U Supermicro Blade E5-1275 v5 s jedním virtuálním strojem jsme zaznamenali průměrnou latenci 29.4 ms a se dvěma virtuálními stroji nám blade E5-1275 nabídl průměrnou latenci 51.3 ms.

Z hlediska našeho nejhoršího scénáře latence MySQL (latence 99. percentilu) si blade servery Supermicro opět vedly dobře s E5-1285L v4 s jedním virtuálním počítačem s latencí 44 ms. Supermicro Blade E5-1275 v5 s jedním virtuálním počítačem měl latenci 62 ms a se dvěma virtuálními počítači 114 ms.

Závěr

Řešení Supermicro X11 MicroBlade, které je k dispozici v konfiguraci 3U nebo rozsáhlejší 6U, nabízí širokou škálu možností blade serverů s různou hustotou a procesory. Jednotka 3U umožňuje zákazníkům podporovat až 14 blade serverů nebo 56 uzlů – a jednotka 6U toto číslo zdvojnásobuje. Toto nastavení uživatelům velmi usnadňuje nasazení více blade serverů. Rychlé nasazení serverů je ideální pro zákazníky, kteří potřebují začít v malém a očekávají rychlý růst v určitém okamžiku. Díky množství a flexibilitě použitých blade serverů nabízí Supermicro různé možnosti konfigurace napájení v závislosti na konfiguraci řešení a také správu šasi pro snadnou správu blade serverů.

Webová správa nabízená na šasi SuperMicro X11 MicroBlade nabízí uživatelům širokou škálu funkcí pro efektivní správu a ovládání platformy. Z hlediska funkcí Supermicro snadno pokrývá většinu uživatelů, i když z hlediska snadnosti použití nebo vizuální stránky se rozhraní jeví jako zastaralé a postrádá určité propracovanosti. Supermicro se také spoléhá na Javu, zatímco jiní dodavatelé, jako jsou Dell a Cisco, letos přešli na podporu HTML5. Pro mnoho uživatelů to nebude problém, ale IT administrátoři ocení širší kompatibilitu zařízení a čistší rozhraní.

V závislosti na celkových výkonnostních požadavcích každého zákazníka je k dispozici široká škála blade serverů. Společnost Supermicro nám dodala dvě varianty vestavěných procesorů, přičemž zákazníci si mohou v případě potřeby nakonfigurovat až duální verze řady E5-2600. Společnost Supermicro nám poskytla dva různé blade servery (E5-1285L v4 a E5-1275 v5), které jsme provedl v našem testu Sysbench s jedním virtuálním počítačem pro E5-1285L v4 a jedním nebo dvěma virtuálními počítači pro E5-1275 v5 s přídavnou pamětí DRAM. V našem testu propustnosti jsme u E5-1285L v4 dosáhli skóre až 1 408 TPS. Blade E5-1275 v5 nám dal 1 087 TPS s jedním virtuálním počítačem a 1 247 TPS se dvěma virtuálními počítači. Průměrná latence u E5-1285L v4 byla 22.7 ms a u E5-1275 v5 to bylo 29.4 ms s jedním virtuálním strojem a 51.3 ms se dvěma virtuálními stroji. V nejhorším případě latence oba blade servery podávaly poměrně působivé výkony, přičemž E5-1285L v4 měl latenci pouze 44 ms a E5-1275 v5 pouze 62 ms s jedním virtuálním strojem a 114 ms se dvěma virtuálními stroji.

Klady

  • Hustá skříň podporuje 28 blade serverů nebo 112 uzlů v 6U
  • Software pro správu usnadňuje sdružování a nasazování zdrojů
  • Široká nabídka výpočetních a síťových možností

Nevýhody

  • Správa šasi není z jednoho kusu skla a postrádá podporu HTML5

Bottom Line

Šasi a blade servery SuperMicro X11 MicroBlade poskytují úžasně hustou platformu pro různé případy použití, což umožňuje podnikům začít v malém a dále rozšiřovat nebo nasadit až 112 uzlů v jediném 6u šasi.

Řada SuperMicro MicroBlade

Diskutujte o této recenzi

Zapojte se do StorageReview

Zpravodaj | YouTube | Podcast iTunes / Spotify | Instagram | Twitter | TikTok | RSS kanál

Laboratoř StorageReview Enterprise