Myśląc o sieciach dostarczania treści (CDN), łatwo od razu sięgnąć po znane nam duże marki, takie jak Netflix, Hulu itp. To logiczne; intuicyjnie wyobrażamy sobie, że najnowszy odcinek ulubionego serialu jest dystrybuowany na telefon lub telewizor w salonie. Oczywiście, to o wiele bardziej skomplikowane, a pamięć masowa o dużej pojemności odgrywa kluczową rolę w doświadczeniu klienta.
Podczas uruchamiania aplikacji Slotherhouse w serwisie Hulu , urządzenie streamingowe najpierw połączy się z siecią CDN znajdującą się blisko domu. Im więcej danych może pomieścić węzeł CDN, tym większe prawdopodobieństwo, że usługa zapewni szybki start, zamiast przekierowywać do węzła oddalonego o więcej, aby pobrać żądaną treść. Korzyści płynące ze zmniejszenia liczby przeskoków wymaganych do strumieniowego przesyłania wideo są dość oczywiste, ale sieci CDN oferują znacznie więcej.
Sieci CDN umożliwiają również inne zastosowania, takie jak aktualizacje OTA (over-the-air) dla samochodów takich jak Tesla, czy przesyłanie strumieni filmów z internetu do wnętrza samolotu pasażerskiego. Niezależnie od rodzaju dostarczanych plików, jedno jest jasne: im więcej danych można przechowywać na brzegu sieci, tym bardziej responsywna może być sieć CDN – co jest kluczowe, ponieważ klienci mierzą sukces liczbą obrotów pulsatora, nie zwracając uwagi na infrastrukturę bazową, która to wszystko umożliwia.
Jak zwykle w naszych raportach, nie chcieliśmy jedynie spekulować na temat działania sieci CDN i tego, gdzie najczęściej występuje obciążenie architektury. Zwróciliśmy się do ekspertów. W tym przypadku jest to Varnish Software , jeden z czołowych liderów w dziedzinie oprogramowania do dostarczania treści.
Nawiązaliśmy współpracę z firmą Varnish, aby skonfigurować idealny węzeł CDN brzegowy w naszym laboratorium, wyposażony w oprogramowanie do dostarczania treści firmy Varnish, serwer CDN firmy Supermicro przeznaczony dla sieci CDN, ogromną przestrzeń dyskową dzięki dyskom SSD Solidigm P5316 o pojemności 30.72 TB oraz szybkie połączenie 200 GbE firmy NVIDIA. Pozwoliło to lepiej kontrolować obciążenia węzłów CDN brzegowych i wpływ, w szczególności, pamięci masowej na wyniki.
Kim jest firma Varnish Software?
Varnish oferuje oprogramowanie do dostarczania treści, które ułatwia przyspieszenie interakcji cyfrowych, obsługę dużego obciążenia ruchem i ochronę infrastruktury internetowej. Varnish pomaga organizacjom przenieść dostarczanie treści jak najbliżej klienta, aby zapewnić najlepsze doświadczenia i jednocześnie zmaksymalizować zwrot z inwestycji w infrastrukturę.
Fundament opiera się na bogatej w funkcje i solidnej, otwartej pamięci podręcznej HTTP i odwrotnym serwerze proxy, Varnish Cache, która znajduje się między źródłem a klientem. Została zoptymalizowana pod kątem uzyskania maksymalnej wydajności i efektywności z bazowego sprzętu. Varnish Cache usprawnia kolejkowanie, przechowywanie i pobieranie na poziomie systemu, co czyni ją idealną metodą do testowania wydajności obciążeń związanych z dostarczaniem treści i dostarczaniem na brzegu sieci.
Varnish może działać na praktycznie każdym sprzęcie, ale korzyścią jest zwiększenie mocy obliczeniowej węzłów brzegowych w kilku kluczowych obszarach, co poprawia komfort obsługi klienta. Każdy powrót z urządzenia klienckiego do centrum danych powoduje opóźnienie, więc im więcej węzeł brzegowy może dostarczyć, tym lepiej. W tym celu zbudowaliśmy najnowocześniejszy węzeł CDN brzegowy i przetestowaliśmy go za pomocą rygorystycznych narzędzi Varnish do walidacji węzłów.
Co sprawia, że Varnish CDN jest tak szybki?
Sieci CDN wymagają czegoś więcej niż tylko szybkiej sieci, zwłaszcza na krawędzi. Byłoby to nieefektywne i powolne, gdyby każde żądanie musiało wracać do hosta w celu odświeżenia. Optymalnym rozwiązaniem byłby system pamięci masowej do przetwarzania i przechowywania danych blisko klienta. System wymaga ogromnych możliwości pamięci masowej i wydajnego serwera, który może szybko pobierać informacje z pamięci podręcznej i dostarczać je bez opóźnień.
Firma Varnish Software wdrożyła rozwiązanie obsługujące bardzo duże zbiory danych, aby sprostać wymaganiom praktycznie każdego środowiska z serwerami o wysokiej wydajności i systemami pamięci masowej o wysokiej gęstości. Poznaj Massive Storage Engine.
Massive Storage Engine (MSE) firmy Varnish Software to zoptymalizowany silnik pamięci podręcznej dysków i pamięci. MSE umożliwia wydajne buforowanie i trwałość dla zestawów danych o pojemności ponad 100 TB, wspierając dystrybucję wideo i multimediów, sieci CDN oraz zastosowania z dużą pamięcią podręczną. MSE idealnie sprawdza się w firmach, w których wysoka wydajność dostarczania dużych zestawów danych ma kluczowe znaczenie.
Dzięki wydajnemu systemowi MSE pamięć podręczna pozostaje nienaruszona między restartami i aktualizacjami, co zapobiega kosztownemu i czasochłonnemu uzupełnianiu pamięci podręcznej. Zapewnia to szybkie pobieranie danych i pomaga uniknąć przeciążenia sieci po restarcie.
Rozwiązanie MSE może przechowywać i obsługiwać obiekty o niemal nieograniczonej wielkości w pamięci podręcznej, co zapewnia szybkie i skalowalne dostarczanie treści. Rozwiązanie MSE zostało zoptymalizowane pod kątem dostarczania treści z mniejszą fragmentacją, zgodnie z polityką usuwania obiektów z pamięci podręcznej (LRU), co przekłada się na lepszą wydajność i współbieżność. Klienci z pamięcią podręczną o rozmiarze większym niż 50 GB lub ograniczoną pamięcią powinni korzystać z MSE.
Najnowsza generacja MSE (MSE 4) pozwala na łagodne reagowanie na awarie dysków, umożliwiając automatyczne wznowienie działania trwałych śladów pamięci podręcznej po wykryciu awarii dysku.
Konfiguracja sprzętowa węzła Edge CDN
W naszym scenariuszu testowym wykorzystaliśmy pojedynczy serwer działający jako węzeł Edge CDN i pojedynczy klient. Nasz węzeł CDN oparty jest na serwerze Supermicro SYS-111E-WR z pojedynczym procesorem Intel Xeon Gold 6414U. Procesor ten oferuje 32 rdzenie i ma częstotliwość bazową 2 GHz.
Połączyliśmy ten procesor z 256 GB pamięci DDR5 i ośmioma dyskami SSD Solidigm P5316 QLC o pojemności 30.72 TB. Celem tego projektu było zademonstrowanie, jaką wydajność może zaoferować model wdrożenia oszczędnego, bez konieczności stosowania droższych dysków SSD lub dodatkowych zasobów procesora, które pozostałyby niewykorzystane.
Po stronie klienta wykorzystaliśmy dostępną w laboratorium platformę dwuprocesorową z procesorami Intel Xeon Platinum 8450H, co jest przesadą, ale ma wystarczające zasoby, aby zagwarantować, że wąskim gardłem będzie sieć lub węzeł CDN.
Nasze systemy zostały skonfigurowane z systemem operacyjnym Ubuntu 22.04, a każdy z nich był wyposażony w kartę sieciową NVIDIA 200 Gb. Sieć Ethernet 200 Gb zapewniła wystarczającą przepustowość w tym scenariuszu testowym.
Wydajność węzła CDN Edge
Test obejmował sprawdzenie ogólnej wydajności oprogramowania Varnish na zbudowanym przez nas węźle brzegowym. W szczególności, oceniane kluczowe wskaźniki obejmowały TTLB (czas do ostatniego bajtu), liczbę żądań na sekundę, transfer na sekundę (bajty), łączną liczbę żądań, błędy, obciążenie procesora, obciążenie pamięci, przepustowość oraz dobrą przepustowość. Dla jasności, przepustowość to wszystko, co Varnish wysyła, a dobra przepustowość to to, co klient faktycznie widzi, ignorując retransmisje i dane narzutowe.
Testy przeprowadzono z wykorzystaniem WRK jako narzędzia generującego obciążenie, pobierając fragmenty plików o różnych rozmiarach z zaplecza wideo za pomocą 100 połączeń TCP. Test zaprojektowano tak, aby współczynnik trafień w pamięci podręcznej wynosił od 90% do 95%, aby symulować zjawisko często występujące w środowiskach dostarczania wideo. Aby symulować różne obciążenia, skupiliśmy się na wydajności małych i dużych plików. Mniejsze pliki mogły symulować wywołania API, a większe – reprezentować różne jakości wideo w scenariuszach transmisji na żywo lub wideo na żądanie (VOD).
Przetestowaliśmy pliki o rozmiarach 100 i 500 kilobajtów dla mniejszych obiektów oraz 1,000, 10 000, 16 000 i 50 000 kilobajtów dla większych obiektów. Chcieliśmy uchwycić różnorodność przypadków użycia sieci CDN, analizując różne rozmiary plików. Dla organizacji wykonujących dużą liczbę, ale niewielką liczbę wywołań API, 100 kilobajtów będzie prawdopodobnie więcej niż w większości przypadków. W przypadku VOD obiekt o rozmiarze 10 MB może reprezentować krótki klip wideo, 16 MB – film HD, a 50 MB – film o jeszcze wyższej jakości. Te rozmiary plików można również wykorzystać do dystrybucji i dostarczania obrazów ISO, aktualizacji oprogramowania i pakietów instalacyjnych.
Narzędzie do testowania obciążenia WRK zwraca wartość TTLB (czas do ostatniego bajtu), więc metryki opóźnienia pokazują całkowity czas ładowania całego fragmentu wideo. Z kolei TTFB (czas do pierwszego bajtu) to czas pierwszej odpowiedzi serwera, zazwyczaj mierzony w milisekundach i jest stały dla wielu różnych rozmiarów plików.
Zaobserwowaliśmy czasy TTLB od 4.4 ms do 995.2 ms. Dla najmniejszego fragmentu wideo o rozmiarze 100 kilobajtów średni czas reakcji wynosił zaledwie 4.4 ms. Dla największego pliku o rozmiarze 50 MB, cały proces ładowania trwał średnio poniżej 1 sekundy.
Inne godne uwagi wskaźniki to liczba błędów; jedynymi odnotowanymi błędami były pewne resztkowe błędy przekroczenia limitu czasu. Są one przewidywalne dla obiektów o największych rozmiarach. Wykorzystanie procesora i pamięci utrzymywało się na stabilnym poziomie, od ~50% do 60% pełnej pojemności w tych testach. Najwyższe obciążenie procesora wystąpiło podczas testu 100 KB (58.8%) i testu 50 MB (58%), ze względu na ogromną liczbę żądań mniejszych plików i rozmiar większych plików.
Średnia przepustowość dla większego pliku wideo wyniosła 170.5+ Gbps, a średnia przepustowość dla mniejszego pliku wideo wyniosła 164+ Gbps.
Średnie przepustowości dla większych rozmiarów wyniosły 158.8+ Gb/s i 149.1+ Gb/s dla mniejszych rozmiarów, przy użyciu jednego klienta WRK jako generatora obciążenia. Oczekuje się, że wyższą przepustowość można osiągnąć poprzez skalowanie klientów WRK, co zaobserwowano w kilku innych eksperymentach przeprowadzonych wewnętrznie przez Varnish, ale wykracza to poza zakres niniejszego artykułu.
Chociaż surowe wskaźniki wydajności są ważne, pobór mocy to kolejny czynnik brany pod uwagę w systemach Edge CDN. To właśnie tutaj platforma, którą wybraliśmy do tego projektu, odgrywa rolę. Serwer Supermicro SYS-111E-WR z jednym gniazdem oferuje gęstą platformę pamięci masowej NVMe z wieloma gniazdami PCIe na karty sieciowe, bez nadmiernego poboru mocy w przypadku dwóch procesorów.
Aby zmierzyć pobór mocy przez serwer przy przyłożonym obciążeniu, wykorzystaliśmy nasz moduł Quarch Mains Power Analysis Module. Daje nam to dokładny obraz poboru mocy przez serwer, z czasem reakcji 125 µs. W tym przypadku przeprowadziliśmy testy dla każdej grupy testowej przez ten sam okres i zmierzyliśmy średnią moc od początku do końca obciążenia.
Skupiliśmy się na dwóch wskaźnikach zużycia energii: całkowitej mocy RMS systemu w porównaniu z rozmiarem pliku testowego oraz liczbie żądań na sekundę na wat. Chociaż pierwsze założenie zakładało wzrost zużycia energii wraz ze wzrostem prędkości transferu, nie było to prawdą. Zaobserwowaliśmy wzrost zużycia energii przy niższych prędkościach transferu, który nieznacznie malał wraz ze wzrostem prędkości transferu. Wynika to z faktu, że mniejsze prędkości transferu generują więcej procesów wejścia/wyjścia, a większe prędkości transferu generują mniej procesów wejścia/wyjścia.
Analizując całkowitą moc systemu, przy rozmiarze transferu 1M, zmierzyliśmy moc systemu na poziomie 473.9 W, która spadła do 426.5 W przy rozmiarze transferu 50M. Po przeliczeniu na liczbę żądań na sekundę na wat, rozmiar transferu 1M wyniósł 46.9 W, a przy rozmiarze transferu 50M spadł do 1.09 W.
Równoważenie wydajności i kosztów
Nasz węzeł CDN Varnish został stworzony z myślą o wyjątkowej wydajności i gęstości. Nie tylko pod względem gęstości szaf serwerowych 1U, ale również gęstości pojemności oferowanej przez dyski SSD Solidigm. Obecnie korzystamy „tylko” z dysków P5316 o pojemności 30.72 TB, ale jednostki P5336 o pojemności 61.44 TB oferują jeszcze większy potencjał. Co więcej, obciążenie CDN jest ekstremalnie wysokie, co oznacza, że te dyski SSD oparte na procesorach QLC idealnie nadają się do tego zadania. Jako ciekawostkę dodam, że podczas analizy wydajności Varnish, inżynierowie firmy myśleli, że korzystamy z dysków SSD Gen5, ponieważ wydajność węzła była imponująca.
Chociaż gęstość serwerów jest jednym z kluczowych elementów, zoptymalizowany pod kątem kosztów węzeł CDN to zupełnie inna sprawa. Zastosowany przez nas jednoprocesorowy serwer Supermicro zapewnia Varnishowi mnóstwo mocy sprzętowej i opcji rozbudowy, a dziesięć zatok NVMe pozwala nam zgromadzić ponad 600 TB pamięci masowej, wykorzystując wiodącą w branży pojemność dysków SSD firmy Solidigm. Względna wydajność w przeliczeniu na dolara, a jeśli chcesz zagłębić się w nasze dane, wydajność w przeliczeniu na wat, są tutaj bezdyskusyjne.
Sieci CDN mają niełatwe zadanie dostarczania danych w mgnieniu oka, z czasem przewidywalnymi, a często nie, żądaniami. Precyzyjnie dostrojony sprzęt serwerowy robi ogromną różnicę, jeśli chodzi o wydajność tych węzłów CDN, które są coraz częściej umieszczane na krawędzi sieci. Dzięki potężnym dyskom SSD klasy korporacyjnej firmy Solidigm, węzły te mogą znacząco zwiększyć liczbę trafień w pamięci podręcznej, zapewniając klientom najwyższą jakość obsługi.
Oprogramowanie do lakierowania
Niniejszy raport jest sponsorowany przez firmę Solidigm. Wszystkie poglądy i opinie wyrażone w niniejszym raporcie opierają się na naszej obiektywnej ocenie rozpatrywanego produktu/produktów.
Amazon