Extreme Edge – umożliwia astrofotografię z wykorzystaniem HCI

Niedawno napisaliśmy artykuł (i stworzyliśmy film ), w którym podkreśliliśmy łatwość wdrożenia niewielkiego klastra HCI firmy Scale Computing. Trzywęzłowy klaster jest bardzo prosty w konfiguracji, co czyni go popularnym rozwiązaniem w zastosowaniach brzegowych, takich jak handel detaliczny. Zastanawialiśmy się jednak, co by było, gdyby wykorzystać te węzły na brzegu sieci, w nieco bardziej oddalonym miejscu? Na przykład głęboko na pustyni w Arizonie, w połączeniu z kilkoma przenośnymi elektrowniami i potężnym teleskopem, który mógłby fotografować niebo nad naszymi głowami. Czytaj dalej, aby dowiedzieć się więcej o tym, jak Scale Computing umożliwia prowadzenie badań naukowych na ekstremalnych krawędziach sieci.

Astrofotografia na pustyni

Przesada? Tak, to trochę jak przywiezienie okrętu wojennego na zawody wędkarskie i użycie bomb głębinowych, aby wydobyć rybę na powierzchnię. To jednak raczej test sprawdzający, jak szybko i z jaką szybkością możemy przetwarzać duże zdjęcia w miarę ich napływania.

Teleskop jest niezwykle szybki, ponieważ ma dużą aperturę, F/1.9, co oznacza, że ​​nie musimy poświęcać dużo czasu na obserwację obiektów, a nasze czasy naświetlania mogą być znacznie krótsze. Oznacza to, że podczas całej nocy astrofotografii mogę zebrać więcej danych i obserwację większej liczby obiektów niż byłbym w stanie przetworzyć w czasie rzeczywistym na laptopie z lokalnym kontrolerem (umiarkowanej specyfikacji i7 7. generacji, 7820HQ z dyskiem SSD SATA m.2).

Wolę też podzielić zadanie sterowania na sterowanie teleskopem i przetwarzanie obrazów, aby nie przeciążać systemu ani nie napotykać na żadne ograniczenia wejścia/wyjścia. Mamy do czynienia z 120–150 MB na klatkę, co bardzo szybko zwiększa obciążenie wejścia/wyjścia dysku i procesora podczas przetwarzania dużych zbiorów danych.

Uproszczone wyjaśnienie astrofotografii

Co mam na myśli mówiąc o przetwarzaniu? Pierwszym krokiem jest rejestracja zdjęć; nadawana jest ogólna ocena jakości i tworzony jest plik tekstowy, który losowo wymienia położenie gwiazdek na każdym zdjęciu. W miarę jak robimy coraz więcej zdjęć tego samego obiektu, pliki rejestracyjne służą do wyrównania wszystkich zdjęć w końcowym procesie składania.

Po zarejestrowaniu wszystkich plików, łączymy je ze sobą różnymi metodami. Dla uproszczenia możemy powiedzieć, że uśredniamy wartości każdego piksela, co wraz ze wzrostem rozmiaru obrazu wydłuża ten proces. Następnie przechodzimy do postprodukcji, która może być tak prosta, jak edycja w Photoshopie. Bardziej złożone operacje wymagają dedykowanego oprogramowania, które wykorzystuje procesory graficzne i sztuczną inteligencję do usuwania gwiazdek i wielu innych czynności. To właśnie postprodukcja jest sztuką.

Za pomocą tego teleskopu mogę wykonywać 30-sekundowe ekspozycje i uzyskiwać niesamowite efekty, więc zazwyczaj lubię wykonać od 100 do 200 zdjęć każdego obiektu i objąć nimi jak najwięcej obiektów w ciągu jednego wieczoru.

Oprogramowanie, którego używam, nazywa się Deep Sky Stacker i Deep Sky Stacker Live. Deep Sky Stacker Live oferuje (kto by się spodziewał) podgląd na żywo (bez kalibracji) aktualnego zestawu obrazów docelowych i rejestruje obrazy przesyłane z kamery, oszczędzając czas w przyszłości.

W tym konkretnym teście byłem ciekaw, czy uda nam się zarejestrować, złożyć i przetworzyć obrazy tak szybko, jak to możliwe. Jest to dość wymagające obliczeniowo, ponieważ obrazy mają rozdzielczość 62 megapikseli, a ja robię od 100 do 200 klatek na obiekt. Oznacza to, że generuje to od 15 GB do 20 GB informacji na godzinę; cały wieczór wygenerował 178 GB danych, które udało mi się przetworzyć na klastrze Scale Computing HCI. A, i ponieważ jesteśmy bardzo odlegli, robimy to wszystko wyłącznie przy zasilaniu bateryjnym.

Czas układania dla każdego celu, z wykorzystaniem metody uśredniania, obejmującej pełny zestaw ramek kalibracyjnych, zajął od 25 do 35 minut. To zaskakująco imponująca wydajność klastra Scale Computing, porównywalna z moim stacjonarnym komputerem i dedykowanym serwerem Astro w domu.

Przeprowadziłem obszerne badania, które pokrywają się z moimi odkryciami – mniej ważne jest dodawanie ogromnych ilości pamięci RAM i procesora, a ważniejsze jest uzyskanie absolutnie najwyższych możliwych prędkości IOPS i odczytu/zapisu na dysku, aby proces przebiegał jak najszybciej (więcej na ten temat w innym artykule). Dyski all-flash M.2 NVMe w klastrze Scale Computing idealnie się sprawdzają, zapewniając wysoką wydajność w tym konkretnym przepływie pracy przy niskim zużyciu energii.

Sprzęt do astrofotografii

Informacje na temat teleskopu, infrastruktury informatycznej i lokalizacji miejsca testu:

• Celestron Nexstar GPS 11″ na klinie HD i statywie HD
  • Starizona Hyperstar11v4
    • 540mm Ogniskowa
    • Przysłona F/1.9
• ZWO ASI6200MC Pro One Shot Color Camera
• Uniwersalny laptop Dell Enterprise z procesorem i7 7. generacji do sterowania i przechwytywania
• Klaster obliczeniowy Scale
• Niezarządzany ośmioportowy przełącznik Netgear 1G
• 2x akumulatory EcoFlow River Mini
• Starlink V2
• Park stanowy Picacho Peak, stanowisko Bortle 2.
• Oprogramowanie
  • NINA
  • PHD2
  • Deep Sky Stacker
  • gwiazdy
  • Photoshop

Extreme Edge HCI

Ogólna konfiguracja była dość prosta; skonfigurowałem stół, 8-portowy przełącznik, laptopa sterującego, klaster Scale Computing HCI oraz Starlink do dostępu do internetu. Wszystko było połączone w sieć za pośrednictwem przełącznika, który, mimo że był tylko przełącznikiem 1 GbE, podobnie jak klaster Scale, nie stanowił problemu w tym procesie dzięki szybkości przesyłu danych, wynoszącej około 300 megabajtów na minutę.

Całe zasilanie Scale Cluster i Control Laptop pochodziło z jednego Ecoflow River Mini, a teleskop i kamera były zasilane z drugiego. Teleskop i kamera są zasilane napięciem 12 V z gniazda zapalniczki samochodowej, jedno wejście służy do zasilania silników montażowych teleskopu do celowania i śledzenia, a drugie do zasilania ogniwa Peltiera w chłodnicy kamery.

Czujnik kamery jest chłodzony do -5°C. Klaster i laptop (z ekranem i minimalną jasnością) rozładowują EcoFlow River Mini w niecałe 2 godziny i 30 minut, podczas gdy bateria dedykowana teleskopowi była w stanie zasilać go przez dwie noce podczas wstępnych testów.

Laptop sterujący jest podłączony do teleskopu i kamery przez USB 3.0 i koncentrator USB 3.0. W mojej konfiguracji lubię uruchamiać na laptopie sterującym tylko niezbędne funkcje, a zdjęcia są zazwyczaj przechowywane zdalnie, albo na serwerze NAS, jeśli mam do niego dostęp (w tym przypadku korzystałem z Scale Cluster), albo na zewnętrznej pamięci flash, jeśli nie mam dostępu do sieci.

Na potrzeby tego testu skonfigurowałem w tym klastrze trzy maszyny wirtualne: dwie do układania w stosy i jedną do przechowywania plików obrazów w udziale sieciowym. Laptop sterujący teleskopem zrzucał pliki bezpośrednio z kamery przez sieć do klastra. Następnie każdy układnik odpowiadał za przetwarzanie każdego celu w miarę napływu plików. Dzięki ogromnej mocy obliczeniowej klastra, mogliśmy z łatwością sprostać obciążeniu.

Podczas normalnych wypraw na miejsca obserwacji ciemnego nieba, mając do dyspozycji jedynie laptopa sterującego, nie jestem w stanie przetwarzać danych w terenie ze względu na ogromną ilość napływających danych. Nie mogłem ich również przesłać bezpośrednio na serwery domowe do przetworzenia z powodu ograniczonego połączenia internetowego, co oznacza, że ​​wyniki czasu spędzonego na obserwacji celu znam dopiero po dniu lub dwóch. Starlink rozwiązuje ten problem do pewnego stopnia, ale jest na granicy niezawodności, zwłaszcza jeśli masz wielu użytkowników/teleskopów, ponieważ prędkość wysyłania 5-20 Mb/s szybko stałaby się wąskim gardłem.

Ten test ogólnie rzecz biorąc był świetnym dowodem słuszności koncepcji, pokazującym, że dysponując dwoma, trzema, a nawet większą liczbą specjalistycznych zestawów do astrofotografii zainstalowanych w stacjonarnym zdalnym obserwatorium, można z łatwością zarządzać całym procesem układania zdjęć na miejscu, a następnie przesłać złożony plik z powrotem do bazy w celu ostatecznej edycji w domu.

Zasugerowałbym również, aby zabrać mniejszy klaster na imprezę i umożliwić również przetwarzanie w terenie, ponieważ dałoby to możliwość szybkiego wdrożenia maszyny wirtualnej dla każdego użytkownika, aby mógł ją wykorzystać do własnych, osobistych przepływów pracy. Aby zweryfikować tę koncepcję, usiadłem na kempingu na laptopie podłączonym do telefonu przez 5G i pulpitu zdalnego z powrotem do laptopa sterującego, gdzie mogłem zdalnie układać i przetwarzać obrazy w klastrze z dużym powodzeniem.

Uwagi końcowe

W tym konkretnym teście 3-węzłowy klaster Scale Computing był niewątpliwie przesadą. Niemniej jednak, pokazał on również, że podczas długiego weekendu, większej wyprawy astronomicznej lub z wieloma teleskopami rejestrującymi obrazy, można uzyskać szybkie wyniki, pełną walidację obrazów i sprawdzić, czy w danych nie ma błędów. Zamiast pakować się i wracać do domu, tylko po to, by zorientować się, że na soczewce jest plama, że ​​gdzieś pada zbyt dużo światła rozproszonego lub że wybrano niewłaściwy filtr, można to naprawić niemal w czasie rzeczywistym w terenie.

Korzyści stały się widoczne po zakończeniu układania drugiego obiektu; zauważyłem, że diody LED na używanym przeze mnie hubie USB emitowały zbyt dużo światła rozproszonego, co powodowało dziwne artefakty na obrazach. Udało mi się wrócić do teleskopu, zasłonić je i ponownie sfotografować obiekt, a następnie ponownie ułożyć go w stos z lepszymi rezultatami.

Rozwiązanie Scale Computing doskonale sprawdziłoby się również w stałej instalacji, w zdalnym obserwatorium dla wielu użytkowników, w 100% poza siecią, dzięki swojej energooszczędnej konstrukcji i wysokiej wydajności. Gdyby udało mi się uzyskać dodatkowe możliwości magazynowania energii i wystarczająco duże rozwiązanie solarne, nie byłoby ograniczeń czasowych, a możliwość wyłączania nadmiarowych węzłów w ciągu dnia w celu maksymalizacji szybkości ładowania, widzę duży potencjał dla tych zastosowań.

Znalazłem dwie poważne wady, które moim zdaniem można by łatwo rozwiązać: jedną poprzez aktualizację oprogramowania, być może, a drugą poprzez prostą modernizację sprzętu. Pierwsza to brak możliwości podłączenia urządzeń USB; gdybym miał przejściówkę USB, całkowicie porzuciłbym cały mój obecny sprzęt i umieściłbym ją jako główną w procesie pracy, nawet siedząc w domu na podwórku. Muszę mieć możliwość podłączenia koncentratora USB do systemu operacyjnego gościa, aby móc bezpośrednio sterować teleskopem i kamerą.

Drugim problemem jest ograniczona ilość pamięci masowej. Jeden terabajt na hosta to całkiem przyzwoita wartość; jednak chciałbym, aby było to około 2–4 TB na hosta, aby ta opcja była użyteczna na co dzień w moim konkretnym procesie pracy. Używam jednak kamery, którą wdrażam, do nagrywania z wyższą przepustowością, więc dla użytkowników kamer o niższej rozdzielczości może to być mniejszy problem. Skalowalność pozwala skonfigurować te systemy z większą ilością pamięci masowej, więc jest to łatwe rozwiązanie, jeśli potrzebujesz takiej pojemności.

Niewielki klaster HCI firmy Scale Computing oferuje wiele korzyści biznesowych dzięki niewielkim rozmiarom, łatwemu w obsłudze oprogramowaniu i stosunkowo niskim kosztom. W zastosowaniach badawczych, takich jak astrofotografia, takie rozwiązanie może znacznie przyspieszyć odkrycia naukowe. Każdy, kto szuka klastra o niskim poborze mocy, a jednocześnie odpornego i ekonomicznego, powinien wypróbować Scale Computing; firma oferuje nawet darmowy okres próbny.

Jeśli chcesz spróbować edytować surowe stosy, pliki tif znajdziesz pod tym linkiem do dysku Google

Dzień 0 z Scale Computing

Obliczenia w skali