Extreme Edge – Umožnění astrofotografie s HCI

Nedávno jsme napsali článek (a vytvořili video ), který zdůrazňuje snadné nasazení malého HCI clusteru od společnosti Scale Computing. Tříuzlový cluster se velmi snadno nastavuje, což z něj činí oblíbenou volbu pro použití na okraji sítě, jako je maloobchod. Napadlo nás ale, co kdybychom tyto uzly použili na okraji sítě, který je trochu vzdálenější? Například hluboko v arizonské poušti, spárované s několika přenosnými elektrárnami a výkonným dalekohledem vybaveným pro fotografování oblohy nad hlavou. Čtěte dále a dozvíte se více o tom, jak Scale Computing umožňuje vědecký výzkum na extrémním okraji sítě.

Astrofotografie v poušti

Přehnané? Ano, je to trochu jako přivést bitevní loď na rybářské soutěže a pomocí hlubinných pum dostat ryby na hladinu. Jde však spíše o test, jak rychle a jak rychle dokážeme zpracovat velké fotografie, jakmile budou přicházet.

Dalekohled je extrémně rychlý, protože má velkou clonu F/1.9, což znamená, že nemusíme trávit mnoho času pozorováním cílů a naše expoziční časy mohou být mnohem kratší. To znamená, že během celé noci astrofotografie můžu zachytit více dat a zpracovat více cílů, než bych dokázal zpracovat v reálném čase na notebooku s lokálním řídicím systémem (středně výkonný 7. generace i7, 7820HQ se standardním m.2 SATA SSD).

Také preferuji rozdělení úkolu řízení na navádění dalekohledu a zpracování snímků, abych nepřetížil systém nebo nenarazil na žádná omezení I/O. Máme co do činění se 120–150 MB na snímek, což při zpracování velkých datových sad velmi rychle zatěžuje diskový I/O a spotřebuje CPU.

Zjednodušené vysvětlení astrofotografie

Co myslím zpracováním? Prvním krokem je registrace fotografií; tím se aplikuje obecné skóre kvality a vytvoří textový soubor, který libovolně uvádí, kde se všechny hvězdy na každém snímku nacházejí. Jak pořizujeme stále více fotografií stejného cíle, tyto registrační soubory se používají k zarovnání všech snímků v procesu konečného skládání snímků.

Jakmile jsou všechny soubory zaregistrovány, skládáme je dohromady pomocí různých metod. Pro zjednodušení můžeme říci, že průměrujeme hodnoty každého pixelu, což s rostoucí velikostí obrazu trvá déle. Poté následuje následné zpracování, které může být stejně jednoduché jako úpravy ve Photoshopu. Složitější operace využívají specializovaný software, který dokáže využít grafické procesory a umělou inteligenci k odstranění hvězdiček a mnoha dalším funkcím. Následné zpracování je to, kde přichází na řadu umění.

S tímto dalekohledem můžu fotografovat s 30sekundovou expozicí a dosahovat neuvěřitelných výsledků, takže obvykle rád pořídím 100 až 200 snímků každého cíle a za jeden večer se dostanu k co nejvíce cílům.

Software, který používám, se jmenuje Deep Sky Stacker a Deep Sky Stacker Live. Deep Sky Stacker Live vám poskytuje živý (kdo by to byl řekl), nekalibrovaný náhled aktuální sady obrázků cílů a registruje snímky tak, jak přicházejí z kamery, což šetří čas v budoucnu.

Pro tento konkrétní test jsem byl zvědavý, jestli bychom dokázali snímky registrovat, skládat a zpracovávat tak rychle, jak je dokážeme pořídit. To je výpočetně poměrně náročné, protože každý z těchto snímků má rozlišení 62 megapixelů a já pořizuji 100 až 200 snímků na cíl. To znamená, že se vygenerovalo někde mezi 15 GB a 20 GB informací za hodinu; celý večer se vygenerovalo 178 GB dat, která jsem byl schopen zpracovat na clusteru Scale Computing HCI. A protože jsme velmi vzdálení, děláme to všechno pouze na baterii.

Doba stohování pro každý cíl, s použitím metody průměrování, včetně celé sady kalibračních snímků, trvala 25–35 minut. To je překvapivě působivý výkon z klastru Scale Computing Cluster, srovnatelný s mou stolní pracovní stanicí a dedikovaným serverem Astro Server u mě doma.

Provedl jsem rozsáhlý výzkum a toto se shoduje s mým zjištěním, že není tak důležité investovat do obrovského množství paměti RAM a CPU a spíše dosáhnout absolutně nejlepších možných IOPS a rychlostí čtení/zápisu disku, aby byl tento proces co nejrychlejší (více o tom později v dalším článku). All-flash M.2 NVMe disky Scale Computing Cluster se skvěle hodí, protože poskytují vysoký výkon pro tento konkrétní pracovní postup s nízkou spotřebou energie.

Astrofotografická souprava

Informace o dalekohledu, IT infrastruktuře a umístění místa pro test:

• Celestron Nexstar GPS 11″ na HD klínu a HD stativu
  • Starizona Hyperstar11v4
    • Ohnisková vzdálenost 540 mm
    • Clona f/1.9
• ZWO ASI6200MC Pro jednorázová barevná kamera
• Generický podnikový notebook Dell se 7. generací procesoru i7 pro ovládání a snímání dat
• Klastr pro výpočetní techniku ​​v měřítku
• Nespravovaný osmiportový přepínač Netgear 1G
• 2x baterie EcoFlow River Mini
• Starlink V2
• Státní park Picacho Peak, lokalita Bortle 2.
• Software a licence
  • NINA
  • PHD2
  • Deep Sky Stacker
  • Starnet
  • Photoshop

Extrémní hrana HCI

Obecné nastavení bylo docela jednoduché; nainstaloval jsem stůl, 8portový switch, řídicí notebook, cluster Scale Computing HCI a Starlink pro přístup k internetu. Všechno bylo propojeno sítí přes switch, který, přestože byl pouze 1GbE switch, stejně jako rychlost clusteru Scale, nebyl v tomto pracovním postupu problémem díky rychlosti příchozích dat, zhruba 300 megabajtů za minutu.

Veškeré napájení pro váhový cluster a řídicí notebook bylo přivedeno do jednoho Ecoflow River Mini, zatímco dalekohled a kamera byly napájeny z druhého. Dalekohled a kamera přijímají 12V napájení ze zapalovače v autě, jeden vstup pro držák dalekohledu napájí motory pro zaměřování a sledování a druhý pro provoz Peltierova článku pro chladič kamery.

Snímač kamery je chlazen na -5 °C. Cluster a notebook (s obrazovkou a minimálním jasem) vybijí EcoFlow River Mini za pouhé 2 hodiny a 30 minut, zatímco ten určený pro teleskop ho v předběžných testech dokázal napájet po celé dvě noci.

Řídicí notebook je připojen k dalekohledu a kameře přes USB 3.0 a USB 3.0 Hub. V mém nastavení používám na řídicím notebooku jen to nejnutnější minimum a snímky se pak obvykle ukládají vzdáleně, buď na NAS, pokud ho mám k dispozici (což jsem v tomto případě udělal na Scale Clusteru), nebo na externí flash disk, pokud nemám připojení k síti.

Pro tento test jsem v tomto clusteru nastavil tři virtuální počítače, dva pro stohování a jeden pro ukládání obrazových souborů jako sdílené síťové úložiště. Řídicí notebook dalekohledu odesílal soubory přímo z kamery přes síť do clusteru. Každý stohovač pak zodpovídal za střídání úloh zpracování jednotlivých cílů podle toho, jak soubory přicházely. Díky obrovskému výpočetnímu výkonu, který cluster měl k dispozici, jsme dokázali více než držet krok s pracovní zátěží.

Při běžných exkurzích k místům s temnou oblohou, pouze s řídicím notebookem, nemohu data zpracovávat v terénu kvůli obrovskému objemu přicházejících dat. Také jsem je nemohl nahrát přímo na domácí servery ke zpracování kvůli omezenému připojení k internetu, což znamená, že výsledky času stráveného na cíli neznám dříve než za den nebo i déle. Starlink to do jisté míry řeší, ale je na hranici spolehlivosti, zejména pokud máte více uživatelů/dalekohledů, protože rychlosti odesílání 5-20 Mbps by se rychle staly úzkým hrdlem.

Tento test byl celkově skvělým důkazem toho, že pokud byste měli dvě, tři nebo i více specializovaných astrofotografických souprav instalovaných na trvale instalované vzdálené observatoři, mohli byste velmi snadno zvládnout veškeré vrstvení snímků na místě a poté nahrát vrstvený soubor zpět do základny pro finální úpravu doma.

Také bych navrhl, že byste si mohli vzít menší cluster na hvězdnou párty a mít možnost i zpracování v terénu, protože byste mohli rychle nasadit virtuální stroj pro každého uživatele, který by mohl využívat pro své vlastní pracovní postupy. Abych si tento koncept ověřil, seděl jsem na druhé straně kempu u svého notebooku připojeného k telefonu přes 5G a vzdálené ploše zpět k řídicímu notebooku, kde jsem mohl s velkým úspěchem vzdáleně ukládat a zpracovávat obrázky v clusteru.

Závěrečné myšlenky

V tomto konkrétním testu byl tříuzlový cluster Scale Computing nepochybně přehnaný. Zároveň však ukázal, že na prodlouženém víkendovém výletu, větší hvězdné skupině nebo při pořizování snímků více dalekohledy můžete dosáhnout rychlých výsledků, kompletně ověřit snímky a zkontrolovat případné problémy v datech. Místo abyste se sbalili a jeli domů a zjistili, že máte na objektivu šmouhu, odněkud příliš mnoho rozptýleného světla nebo jste vybrali nesprávný filtr, lze tyto problémy řešit téměř v reálném čase přímo v terénu.

Výhody se projevily poté, co jsem dokončil sestavení druhého terče; uvědomil jsem si, že z LED diod na USB hubu, které jsem používal, vyzařovalo příliš mnoho rozptýleného světla, což na snímcích vytvářelo podivné artefakty. Mohl jsem se vrátit k dalekohledu, zakrýt je a znovu vystřelit na terč, poté sestavit další terč s lepšími výsledky.

Řešení Scale Computing by se také mimořádně dobře hodilo do trvale instalované, víceuživatelské vzdálené observatoře, která je 100% nezávislá na síti, a to díky své nízkopříkonové konstrukci a vysokému výkonu. Pokud bych byl schopen získat dodatečnou kapacitu úložiště energie a dostatečně velké solární řešení, neexistovalo by žádné omezení doby provozu a vzhledem k možnosti vypínat přebytečné uzly během dne pro maximalizaci rychlosti nabíjení vidím v těchto aplikacích velký potenciál.

Našel jsem dvě velké nevýhody, které by se podle mě daly snadno vyřešit, jedna možná aktualizací softwaru a druhá jednoduchým upgradem hardwaru. První je nemožnost propojit jakákoli USB zařízení; kdyby tohle mělo USB průchod, na 100 % bych se zbavil veškerého svého stávajícího vybavení a dal tohle jako primární pro pracovní postup, i když bych seděl doma na zahradě. Potřebuji být schopen propojit USB Hub s hostovaným operačním systémem pro přímé ovládání dalekohledu a kamery.

Druhým problémem je omezené množství úložiště. Jeden terabajt na hostitele je docela slušná kapacita; nicméně bych rád viděl někde kolem 2 až 4 TB na hostitele, aby se tato možnost dala použít v mém konkrétním pracovním postupu. S kamerou, kterou implementuji, ale nahrávám s vyššími datovými rychlostmi, takže pro ty s kamerami s nižším rozlišením to může být menší problém. Škálování umožňuje tyto systémy konfigurovat s větším úložištěm, takže je to snadné řešení, pokud potřebujete dostatečnou kapacitu.

Miniaturní HCI cluster od Scale Computing nabízí mnoho obchodních výhod díky malé velikosti, snadno použitelnému softwaru a relativně nízkým nákladům. Pro výzkumné účely, jako je astrofotografie, může něco takového výrazně urychlit vědecké objevy. Každý, kdo hledá nízkopříkonový cluster, který je zároveň odolný a cenově dostupný, by udělal dobře, kdyby Scale Computing vyzkoušel; dokonce mají i bezplatnou zkušební verzi.

Pokud si chcete vyzkoušet úpravu RAW souborů, soubory TIF najdete na tomto odkazu na Google Drive.

Den 0 s Scale Computingem

Výpočetní technika v měřítku