Extreme Edge - Möjliggör astrofotografering med HCI

Nyligen vi skrev ett stycke (Och skapade en video) som lyfter fram den enkla implementeringen av Scale Computings lilla HCI-kluster. Klustret med tre noder är mycket enkelt att ställa in, vilket gör det till en favorit för avancerade användningsfall som detaljhandel. Men vi måste tänka, vad sägs om att använda dessa noder vid en kant som är lite mer avlägsen? Som djupt inne i Arizonas öken, tillsammans med ett par bärbara kraftstationer och ett kraftfullt teleskop riggat för att fotografera himlen ovanför. Läs vidare för att lära dig mer om hur Scale Computing möjliggör vetenskaplig forskning i yttersta kanten.

hci astrofotografi rig

Astrofotografering i öknen

Överdriven? Ja, det här är lite som att ta med ett slagskepp till en fisketävling och använda djupladdningarna för att få upp fisken till ytan. Detta är dock mer av ett test för att se hur snabbt och hur snabbt vi kan bearbeta stora fotografier när de kommer in.

storagereview hci astrophotography rig sida

Teleskopet är extremt snabbt genom att det har en stor bländare, F/1.9, vilket gör att vi inte behöver lägga mycket tid på mål, och våra exponeringstider kan vara mycket kortare. Detta innebär att jag under en hel natt av astrofotografering kan fånga mer data och göra fler mål än jag kunde bearbeta i realtid på den lokala styrenhetens bärbara dator (en måttlig spec 7:e gen i7, 7820HQ med standard m.2 SATA SSD) .

Jag föredrar också att dela upp kontrolluppgiften i styrningen av teleskopet och bearbetningen av bilderna för att inte överbelasta systemet eller stöta på någon form av IO-begränsningar. Vi har att göra med 120MB-150MB per bildruta, vilket blir aggressivt på disk IO och CPU-förbrukning mycket snabbt vid bearbetning av stora datamängder.

Förenklad astrofotografiförklaring

Vad menar jag med bearbetning? Det första steget är registreringen av bilderna; detta tillämpar ett allmänt betyg på kvaliteten och skapar en textfil som godtyckligt listar var alla stjärnor finns i varje bild. När vi tar fler och fler foton av samma mål, används dessa registreringsfiler för att hjälpa till att anpassa alla bilder i den slutliga bildstaplingsprocessen.

När alla filer är registrerade staplar vi dem tillsammans med olika metoder. För enkelhetens skull kan vi säga att vi har ett genomsnitt av värdena för varje pixel, vilket ju längre tid det tar när bildstorleken ökar. Efteråt går du till efterbearbetning, vilket kan vara lika enkelt som Photoshop-redigering. Mer komplexa operationer använder dedikerad programvara som kan utnyttja GPU:er och AI för att ta bort stjärnorna och mycket mer. Efterbehandling är där konsten kommer in.

Med det här teleskopet kan jag ta 30 sekunders exponeringar och få otroliga resultat, så jag gillar generellt att ta mellan 100 och 200 bilder av varje mål och komma till så många mål jag kan på en kväll.

Mjukvaran som jag använder heter Deep Sky Stacker och Deep Sky Stacker Live. Deep Sky Stacker Live ger dig en live (vem skulle ha gissat), okalibrerad förhandsvisning av dina aktuella målbildsuppsättningar, och den registrerar bilderna när de kommer in från kameran, vilket sparar tid längs linjen.

För just det här testet var jag nyfiken på om vi kunde registrera, stapla och bearbeta bilderna så snabbt vi kunde ta dem. Detta är ganska beräkningsmässigt belastande eftersom dessa bilder är 62 megapixlar vardera, och jag tar mellan 100 och 200 bilder per mål. Det betyder att den genererade någonstans mellan 15 GB och 20 GB information per timme; hela kvällen genererade 178 GB data som jag kunde bearbeta på Scale Computing HCI Cluster. Åh, och eftersom vi är väldigt avlägset gör vi allt detta på bara batteri.

Andromeda, 40 minuters integrationstid.

Staplingstiden för varje mål, med hjälp av en medelvärdesmetod, inklusive en fullständig uppsättning kalibreringsramar, tog mellan 25-35 minuter att slutföra helt. Detta är en förvånansvärt imponerande prestanda från Scale Computing Cluster och i nivå med min stationära arbetsstation och dedikerade Astro Server där hemma.

Andromeda med stjärnorna borttagna.

Jag har gjort omfattande forskning, och detta stämmer överens med vad jag har upptäckt, det är mindre viktigt att kasta enorma mängder RAM och CPU och viktigare att få de absolut bästa Disk IOPS och läs/skrivhastigheter du kan få för denna process för att var så snabb som möjligt (mer om detta senare i en annan artikel). Scale Computing Clusters all-flash M.2 NVMe-enheter passar utmärkt genom att ge hög prestanda för just detta arbetsflöde med låg strömförbrukning.

Astrofotografering Rig

Teleskopet, IT-infrastrukturen och platsinformation för testet:

Celestron Nexstar GPS 11″ på en HD Wedge och HD-stativ
- Starizona Hyperstar11v4
  - 540 mm brännvidd
  - F/1.9 bländare
ZWO ASI6200MC Pro One Shot färgkamera
Generisk Enterprise Dell Laptop med 7:e generationens i7 för kontroll och fångst
Skala beräkningskluster
Ohanterad Netgear 1G-switch med åtta portar
2x EcoFlow River Mini-batterier
Starlink V2
Picacho Peak State Park, Bortle 2 plats.
Mjukvara
- NINA
- PHD2
- Deep Sky Stacker
- starnet
- Photoshop

Extreme Edge HCI

Den allmänna inställningen var ganska enkel; Jag satte upp ett bord, en switch med 8 portar, den bärbara datorn med kontroll, Scale Computing HCI-klustret och Starlink för internetåtkomst. Allt var sammankopplat via switchen, som trots att det bara var en 1GbE switch, samma som hastigheten på Scale-klustret, inte var ett problem i detta arbetsflöde tack vare datahastigheten som kom in, ungefär 300 megabyte per minut.

storagereview hci astrophotography rig ecoflow river mini batteri

All ström till Scale Cluster och Control Laptop gick till den ena Ecoflow River Mini, medan teleskopet och kameran stängdes av den andra. Teleskopet och kameran accepterar 12 V ström från biltändarporten, en ingång för teleskopfästet för att driva motorerna för pekning och spårning, och en annan för att köra Peltier-elementet för kylaren på kameran.

storagereview astrofotografi ecoflow

Kamerasensorn kyls ned till -5°C. Klustret och den bärbara datorn (med skärm och lägsta ljusstyrka) tömmer EcoFlow River Mini på bara 2 timmar och 30 minuter, medan den som är dedikerad till teleskopet kunde driva den under två hela nätter i det preliminära testet.

Den bärbara styrdatorn är ansluten till teleskopet och kameran via USB 3.0 och en USB 3.0 Hub. I min installation gillar jag att bara köra det absoluta minimum på den bärbara datorn med kontroll, och bilderna lagras då vanligtvis på distans, antingen över till en NAS om jag har den tillgänglig (vilket jag i det här fallet gjorde på Scale Cluster) eller till extern flashlagring om jag inte har nätverk.

Jag satte upp tre virtuella maskiner på detta kluster för detta test, två för stapling och en för att lagra bildfilerna som en nätverksresurs. Den bärbara datorn för kontroll av teleskopet dumpade sina filer direkt från kameran över nätverket till klustret. Sedan var varje staplare ansvarig för att alternera jobbet med att bearbeta varje mål när filerna kom in. Tack vare den enorma mängden datorkraft som fanns tillgänglig med klustret kunde vi mer än hålla jämna steg med arbetsbördan.

storagereview astrofotografi komplett rig

På normala utflykter till webbplatser med mörk himmel, med bara den bärbara datorn som kontrolleras, kan jag inte bearbeta på fältet på grund av den stora mängden data som kommer in. Jag kunde inte heller ladda upp dem direkt till hemservrarna för bearbetning på grund av begränsad internetanslutning , vilket betyder att jag inte vet förrän en dag eller mer senare resultatet av den tid som spenderats på målet. Starlink löser detta till en viss grad, men det är på gränsen till att vara en pålitlig lösning, speciellt om man har flera användare/teleskop, då uppladdningshastigheterna på 5-20Mbps snabbt skulle bli en flaskhals.

Det här testet var ett bra proof of concept för att visa att om du hade två, tre eller till och med fler dedikerade Astrofotografi-riggar installerade vid ett permanent installerat fjärrobservatorium, kunde du mycket enkelt hantera all din stapling på plats och sedan ladda upp staplad fil tillbaka till basen för slutlig redigering hemma.

Jag skulle också föreslå att du kan ta ut ett mindre kluster till en stjärnfest och kunna fältbearbeta också eftersom du skulle ha förmågan att snabbt distribuera en virtuell dator för varje användare för att kunna använda för sina egna personliga arbetsflöden. För att validera detta koncept satte jag mig tvärs över campingen på min bärbara dator kopplad till min telefon på 5G och fjärrskrivbord tillbaka till kontrolldatorn, där jag kunde stapla och bearbeta bilder på distans i klustret med stor framgång.

Avslutande tankar

I detta specifika test var Scale Computing 3-nodsklustret utan tvekan överdrivet. Som sagt, det visade också att på en långhelgsutflykt, en större stjärnfest eller med flera teleskop som tar bilder, kunde du få snabba resultat, fullständig validering av bilderna och kontrollera om det finns problem i data. Istället för att packa ihop och åka hem, bara för att inse att du hade en fläck på en lins, eller för mycket ströljus från någonstans, eller valt fel filter, kan dessa åtgärdas i nästan realtid i fält.

storagereview astrofotografi komplett riggnatt

Fördelarna blev uppenbara efter att jag slutat stapla mitt andra mål; Jag insåg att det var för mycket ströljus från lysdioderna på USB-hubben som jag använde, vilket skapade några konstiga artefakter i bilderna. Jag kunde gå tillbaka till teleskopet, täcka över dem och skjuta om målet och sedan lägga om det med bättre resultat.

Scale Computing-lösningen skulle också passa in extremt bra i en permanent installation, fjärrobservatorium för flera användare som är 100 % off-grid, tack vare dess lågeffektdesign och höga prestanda. Om jag kunde få lite extra kraftlagringskapacitet och en tillräckligt stor solcellslösning, skulle det inte finnas någon gräns för körtiden, och med möjligheten att stänga av överflödiga noder under dagen för att maximera laddningshastigheten, kan jag se mycket potential för dessa tillämpningar.

Det fanns två stora nackdelar som jag tyckte skulle lätt kunna åtgärdas, en med en mjukvaruuppdatering, kanske, och den andra med en enkel hårdvaruuppgradering. Den första är oförmågan att passera genom USB-enheter; om detta hade en USB-genomföring, skulle jag till 100 % släppa all min nuvarande utrustning och lägga in detta som primärt för arbetsflödet, även när jag satt hemma på bakgården. Jag måste kunna skicka USB-hubben till ett gästoperativsystem för direkt kontroll av teleskopet och kameran.

Den andra frågan är den begränsade mängden lagringsutrymme. En terabyte per värd är ganska bra; Jag skulle dock vilja se någonstans i storleksordningen 2 till 4 TB per värd för att göra detta till ett användbart vardagligt alternativ i mitt specifika arbetsflöde. Jag fångar dock i den högre änden av datahastigheter med kameran jag implementerar, så för de med kameror med lägre upplösning kan detta vara ett mindre problem. Scale kan konfigurera dessa system med mer lagringsutrymme, så det här är en enkel lösning om du behöver kapaciteten.

Slöjanebulosa

Det lilla HCI-klustret Scale Computing erbjuder många affärsfördelar tack vare den lilla storleken, lättanvänd programvara och relativt låg kostnad. För forskningsanvändningsfall som Astrofotografi kan något sådant här avsevärt påskynda vetenskaplig upptäckt. Den som letar efter ett kluster med låg effekt som också är motståndskraftigt och kostnadseffektivt skulle göra klokt i att prova Scale Computing; de har till och med en fri rättegång.

Om du vill testa att redigera råstacken, tif-filerna finns på denna google drive-länk

Dag 0 med Scale Computing

Skalberäkning

Engagera dig med StorageReview