Extreme Edge – Astrofotografie mogelijk maken met HCI

Onlangs hebben we schreef een stuk (En heeft een video gemaakt) die het gemak van de implementatie van het kleine HCI-cluster van Scale Computing benadrukt. Het cluster met drie knooppunten is heel eenvoudig in te stellen, waardoor het een favoriet is voor edge use cases zoals retail. Maar we begonnen na te denken, hoe zit het met het gebruik van deze knooppunten aan een rand die iets meer afgelegen is? Zoals diep in de woestijn van Arizona, gecombineerd met een paar draagbare krachtcentrales en een krachtige telescoop die is opgetuigd om de lucht boven ons te fotograferen. Lees verder om meer te weten te komen over hoe Scale Computing wetenschappelijk onderzoek tot het uiterste mogelijk maakt.

Onlangs hebben we schreef een stuk (En heeft een video gemaakt) die het gemak van de implementatie van het kleine HCI-cluster van Scale Computing benadrukt. Het cluster met drie knooppunten is heel eenvoudig in te stellen, waardoor het een favoriet is voor edge use cases zoals retail. Maar we begonnen na te denken, hoe zit het met het gebruik van deze knooppunten aan een rand die iets meer afgelegen is? Zoals diep in de woestijn van Arizona, gecombineerd met een paar draagbare krachtcentrales en een krachtige telescoop die is opgetuigd om de lucht boven ons te fotograferen. Lees verder om meer te weten te komen over hoe Scale Computing wetenschappelijk onderzoek tot het uiterste mogelijk maakt.

Astrofotografie in de woestijn

Overkill? Ja, dit is een beetje alsof je een slagschip naar een viswedstrijd brengt en de dieptebommen gebruikt om de vis naar de oppervlakte te krijgen. Dit is echter meer een test om te zien hoe snel en hoe snel we grote foto's kunnen verwerken zodra ze binnenkomen.

De telescoop is extreem snel omdat hij een groot diafragma heeft, F/1.9, wat betekent dat we niet veel tijd aan doelen hoeven te besteden en dat onze belichtingstijden veel korter kunnen zijn. Dit betekent dat ik in een hele nacht astrofotografie meer gegevens kan vastleggen en meer doelen kan doen dan ik in realtime zou kunnen verwerken op de lokale controller-laptop (een gematigde spec 7e generatie i7, 7820HQ met de standaard m.2 SATA SSD) .

Ik verdeel de taak van de besturing ook liever in de besturing van de telescoop en de verwerking van de beelden om het systeem niet te overbelasten of tegen enige vorm van IO-beperkingen aan te lopen. We hebben te maken met 120MB-150MB per frame, wat zeer snel agressief wordt voor de Disk IO en het CPU-verbruik bij het verwerken van grote datasets.

Vereenvoudigde uitleg over astrofotografie

Wat bedoel ik met verwerken? De eerste stap is het registreren van de foto's; dit past een algemene score van de kwaliteit toe en creëert een tekstbestand dat willekeurig vermeldt waar alle sterren in elke afbeelding staan. Naarmate we meer en meer foto's van hetzelfde doelwit maken, worden deze registratiebestanden gebruikt om alle afbeeldingen uit te lijnen in het uiteindelijke beeldstapelingsproces.

Als alle dossiers eenmaal zijn geregistreerd, stapelen we ze op verschillende manieren op elkaar. Omwille van de eenvoud kunnen we zeggen dat we de waarden van elke pixel gemiddeld nemen, wat naarmate de afbeelding groter wordt, hoe langer dit duurt. Daarna ga je naar de nabewerking, wat net zo eenvoudig kan zijn als het bewerken van Photoshop. Complexere bewerkingen gebruiken speciale software die GPU's en AI kan gebruiken om de sterren te verwijderen en nog veel meer. Nabewerking is waar de kunst om de hoek komt kijken.

Met deze telescoop kan ik belichtingen van 30 seconden maken en ongelooflijke resultaten behalen, dus ik maak over het algemeen tussen de 100 en 200 foto's van elk doelwit en bereik zo veel mogelijk doelen in een avond.

De software die ik gebruik heet Deep Sky Stacker en Deep Sky Stacker Live. Deep Sky Stacker Live geeft u een live (wie had dat gedacht), niet-gekalibreerde preview van uw huidige doelbeeldset, en het registreert de beelden zodra ze binnenkomen van de camera, waardoor u tijd bespaart.

Voor deze specifieke test was ik benieuwd of we de beelden zo snel konden registreren, stapelen en verwerken als we ze konden maken. Dit is nogal rekenkundig belastend, aangezien deze afbeeldingen elk 62 megapixels zijn en ik tussen de 100 en 200 frames per doel neem. Dit betekent dat het ergens tussen de 15 GB en 20 GB aan informatie per uur genereerde; de hele avond genereerde 178GB aan data die ik kon verwerken op de Scale Computing HCI Cluster. Oh, en omdat we erg afgelegen zijn, doen we dit allemaal alleen op batterijen.

De stapeltijd voor elk doel, met behulp van een middelingsmethode, inclusief een volledige set kalibratieframes, duurde tussen de 25 en 35 minuten om volledig te voltooien. Dit is een verrassend indrukwekkende prestatie van de Scale Computing Cluster en vergelijkbaar met mijn desktopwerkstation en speciale Astro Server thuis.

Ik heb uitgebreid onderzoek gedaan, en dit komt overeen met wat ik heb ontdekt, het is minder belangrijk om enorme hoeveelheden RAM en CPU te gooien en belangrijker om de absoluut beste schijf-IOPS en lees- / schrijfsnelheden te krijgen die je kunt krijgen voor dit proces om wees er zo snel mogelijk bij (hierover later meer in een ander artikel). De all-flash M.2 NVMe-drives van de Scale Computing Cluster passen uitstekend door hoge prestaties te leveren voor deze specifieke workflow met een laag stroomverbruik.

Astrofotografie Rig

De telescoop, IT-infrastructuur en locatie-informatie voor de test:

• Celestron Nexstar GPS 11″ op een HD Wedge en HD Tripod
  • Starizona Hyperstar11v4
    • 540 mm brandpuntsafstand
    • F/1.9 diafragma
• ZWO ASI6200MC Pro One Shot kleurencamera
• Generieke Enterprise Dell-laptop met 7e generatie i7 voor controle en vastleggen
• Schaal rekencluster
• Onbeheerde Netgear 1G-switch met acht poorten
• 2x EcoFlow River Mini-batterijen
• Starlink V2
• Picacho Peak State Park, locatie Bortle 2.
• Software
  • NINA
  • PHD2
  • Deep Sky-stapelaar
  • sterrennet
  • Photoshop

Extreme Rand HCI

De algemene opzet was vrij eenvoudig; Ik heb een tafel opgezet, een 8-poorts switch, de besturingslaptop, het Scale Computing HCI-cluster en Starlink voor internettoegang. Alles was met elkaar verbonden via de switch, die ondanks dat het slechts een 1GbE-switch was, net als de snelheid op het Scale-cluster, geen probleem was in deze workflow dankzij de snelheid waarmee gegevens binnenkwamen, ongeveer 300 megabytes per minuut.

Alle stroom voor de Scale Cluster en Control Laptop ging naar de ene Ecoflow River Mini, terwijl de telescoop en camera van de andere werden gevoed. De telescoop en camera accepteren 12 V-voeding van de auto-aanstekerpoort, één ingang voor de telescoopbevestiging om de motoren van stroom te voorzien voor richten en volgen, en een andere om het Peltier-element voor de koeler op de camera te laten werken.

De camerasensor wordt gekoeld tot -5°C. Het cluster en de laptop (met scherm en minimale helderheid) putten de EcoFlow River Mini uit in slechts twee uur en 2 minuten, terwijl degene die aan de telescoop was gewijd, hem tijdens de voorbereidende tests twee hele nachten van stroom kon voorzien.

De besturingslaptop is via USB 3.0 en een USB 3.0 Hub verbonden met de telescoop en camera. In mijn opstelling draai ik graag alleen het absolute minimum op de besturingslaptop, en de foto's worden dan meestal op afstand opgeslagen, ofwel naar een NAS als ik die beschikbaar heb (wat ik in dit geval deed op de Scale Cluster) of naar externe flash-opslag als ik geen netwerk heb.

Ik heb drie virtuele machines op dit cluster ingesteld voor deze test, twee voor stapelen en één voor het opslaan van de afbeeldingsbestanden als een netwerkshare. De besturingslaptop voor de telescoop dumpte zijn bestanden rechtstreeks van de camera via het netwerk naar het cluster. Vervolgens was elke stapelaar verantwoordelijk voor het afwisselend verwerken van elk doel terwijl de bestanden binnenkwamen. Dankzij de enorme hoeveelheid rekenkracht die beschikbaar was met het cluster, konden we de werklast meer dan bijbenen.

Op normale excursies naar dark sky-sites, met alleen de controlelaptop, kan ik niet in het veld verwerken vanwege de enorme hoeveelheid gegevens die binnenkomt. Ik kon ze ook niet rechtstreeks uploaden naar de thuisservers voor verwerking vanwege de beperkte internetverbinding , wat betekent dat ik pas een dag of meer later de resultaten weet van de tijd die aan het doel is besteed. Starlink lost dit tot op zekere hoogte op, maar het staat op het punt een betrouwbare oplossing te zijn, vooral als je meerdere gebruikers/telescopen hebt, aangezien de uploadsnelheden van 5-20 Mbps al snel een knelpunt zouden worden.

Deze algehele test was een geweldige proof of concept om te laten zien dat als je twee, drie of zelfs meer speciale astrofotografie-installaties had opgesteld op een permanent geïnstalleerd extern observatorium, je heel gemakkelijk al je stapeling ter plaatse zou kunnen afhandelen en vervolgens de foto's kunt uploaden. gestapeld bestand terug naar de basis voor de laatste bewerking thuis.

Ik zou ook willen voorstellen dat je een kleiner cluster naar een sterrenfeest zou kunnen brengen en ook in het veld kunt verwerken, aangezien je de mogelijkheid zou hebben om snel een VM in te zetten voor elke gebruiker om te kunnen gebruiken voor hun eigen persoonlijke workflows. Om dit concept te valideren, zat ik aan de andere kant van de camping op mijn laptop die was vastgemaakt aan mijn telefoon op 5G en een externe desktop terug naar de besturingslaptop, waar ik op afstand beelden op het cluster kon stapelen en met groot succes kon verwerken.

Conclusie

In deze specifieke test was het Scale Computing-cluster met 3 knooppunten ongetwijfeld overdreven. Dat gezegd hebbende, toonde het ook aan dat je tijdens een lange weekendexcursie, een groter sterrenfeest of met meerdere telescopen die beelden vastleggen, snelle resultaten kunt krijgen, de beelden volledig kunt valideren en kunt controleren op problemen in de gegevens. In plaats van in te pakken en naar huis te gaan, alleen om te beseffen dat u een vlek op een lens had, of ergens te veel strooilicht had, of het verkeerde filter had geselecteerd, kunnen deze in bijna realtime in het veld worden aangepakt.

De voordelen werden duidelijk nadat ik klaar was met het stapelen van mijn tweede doelwit; Ik realiseerde me dat er te veel strooilicht was van de LED's op de USB-hub die ik gebruikte, waardoor er vreemde artefacten in de afbeeldingen ontstonden. Ik was in staat om terug te gaan naar de telescoop, ze af te dekken en opnieuw op het doelwit te schieten, en vervolgens opnieuw te stapelen met betere resultaten.

De Scale Computing-oplossing zou ook uitstekend passen bij een permanente installatie, een extern observatorium voor meerdere gebruikers dat 100% off-grid is, dankzij het ontwerp met laag energieverbruik en hoge prestaties. Als ik in staat zou zijn om wat extra energieopslagcapaciteit en een zonne-oplossing te krijgen die groot genoeg is, zou er geen limiet zijn aan de looptijd, en als ik de mogelijkheid zou hebben om overtollige knooppunten gedurende de dag uit te schakelen om de oplaadsnelheid te maximaliseren, kan ik veel zien mogelijkheden voor deze toepassingen.

Er waren twee grote nadelen waarvan ik dacht dat ze gemakkelijk konden worden aangepakt, een met een software-update misschien en de andere met een eenvoudige hardware-upgrade. De eerste is het onvermogen om USB-apparaten te passeren; als dit een USB-doorvoer had, zou ik 100% al mijn huidige apparatuur laten vallen en dit als primair voor de workflow gebruiken, zelfs als ik thuis in de achtertuin zou zitten. Ik moet de USB-hub kunnen doorgeven aan een gastbesturingssysteem voor directe bediening van de telescoop en camera.

Het tweede probleem is de beperkte hoeveelheid opslagruimte. Eén terabyte per host is heel behoorlijk; ik zou echter ergens in de orde van grootte van 2 tot 4 TB per host willen zien om dit een bruikbare dagelijkse optie te maken in mijn specifieke workflow. Ik leg echter aan de hogere kant van de datasnelheden vast met de camera die ik implementeer, dus voor mensen met camera's met een lagere resolutie is dit misschien minder een probleem. Schaal kan deze systemen configureren met meer opslag, dus dit is een gemakkelijke oplossing als je de capaciteit nodig hebt.

Het kleine HCI-cluster van Scale Computing biedt veel zakelijke voordelen dankzij de kleine omvang, gebruiksvriendelijke software en relatief lage kosten. Voor gebruiksscenario's voor onderzoek, zoals astrofotografie, kan zoiets de wetenschappelijke ontdekking aanzienlijk versnellen. Iedereen die op zoek is naar een energiezuinige cluster die ook veerkrachtig en kosteneffectief is, doet er goed aan Scale Computing eens te proberen; ze hebben zelfs een gratis trial.

Als u wilt proberen de onbewerkte stapels te bewerken, de tif-bestanden zijn te vinden op deze Google Drive-link

Dag 0 met schaalcomputing

Schaal computergebruik

Neem contact op met StorageReview

Nieuwsbrief | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed