Extreme Edge - Activer l'astrophotographie avec HCI

Récemment nous a écrit un article (Et créé une vidéo) mettant en évidence la facilité de déploiement du minuscule cluster HCI de Scale Computing. Le cluster à trois nœuds est très simple à configurer, ce qui en fait un favori pour les cas d'utilisation en périphérie comme la vente au détail. Mais nous avons dû réfléchir, qu'en est-il de l'utilisation de ces nœuds à un bord un peu plus éloigné ? Comme au plus profond du désert de l'Arizona, associé à quelques centrales électriques portables et à un puissant télescope conçu pour photographier le ciel au-dessus de votre tête. Lisez la suite pour en savoir plus sur la façon dont le Scale Computing permet la recherche scientifique à l'extrême pointe.

Récemment nous a écrit un article (Et créé une vidéo) mettant en évidence la facilité de déploiement du minuscule cluster HCI de Scale Computing. Le cluster à trois nœuds est très simple à configurer, ce qui en fait un favori pour les cas d'utilisation en périphérie comme la vente au détail. Mais nous avons dû réfléchir, qu'en est-il de l'utilisation de ces nœuds à un bord un peu plus éloigné ? Comme au plus profond du désert de l'Arizona, associé à quelques centrales électriques portables et à un puissant télescope conçu pour photographier le ciel au-dessus de votre tête. Lisez la suite pour en savoir plus sur la façon dont le Scale Computing permet la recherche scientifique à l'extrême pointe.

Astrophotographie dans le désert

Exagéré ? Oui, c'est un peu comme amener un cuirassé à une compétition de pêche et utiliser les grenades sous-marines pour faire remonter le poisson à la surface. Cependant, il s'agit davantage d'un test pour voir à quelle vitesse et à quelle vitesse nous pourrions traiter de grandes photographies au fur et à mesure qu'elles arrivent.

Le télescope est extrêmement rapide car il a une grande ouverture, F/1.9, ce qui signifie que nous n'avons pas à passer beaucoup de temps sur les cibles, et nos temps d'exposition peuvent être beaucoup plus courts. Cela signifie qu'en une nuit entière d'astrophotographie, je peux capturer plus de données et faire plus de cibles que je ne pourrais traiter en temps réel sur l'ordinateur portable du contrôleur local (un i7 de 7e génération modéré, 7820HQ avec le stock m.2 SATA SSD) .

Je préfère également subdiviser la tâche de contrôle entre le guidage du télescope et le traitement des images afin de ne pas surcharger le système ou de se heurter à des limitations d'E/S. Nous avons affaire à 120 Mo à 150 Mo par image, ce qui devient agressif sur la consommation d'E/S disque et de processeur très rapidement lors du traitement de grands ensembles de données.

Explication simplifiée de l'astrophotographie

Qu'est-ce que j'entends par traitement ? La première étape est l'enregistrement des photos ; cela applique un score général de la qualité et crée un fichier texte qui répertorie arbitrairement où se trouvent toutes les étoiles dans chaque image. Au fur et à mesure que nous prenons de plus en plus de photos de la même cible, ces fichiers d'enregistrement sont utilisés pour aider à aligner toutes les images dans le processus d'empilement d'images final.

Une fois que les fichiers sont tous enregistrés, nous les empilons en utilisant diverses méthodes. Par souci de simplicité, nous pouvons dire que nous faisons la moyenne des valeurs de chaque pixel, ce qui, plus la taille de l'image augmente, plus cela prend de temps. Ensuite, vous vous dirigez vers le post-traitement, qui peut être aussi simple que l'édition Photoshop. Les opérations plus complexes utilisent un logiciel dédié qui peut tirer parti des GPU et de l'IA pour supprimer les étoiles et bien plus encore. Le post-traitement est l'endroit où l'art entre en jeu.

Avec ce télescope, je peux prendre des poses de 30 secondes et obtenir des résultats incroyables, donc j'aime généralement prendre entre 100 et 200 clichés de chaque cible et atteindre autant de cibles que possible en une soirée.

Le logiciel que j'utilise s'appelle Deep Sky Stacker et Deep Sky Stacker Live. Deep Sky Stacker Live vous donne un aperçu en direct (qui l'aurait deviné) non calibré de votre ensemble d'images cibles actuelles, et il enregistre les images au fur et à mesure qu'elles arrivent de la caméra, ce qui vous fait gagner du temps sur toute la ligne.

Pour ce test particulier, j'étais curieux de savoir si nous pouvions enregistrer, empiler et traiter les images aussi rapidement que nous pouvions les prendre. C'est plutôt gourmand en calcul car ces images font 62 mégapixels chacune, et je prends entre 100 et 200 images par cible. Cela signifie qu'il a généré entre 15 Go et 20 Go d'informations par heure ; toute la soirée a généré 178 Go de données que j'ai pu traiter sur le cluster Scale Computing HCI. Oh, et parce que nous sommes très éloignés, nous faisons tout cela uniquement sur batterie.

Le temps d'empilement pour chaque cible, en utilisant une méthode de calcul de moyenne, y compris un ensemble complet de cadres d'étalonnage, a pris entre 25 et 35 minutes pour se terminer complètement. Il s'agit d'une performance étonnamment impressionnante de la part du Scale Computing Cluster et à égalité avec mon poste de travail de bureau et mon serveur Astro dédié à la maison.

J'ai mené des recherches approfondies, et cela correspond à ce que j'ai découvert, il est moins important de jeter des quantités massives de RAM et de CPU et plus important d'obtenir les meilleures vitesses absolues d'IOPS de disque et de lecture/écriture que vous pouvez obtenir pour ce processus. soyez aussi rapide que possible (plus à ce sujet plus tard dans un autre article). Les disques M.2 NVMe XNUMX % flash du Scale Computing Cluster s'adaptent parfaitement en offrant des performances élevées pour ce flux de travail particulier avec une faible consommation d'énergie.

Plate-forme d'astrophotographie

Informations sur le télescope, l'infrastructure informatique et l'emplacement du site pour le test :

• Celestron Nexstar GPS 11″ sur un coin HD et un trépied HD
  • Starizona Hyperstar11v4
    • Longueur focale de 540 mm
    • Ouverture F/1.9
• Caméra couleur ZWO ASI6200MC Pro One Shot
• Ordinateur portable Dell d'entreprise générique avec i7 de 7e génération pour le contrôle et la capture
• Grappe de calcul à l'échelle
• Commutateur Netgear 1G à huit ports non géré
• 2x piles EcoFlow River Mini
• Starlink V2
• Parc d'État de Picacho Peak, site de Bortle 2.
• Logiciels
  • Nina
  • PHD2
  • Empileur du ciel profond
  • filet d'étoile
  • Photoshop

HCI à bord extrême

La configuration générale était assez simple; J'ai configuré une table, un commutateur à 8 ports, l'ordinateur portable de contrôle, le cluster Scale Computing HCI et Starlink pour l'accès à Internet. Tout était mis en réseau via le commutateur, qui, bien qu'il ne s'agisse que d'un commutateur 1GbE, identique à la vitesse du cluster Scale, n'était pas un problème dans ce flux de travail grâce au débit de données entrant, environ 300 mégaoctets par minute.

Toute l'alimentation du Scale Cluster et de l'ordinateur portable de contrôle est allée à un Ecoflow River Mini, le télescope et la caméra étant éteints l'un l'autre. Le télescope et la caméra acceptent une alimentation 12 V hors du port de l'allume-cigare, une entrée pour le support du télescope pour alimenter les moteurs de pointage et de suivi, et une autre pour faire fonctionner l'élément Peltier pour le refroidisseur de la caméra.

Le capteur de la caméra est refroidi à -5°C. Le cluster et l'ordinateur portable (avec écran et luminosité minimale) épuisent l'EcoFlow River Mini en un peu moins de 2 heures et 30 minutes, tandis que celui dédié au télescope a pu l'alimenter pendant deux nuits entières lors des tests préliminaires.

L'ordinateur portable de contrôle est connecté au télescope et à la caméra via USB 3.0 et un concentrateur USB 3.0. Dans ma configuration, j'aime n'exécuter que le strict minimum sur l'ordinateur portable de contrôle, et les images sont ensuite généralement stockées à distance, soit sur un NAS si je l'ai disponible (ce que, dans ce cas, j'ai fait sur le Scale Cluster) ou vers un stockage flash externe si je n'ai pas de réseau.

J'ai configuré trois machines virtuelles sur ce cluster pour ce test, deux pour l'empilement et une pour stocker les fichiers image en tant que partage réseau. L'ordinateur portable de contrôle du télescope a vidé ses fichiers directement de la caméra sur le réseau vers le cluster. Ensuite, chaque empileur était chargé d'alterner le travail de traitement de chaque cible au fur et à mesure que les fichiers arrivaient. Grâce à l'énorme quantité de puissance de calcul disponible avec le cluster, nous pouvions plus que suivre la charge de travail.

Lors d'excursions normales vers des sites de ciel noir, avec juste l'ordinateur portable de contrôle, je ne peux pas traiter sur le terrain en raison du volume considérable de données qui entrent. Je ne pouvais pas non plus les télécharger directement sur les serveurs domestiques pour traitement en raison d'une connectivité Internet limitée. , ce qui signifie que je ne connais qu'un jour ou plus tard les résultats du temps passé sur la cible. Starlink résout ce problème dans une certaine mesure, mais il est sur le point d'être une solution fiable, surtout si vous avez plusieurs utilisateurs/télescopes, car les vitesses de téléchargement de 5 à 20 Mbps deviendraient rapidement un goulot d'étranglement.

Dans l'ensemble, ce test était une excellente preuve de concept pour montrer que si vous disposiez de deux, trois ou même plus de plates-formes d'astrophotographie dédiées installées dans un observatoire distant installé en permanence, vous pourriez très facilement gérer l'ensemble de votre empilement sur site, puis télécharger le fichier empilé à la base pour l'édition finale à la maison.

Je suggérerais également que vous puissiez envoyer un cluster plus petit à une fête des étoiles et être également en mesure de traiter sur le terrain, car vous auriez la possibilité de déployer rapidement une machine virtuelle pour que chaque utilisateur puisse l'utiliser pour ses propres flux de travail personnels. Pour valider ce concept, je me suis assis à travers le terrain de camping sur mon ordinateur portable connecté à mon téléphone sur 5G et mon ordinateur de bureau distant sur l'ordinateur portable de contrôle, où je pouvais empiler et traiter à distance des images sur le cluster avec un grand succès.

Réflexions finales

Dans ce test particulier, le cluster Scale Computing à 3 nœuds était sans aucun doute exagéré. Cela dit, cela a également démontré que lors d'une longue excursion d'un week-end, d'une grande fête des étoiles ou avec plusieurs télescopes capturant des images, vous pouviez obtenir des résultats rapides, une validation complète des images et vérifier les problèmes dans les données. Au lieu de faire vos bagages et de rentrer chez vous, pour vous rendre compte que vous aviez une tache sur un objectif, ou trop de lumière parasite quelque part, ou que vous avez sélectionné le mauvais filtre, ceux-ci peuvent être traités en temps quasi réel sur le terrain.

Les avantages sont devenus évidents après avoir fini d'empiler ma deuxième cible ; J'ai réalisé qu'il y avait trop de lumière parasite provenant des LED du concentrateur USB que j'utilisais, créant d'étranges artefacts dans les images. J'ai pu retourner au télescope, les couvrir et tirer à nouveau sur la cible, puis refaire le plein avec de meilleurs résultats.

La solution Scale Computing s'intégrerait également très bien dans une installation permanente, un observatoire distant multi-utilisateurs 100 % hors réseau, grâce à sa conception basse consommation et ses hautes performances. Si je pouvais obtenir une capacité de stockage d'énergie supplémentaire et une solution solaire suffisamment grande, il n'y aurait pas de limite de temps d'exécution, et avoir la possibilité d'arrêter les nœuds excédentaires pendant la journée pour maximiser le taux de charge, je peux voir beaucoup de potentiel pour ces applications.

Il y avait deux gros inconvénients que j'ai trouvés et qui, je pense, pourraient être facilement résolus, l'un avec une mise à jour logicielle, peut-être, et l'autre avec une simple mise à niveau matérielle. Le premier est l'impossibilité de passer par n'importe quel périphérique USB ; si cela avait un pass-through USB, je laisserais tomber à 100% tout mon équipement actuel et le mettrais comme principal pour le flux de travail, même assis à la maison dans l'arrière-cour. Je dois pouvoir transmettre le concentrateur USB à un système d'exploitation invité pour un contrôle direct du télescope et de la caméra.

Le deuxième problème est la quantité limitée de stockage. Un téraoctet par hôte est assez décent ; cependant, je voudrais voir quelque part de l'ordre de 2 à 4 To par hôte pour en faire une option utilisable au quotidien dans mon flux de travail particulier. Je capture à l'extrémité supérieure des débits de données avec la caméra que j'implémente, donc pour ceux qui ont des caméras à résolution inférieure, cela peut être moins un problème. Scale peut configurer ces systèmes avec plus de stockage, c'est donc une solution facile si vous avez besoin de capacité.

Le petit cluster HCI Scale Computing offre de nombreux avantages commerciaux grâce à sa petite taille, son logiciel facile à utiliser et son coût relativement faible. Pour des cas d'utilisation de recherche comme l'astrophotographie, quelque chose comme cela peut considérablement accélérer la découverte scientifique. Toute personne à la recherche d'un cluster à faible consommation d'énergie, à la fois résilient et rentable, ferait bien d'essayer le Scale Computing ; ils ont même un essai gratuit.

Si vous souhaitez essayer d'éditer les piles brutes, les fichiers tif peuvent être trouvés sur ce lien google drive

Jour 0 avec Scale Computing

Calcul à l'échelle

S'engager avec StorageReview

Newsletter |  YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS