Extreme Edge – Habilitando Astrofotografia com HCI

Recentemente nós escreveu um artigo (E criou um vídeo) destacando a facilidade de implantação do minúsculo cluster HCI da Scale Computing. O cluster de três nós é muito simples de configurar, tornando-o um favorito para casos de uso de ponta, como varejo. Mas começamos a pensar, que tal usar esses nós em uma borda um pouco mais remota? Como nas profundezas do deserto do Arizona, emparelhado com algumas estações de energia portáteis e um poderoso telescópio equipado para fotografar o céu acima. Continue lendo para saber mais sobre como a Scale Computing possibilita pesquisas científicas de ponta.

Recentemente nós escreveu um artigo (E criou um vídeo) destacando a facilidade de implantação do minúsculo cluster HCI da Scale Computing. O cluster de três nós é muito simples de configurar, tornando-o um favorito para casos de uso de ponta, como varejo. Mas começamos a pensar, que tal usar esses nós em uma borda um pouco mais remota? Como nas profundezas do deserto do Arizona, emparelhado com algumas estações de energia portáteis e um poderoso telescópio equipado para fotografar o céu acima. Continue lendo para saber mais sobre como a Scale Computing possibilita pesquisas científicas de ponta.

Astrofotografia no deserto

Exagero? Sim, isso é um pouco como trazer um navio de guerra para uma competição de pesca e usar as cargas de profundidade para trazer os peixes à superfície. No entanto, este é mais um teste para ver com que rapidez e com que rapidez podemos processar grandes fotografias à medida que chegam.

O telescópio é extremamente rápido porque possui uma grande abertura, F/1.9, o que significa que não precisamos gastar muito tempo nos alvos e nossos tempos de exposição podem ser muito mais curtos. Isso significa que, em uma noite inteira de astrofotografia, posso capturar mais dados e fazer mais alvos do que poderia processar em tempo real no laptop do controlador local (um i7 de 7ª geração de especificação moderada, 7820HQ com o estoque m.2 SATA SSD) .

Prefiro também subdividir a tarefa de controle em orientação do telescópio e processamento das imagens para não sobrecarregar o sistema ou esbarrar em qualquer tipo de limitação de IO. Estamos lidando com 120 MB-150 MB por quadro, o que se torna agressivo no IO de disco e no consumo de CPU muito rapidamente ao processar grandes conjuntos de dados.

Explicação simplificada da astrofotografia

O que quero dizer com processamento? O primeiro passo é o cadastro das fotos; isso aplica uma pontuação geral da qualidade e cria um arquivo de texto que lista arbitrariamente onde estão todas as estrelas em cada imagem. À medida que tiramos mais e mais fotos do mesmo alvo, esses arquivos de registro são usados ​​para ajudar a alinhar todas as imagens no processo final de empilhamento de imagens.

Uma vez que os arquivos estão todos registrados, nós os empilhamos usando vários métodos. Para simplificar, podemos dizer que calculamos a média dos valores de cada pixel, o que, conforme o tamanho da imagem aumenta, mais demora. Depois, você segue para o pós-processamento, que pode ser tão simples quanto a edição do Photoshop. Operações mais complexas usam software dedicado que pode aproveitar GPUs e IA para remover as estrelas e muito mais. O pós-processamento é onde a arte entra.

Com este telescópio, posso fazer exposições de 30 segundos e obter resultados incríveis, então geralmente gosto de tirar entre 100 e 200 fotos de cada alvo e atingir o máximo de alvos possível à noite.

O software que eu uso chama-se Deep Sky Stacker e Deep Sky Stacker Live. O Deep Sky Stacker Live oferece uma visualização ao vivo (quem diria) não calibrada do conjunto de imagens de seus alvos atuais e registra as imagens conforme elas vêm da câmera, economizando tempo na linha.

Para este teste específico, fiquei curioso para saber se poderíamos registrar, empilhar e processar as imagens o mais rápido possível. Isso é bastante desgastante computacionalmente, pois essas imagens têm 62 megapixels cada e estou tirando entre 100 e 200 quadros por alvo. Isso significa que gerou algo entre 15 GB e 20 GB de informações por hora; toda a noite gerou 178 GB de dados que consegui processar no Cluster HCI da Scale Computing. Ah, e como estamos muito remotos, estamos fazendo tudo isso apenas com bateria.

O tempo de empilhamento para cada alvo, usando um método de média, incluindo um conjunto completo de quadros de calibração, levou entre 25 a 35 minutos para ser concluído totalmente. Este é um desempenho surpreendentemente impressionante do Scale Computing Cluster e no mesmo nível da minha estação de trabalho desktop e Astro Server dedicado em casa.

Eu conduzi uma extensa pesquisa, e isso está de acordo com o que eu descobri, é menos importante jogar grandes quantidades de RAM e CPU e mais importante obter as melhores velocidades absolutas de IOPS de disco e leitura/gravação que você pode obter para este processo seja o mais rápido possível (mais sobre isso posteriormente em outro artigo). As unidades M.2 NVMe totalmente flash do Scale Computing Cluster se encaixam perfeitamente, fornecendo alto desempenho para esse fluxo de trabalho específico com baixo consumo de energia.

Equipamento de astrofotografia

O telescópio, a infraestrutura de TI e as informações de localização do local para o teste:

• Celestron Nexstar GPS 11″ em uma Cunha HD e Tripé HD
  • Starizona Hyperstar11v4
    • 540 mm distância focal
    • F/1.9 Abertura
• Câmera colorida ZWO ASI6200MC Pro One Shot
• Laptop Dell empresarial genérico com i7 de 7ª geração para controle e captura
• Cluster de computação de escala
• Comutador Netgear 1G de oito portas não gerenciado
• 2 x mini baterias EcoFlow River
• StarLink V2
• Picacho Peak State Park, local de Bortle 2.
• Software
  • NINA
  • PHD2
  • Empilhador Céu Profundo
  • starnet
  • Photoshop

HCI de borda extrema

A configuração geral foi bastante direta; Configurei uma mesa, um switch de 8 portas, o laptop de controle, o cluster Scale Computing HCI e o Starlink para acesso à Internet. Tudo foi conectado em rede por meio do switch, que apesar de ser um switch de apenas 1 GbE, igual à velocidade do cluster Scale, não foi um problema neste fluxo de trabalho graças à taxa de entrada de dados, cerca de 300 megabytes por minuto.

Toda a energia do Scale Cluster e Control Laptop foi para um Ecoflow River Mini, com o telescópio e a câmera sendo desligados do outro. O telescópio e a câmera aceitam alimentação de 12 V da porta do isqueiro do carro, uma entrada para a montagem do telescópio para alimentar os motores para apontar e rastrear e outra para executar o elemento Peltier para o cooler na câmera.

O sensor da câmera é resfriado a -5°C. O cluster e o laptop (com tela e brilho mínimo) esgotam o EcoFlow River Mini em apenas 2 horas e 30 minutos, enquanto o dedicado ao telescópio conseguiu alimentá-lo por duas noites inteiras nos testes preliminares.

O laptop de controle é conectado ao telescópio e à câmera via USB 3.0 e um hub USB 3.0. Na minha configuração, gosto de executar apenas o mínimo necessário no laptop de controle, e as imagens geralmente são armazenadas remotamente, em um NAS, se disponível (o que, neste caso, fiz no Scale Cluster) ou para armazenamento flash externo se eu não tiver rede.

Configurei três máquinas virtuais neste cluster para este teste, duas para empilhamento e uma para armazenar os arquivos de imagem como um compartilhamento de rede. O laptop de controle do telescópio descarregava seus arquivos diretamente da câmera pela rede para o cluster. Em seguida, cada empilhador era responsável por alternar o trabalho de processamento de cada destino à medida que os arquivos chegavam. Graças à enorme quantidade de poder de computação disponível com o cluster, pudemos mais do que acompanhar a carga de trabalho.

Em excursões normais a locais de céu escuro, apenas com o laptop de controle, não consigo processar em campo devido ao grande volume de dados que chegam. Também não consegui carregá-los diretamente para os servidores domésticos para processamento devido à conectividade limitada à Internet , o que significa que não sei até um dia ou mais depois os resultados do tempo gasto no alvo. O Starlink resolve isso até certo ponto, mas está prestes a ser uma solução confiável, especialmente se você tiver vários usuários/telescópios, pois as velocidades de upload de 5 a 20 Mbps rapidamente se tornariam um gargalo.

Este teste em geral foi uma grande prova de conceito para mostrar que, se você tivesse dois, três ou até mais equipamentos dedicados de astrofotografia configurados em um observatório remoto permanentemente instalado, você poderia facilmente lidar com todo o seu empilhamento no local e, em seguida, fazer o upload do arquivo empilhado de volta à base para edição final em casa.

Eu também sugeriria que você pudesse levar um cluster menor para uma festa principal e também poder processar o campo, pois você teria a capacidade de implantar rapidamente uma VM para cada usuário poder utilizar para seus próprios fluxos de trabalho pessoais. Para validar esse conceito, sentei-me no acampamento em meu laptop conectado ao meu telefone em 5G e na área de trabalho remota de volta ao laptop de controle, onde pude empilhar e processar imagens remotamente no cluster com grande sucesso.

Considerações Finais

Nesse teste específico, o cluster de 3 nós do Scale Computing foi, sem dúvida, um exagero. Dito isso, também demonstrou que em uma excursão de fim de semana prolongado, uma festa estelar maior ou com vários telescópios capturando imagens, você pode obter resultados rápidos, validação completa das imagens e verificar problemas nos dados. Em vez de fazer as malas e ir para casa, apenas para perceber que você tinha uma mancha em uma lente, ou muita luz dispersa de algum lugar, ou selecionou o filtro incorreto, eles podem ser resolvidos quase em tempo real no campo.

Os benefícios tornaram-se aparentes depois que terminei de empilhar meu segundo alvo; Percebi que havia muita luz difusa dos LEDs no hub USB que eu estava usando, criando alguns artefatos estranhos nas imagens. Consegui voltar ao telescópio, cobri-los e atirar novamente no alvo, depois empilhar novamente com melhores resultados.

A solução Scale Computing também se encaixaria extremamente bem em uma instalação permanente, observatório remoto de vários usuários que é 100% fora da rede, graças ao seu design de baixo consumo de energia e alto desempenho. Se eu pudesse obter alguma capacidade adicional de armazenamento de energia e uma solução solar grande o suficiente, não haveria limite para o tempo de execução e, tendo a capacidade de desligar os nós em excesso durante o dia para maximizar a taxa de carga, posso ver muito potencial para essas aplicações.

Havia duas grandes desvantagens que eu achava que poderiam ser facilmente resolvidas, uma com uma atualização de software, talvez, e a outra com uma simples atualização de hardware. A primeira é a incapacidade de passar por qualquer dispositivo USB; se tivesse uma passagem USB, eu descartaria 100% todo o meu equipamento atual e o colocaria como principal para o fluxo de trabalho, mesmo sentado em casa no quintal. Preciso passar o hub USB para um sistema operacional convidado para controle direto do telescópio e da câmera.

A segunda questão é a quantidade limitada de armazenamento. Um terabyte por host é bastante decente; no entanto, gostaria de ver algo na ordem de 2 a 4 TB por host para tornar essa opção utilizável todos os dias em meu fluxo de trabalho específico. No entanto, estou capturando na extremidade superior das taxas de dados com a câmera que estou implementando; portanto, para aqueles com câmeras de resolução mais baixa, isso pode ser um problema menor. A escala pode configurar esses sistemas com mais armazenamento, portanto, essa é uma solução fácil se você precisar de capacidade.

O minúsculo cluster HCI da Scale Computing oferece muitos benefícios comerciais graças ao tamanho pequeno, software fácil de usar e custo relativamente baixo. Para casos de uso de pesquisa como astrofotografia, algo assim pode acelerar significativamente a descoberta científica. Qualquer pessoa que esteja procurando um cluster de baixo consumo de energia que também seja resiliente e econômico faria bem em experimentar o Scale Computing; eles até têm um teste grátis.

Se você gostaria de tentar editar as pilhas brutas, os arquivos tif podem ser encontrados neste link do google drive

Dia 0 com Scale Computing

Computação em Escala

Envolva-se com a StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed