Investigación científica en el borde: el almacenamiento de alta capacidad permite obtener conocimientos acelerados por IA

Los SSD Solidigm P5336 desbloquean nuevas fronteras de investigación al admitir los requisitos de uso intensivo de datos de la IA y los algoritmos de aprendizaje automático en el borde.

En una era en la que la investigación científica avanza rápidamente hasta los límites de nuestras capacidades tecnológicas, la importancia del almacenamiento de alta capacidad se ha vuelto cada vez más prominente. Armados con un potente equipo de captura de objetos de cielo profundo, un conjunto de SSD QLC Solidigm P5336 de 61.44 TB y nuestro nuevo servidor resistente Dell PowerEdge XR7620, exploramos la necesidad de un almacenamiento sólido y rentable para gestionar los requisitos de datos en rápida expansión. de la investigación científica acelerada por IA basada en el borde.

Captura de datos perimetrales

En los últimos años, la informática científica y de datos ha experimentado un cambio monumental, pasando de modelos informáticos tradicionales y centralizados al ámbito más dinámico de la informática de punta. Este cambio no es sólo un cambio en las preferencias informáticas, sino una respuesta a las necesidades y complejidades cambiantes de la exploración del procesamiento de datos moderno.

En esencia, la informática de punta se refiere al procesamiento de datos cerca de la ubicación donde se generan, en lugar de depender de un almacén de procesamiento de datos centralizado. Este cambio es cada vez más relevante en campos donde el procesamiento de datos y la toma de decisiones en tiempo real son cruciales. La informática de punta es convincente en la investigación científica, especialmente en disciplinas que requieren una rápida recopilación y análisis de datos.

Los factores que impulsan la informática de vanguardia

Varios factores impulsan el avance hacia la informática de punta en la investigación científica. En primer lugar, el enorme volumen de datos generados por los experimentos científicos modernos es asombroso. Los métodos tradicionales de procesamiento de datos, que implican la transmisión de conjuntos de datos masivos a un servidor central para su análisis, se están volviendo poco prácticos y consumen mucho tiempo.

En segundo lugar, la necesidad de análisis en tiempo real es más pronunciada que nunca. En muchos escenarios de investigación, el tiempo necesario para transferir los datos para su procesamiento puede dejarlos obsoletos, lo que hace que el análisis inmediato en el sitio sea esencial.

Por último, las tecnologías de recopilación de datos más sofisticadas han requerido el desarrollo de capacidades de procesamiento de datos igualmente sofisticadas. La computación perimetral responde a esta necesidad acercando potentes capacidades informáticas a las fuentes de datos, mejorando así la eficiencia y eficacia de la investigación científica.

La investigación científica, nuestro enfoque en informática de punta para este artículo, está particularmente interesada en mantener la mayor cantidad posible de datos sin procesar recopilados por sensores modernos y sofisticados. El monitoreo y análisis en tiempo real de los datos capturados utilizando aceleradores como NVIDIA L4 en el borde proporciona resúmenes. Aun así, no existe ningún sustituto para capturar y preservar todos los datos para futuros análisis más profundos. Aquí es donde lo ultradenso SSD Solidigm QLC Adelante.

La puesta en marcha

La astrofotografía, la práctica de capturar imágenes de cuerpos celestes y grandes áreas del cielo nocturno, es un excelente ejemplo de un campo que se beneficia significativamente de la informática de punta. Tradicionalmente, la astrofotografía es una disciplina de paciencia que requiere largos tiempos de exposición y un importante posprocesamiento de imágenes para extraer datos significativos. En el pasado, mirábamos acelerando el proceso con un cluster NUC. Ahora es el momento de llevarlo al siguiente nivel.

El servidor perimetral

Usamos el robusto Dell PowerEdge XR7620 como plataforma de servidor central en el borde. Estos servidores optimizados son de poca profundidad, de doble socket en un factor de forma compacto y ofrecen soluciones centradas en la aceleración. A diferencia de los servidores de borde típicos, el servidor XR7620 aborda la rápida maduración de AI/ML con soporte para las cargas de trabajo más exigentes, incluida la automatización industrial, video, análisis de puntos de venta, inferencia de IA y agregación de dispositivos de punto de borde.

Especificaciones clave de Dell PowerEdge XR7620

Para obtener una lista completa de especificaciones, consulte nuestra revisión completa aquí: Dell PowerEdge XR7620.

Este servidor Dell PowerEdge no es una tecnología cualquiera. Está construido para soportar las condiciones más duras que la naturaleza tiene para ofrecer. Piense en temperaturas bajo cero, vientos aullantes y el aislamiento que hace que la palabra "remoto" parezca quedarse corta. Pero a pesar de las probabilidades, demostró ser capaz e inflexible, impulsando la investigación con el poder de sus procesadores de última generación y una monstruosa capacidad de análisis de datos.

Tener un servidor robusto elimina la presión de mantener el servidor seguro y cálido. No es sólo la puesta en escena; También es esencial que el servidor pueda soportar el ruidoso viaje desde un lugar seguro a un lugar frío y aislado en medio de la nada.

El telescopio

Para esta prueba, elegimos un lugar a lo largo de los Grandes Lagos, en el corazón de un desierto remoto, muy alejado del brillo invasivo de las luces de la ciudad. La pieza central de nuestro equipo de astrofotografía es el telescopio Celestron Nexstar de 11 pulgadas. Con una apertura de F/1.9 y una distancia focal de 540 mm, este telescopio es ideal para astrofotografía en condiciones de poca luz y ofrece detalles extraordinarios para la exploración del cielo profundo. En la profunda quietud de la naturaleza, este telescopio se erige como un centinela, con su lente enfocada hacia el cielo, lista para capturar el espectáculo celestial.

La cámara de un solo disparo

Adjunta al Nexstar se encuentra la cámara en color ZWO ASI6200MC Pro One Shot. Diseñada con el único propósito de astrofotografía, esta cámara puede generar imágenes de objetos astronómicos en alta resolución y ricas en colores. La elección de una cámara en color de una sola toma simplifica el proceso de obtención de imágenes, capturando imágenes a todo color en una sola exposición sin necesidad de filtros adicionales. Esta característica es invaluable en áreas remotas, donde la simplicidad y la eficiencia son primordiales.

La ZWO ASI6200MC Pro es una cámara de astrofotografía diseñada específicamente y equipada con un sensor CMOS SONY IMX455, que ofrece una impresionante resolución de 62 megapíxeles en un sensor de fotograma completo. Cuenta con un tamaño de píxel de 3.76 μm, lo que permite capturas celestes detalladas y amplias con una velocidad de fotogramas máxima de 3.51 FPS a resolución completa.

La cámara tiene un sistema de refrigeración integrado (un refrigerador térmico eléctrico de dos etapas regulado) para reducir la temperatura del sensor y garantizar un rendimiento óptimo al mantener una temperatura entre 30 °C y 35 °C por debajo de los niveles ambientales, lo que reduce el ruido electrónico para obtener imágenes más precisas. . Con características como una persiana enrollable, un amplio rango de exposición y un importante búfer DDR256 de 3 MB, esta cámara está diseñada para ofrecer imágenes de calidad excepcional tanto para astrónomos aficionados como profesionales.

Mantener una conexión de datos confiable en zonas remotas y remotas no es tan difícil hoy en día con Starlink. Este servicio de Internet basado en satélite proporciona conectividad de datos de alta velocidad, esencial para transmitir datos y recibir actualizaciones en tiempo real, pero con una limitación considerable de ancho de banda para enviar conjuntos de datos masivos al laboratorio.

El almacenamiento de alta capacidad

Preservar cada subcuadro en astrofotografía es vital para los investigadores, ya que desbloquea una gran cantidad de información esencial para avanzar en el conocimiento astronómico. Cada subcuadro puede capturar variaciones y matices incrementales en los fenómenos celestes, lo cual es crucial para el análisis y la comprensión detallados. Esta práctica mejora la calidad de la imagen mediante la reducción de ruido y garantiza la confiabilidad de los datos al proporcionar redundancia para la verificación y ayudar en la corrección de errores y la calibración.

Además, empleamos el uso de la unidad Solidigm D61.44-P5 de 5336 TB.

Nuestro principal interés es tener un conjunto de datos completo que permita la aplicación de técnicas computacionales avanzadas, como el aprendizaje automático y la inteligencia artificial, para descubrir patrones y conocimientos que pueden pasarse por alto en el análisis manual o los métodos tradicionales. Mantener estos submarcos también prepara la investigación para el futuro, permitiendo el reprocesamiento con tecnologías en evolución. También es un registro histórico para estudios a largo plazo y esfuerzos de colaboración, lo que lo convierte en un recurso invaluable.

El enfoque innovador de StorageReview

Hemos ido más allá en lo que respecta a la informática de punta y su importancia, y no solo para mercados típicos como los casos de uso industriales y minoristas. Llevar nuestro kit a ubicaciones remotas y documentar todas las fases de las capturas y compilaciones de imágenes de astrofotografía nos ayuda a comprender cómo la IA nos beneficia en muchos aspectos diferentes de la vida. Quizás recuerdes nuestra Revisión de borde extremo del año pasado, donde instalamos nuestra plataforma en el desierto para capturar un cielo nocturno sin preocuparnos de que la luz artificial afectara nuestras imágenes.

En la búsqueda por ampliar los límites de la astrofotografía, particularmente en el borde donde el almacenamiento de alta capacidad y la eficiencia computacional son primordiales, un enfoque novedoso para la deconvolución de imágenes está revolucionando nuestra capacidad de capturar el cosmos con una claridad sin precedentes. Para lograr este objetivo, introdujimos una arquitectura innovadora de red neuronal convolucional (CNN) que reduce significativamente los artefactos tradicionalmente asociados con los procesos de deconvolución de imágenes.

El principal desafío de la astrofotografía radica en combatir las distorsiones introducidas por la interferencia atmosférica, los errores de montura y guía y las limitaciones de los equipos de observación. La óptica adaptativa ha mitigado estos problemas, pero su alto costo y complejidad dejan a muchos observatorios en la estacada. La deconvolución de imágenes, el proceso de estimar e invertir los efectos de la función de dispersión puntual (PSF) para aclarar imágenes, es una herramienta fundamental en el arsenal del astrónomo. Sin embargo, los algoritmos tradicionales como Richardson-Lucy y la deconvolución estadística a menudo introducen artefactos adicionales, lo que resta valor a la fidelidad de la imagen.

Ingrese a la solución innovadora propuesta para la colaboración con Vikramaditya R. Chandra: una arquitectura CNN personalizada diseñada explícitamente para la restauración de imágenes astronómicas. Esta arquitectura no sólo estima el PSF con notable precisión sino que también aplica un algoritmo de deconvolución de Richardson-Lucy mejorado por técnicas de aprendizaje profundo para minimizar la introducción de artefactos. Nuestra investigación demuestra un rendimiento superior a las metodologías existentes al entrenar este modelo en imágenes que capturamos y del Hubble Legacy Archive, presentando un camino claro hacia imágenes astronómicas libres de artefactos.

En el corazón de esta arquitectura se encuentra un enfoque de doble fase: inicialmente, una red neuronal convolucional estima el PSF, que luego se utiliza en un algoritmo de Richardson-Lucy modificado para desconvolucionar la imagen. La segunda fase emplea otra CNN profunda, entrenada para identificar y eliminar artefactos residuales, asegurando que la imagen de salida permanezca lo más fiel posible al objeto astronómico original. Esto se logra sin utilizar técnicas de simplificación excesiva como el desenfoque gaussiano, que también puede introducir efectos no deseados como "timbres".

La importancia de este modelo se extiende más allá de sus aplicaciones inmediatas en astrofotografía. Para la informática de punta, donde la potencia de procesamiento y la capacidad de almacenamiento son escasas, la eficiencia y efectividad de esta novedosa arquitectura CNN prometen una nueva era de imágenes de alta fidelidad. La capacidad de procesar y almacenar grandes cantidades de datos ópticos en el borde abre nuevas posibilidades para la investigación, lo que permite el análisis y la toma de decisiones en tiempo real en campañas de observación en toda la industria.

El avance en las técnicas de deconvolución emprendidas en nuestro laboratorio marca un momento crucial en la obtención de imágenes de todo tipo. Al aprovechar de manera innovadora el aprendizaje profundo, estamos a punto de desbloquear el potencial adicional de una imagen digital, como se demuestra aquí al capturar el universo con claridad y precisión previamente reservadas solo para el extremo más alto de las configuraciones. Hemos estado entrenando este modelo en nuestro laboratorio durante bastante tiempo, así que esté atento a un informe completo pronto.

Qué significa esto para la astrofotografía

El avance de una nueva arquitectura de red neuronal convolucional (CNN) para la restauración de imágenes astronómicas sobre las técnicas tradicionales de deconvolución marca un desarrollo fundamental en la astrofotografía. A diferencia de los métodos convencionales, que a menudo introducen artefactos como ruido e imágenes fantasma, el enfoque de CNN minimiza estos problemas, garantizando imágenes celestes más claras y precisas.

Esta técnica mejora la claridad de la imagen y permite una extracción de datos más precisa de las observaciones astronómicas. Al aprovechar el aprendizaje profundo, mejoramos significativamente la fidelidad de la astrofotografía, allanando el camino para obtener conocimientos más profundos del cosmos con un compromiso mínimo en el procesamiento de imágenes.

Dos casos de uso de inferencia en la investigación científica acelerada por IA basada en el borde

Los métodos de manejo y procesamiento de datos desempeñan un papel fundamental en la investigación científica, particularmente en campos que requieren una captura y análisis extensos de datos, como la astrofotografía. Decidimos analizar dos casos de uso de inferencia común que aprovechan las soluciones de almacenamiento Solidigm de alta capacidad y la infraestructura computacional avanzada proporcionada por Dell para administrar e interpretar los vastos conjuntos de datos generados en el borde.

Caso 1: Enfoque de red de zapatillas

El enfoque Sneaker Net es un método tradicional de transferencia de datos que implica capturar datos localmente en dispositivos de almacenamiento de alta capacidad y luego transportar físicamente estos medios de almacenamiento a un centro de datos central o instalación de procesamiento. Este método recuerda a los primeros días de la informática, donde los datos se movían manualmente debido a la falta de conexiones de red o a su lentitud. En la investigación científica acelerada por IA basada en el borde, este enfoque puede ser beneficioso en escenarios donde la transmisión de datos en tiempo real se ve obstaculizada por limitaciones de ancho de banda o una conectividad a Internet poco confiable.

El principal beneficio del enfoque Sneaker Net radica en su simplicidad y confiabilidad. Los SSD de alta capacidad pueden almacenar cantidades masivas de datos, lo que garantiza que se puedan transportar grandes conjuntos de datos de forma segura sin una conexión continua a Internet. Este método es especialmente ventajoso en entornos remotos o desafiantes donde a menudo se realiza la astrofotografía, como áreas silvestres remotas alejadas de los servicios de Internet convencionales.

Sin embargo, el enfoque Sneaker Net también tiene limitaciones importantes. El más obvio es el retraso en el procesamiento y análisis de datos, ya que el transporte físico lleva tiempo, lo que impide posibles conocimientos que podrían derivarse de los datos. También existe un mayor riesgo de pérdida o daño de datos durante el transporte. Además, este método no aprovecha el potencial de análisis y toma de decisiones en tiempo real que puede ofrecer la informática de punta, lo que podría perder conocimientos e intervenciones oportunas.

Caso 2: Inferencia de borde

La inferencia perimetral representa un enfoque más moderno para el manejo de datos en la investigación científica, particularmente adecuado para las necesidades de proyectos acelerados por IA. Este proceso implica capturar datos en el campo y utilizar un servidor perimetral equipado con NVIDIA L4 para ejecutar la inferencia de primer paso. Este método permite el análisis de datos inmediato a medida que se generan, lo que permite la toma de decisiones en tiempo real y ajustes rápidos a las estrategias de captura de datos basados ​​en hallazgos preliminares.

Los servidores perimetrales están diseñados para operar en las condiciones desafiantes que a menudo se encuentran en la investigación de campo, proporcionando la potencia computacional necesaria para la IA y los algoritmos de aprendizaje automático directamente en la fuente de datos. Esta capacidad es crucial para tareas que requieren un análisis de datos inmediato, como la identificación de fenómenos astronómicos específicos en grandes conjuntos de datos capturados durante sesiones de astrofotografía.

Las ventajas de la inferencia de bordes son múltiples. Reduce significativamente la latencia en el procesamiento de datos, lo que permite obtener información y ajustes instantáneos. Este análisis en tiempo real puede mejorar la calidad y relevancia de los datos capturados, haciendo que los esfuerzos de investigación sean más eficientes y efectivos. La inferencia perimetral también reduce la necesidad de transmisión de datos, conservando el ancho de banda para las comunicaciones esenciales.

Sin embargo, la inferencia de bordes también plantea desafíos. La configuración inicial y el mantenimiento de la infraestructura informática de punta pueden ser complejos y costosos, y requieren una inversión significativa en hardware y software. También existe la necesidad de conocimientos especializados para gestionar y operar sistemas informáticos de vanguardia de forma eficaz.

Además, si bien la inferencia de borde reduce las necesidades de transmisión de datos, todavía requiere un método para el almacenamiento de datos a largo plazo y su análisis posterior, lo que requiere un enfoque híbrido que combine el procesamiento local con el análisis de datos central. Gracias a la mejora de las tecnologías de computación, almacenamiento y GPU, estos desafíos son cada vez menos un problema.

Tanto el enfoque Sneaker Net como la inferencia de borde ofrecen métodos valiosos para gestionar los vastos conjuntos de datos generados en la investigación científica acelerada por IA basada en el borde. La elección entre estos métodos depende de los requisitos específicos del proyecto de investigación, incluida la necesidad de análisis en tiempo real, la disponibilidad de recursos computacionales en el campo y las consideraciones logísticas del transporte de datos. A medida que avanza la tecnología, el potencial de soluciones innovadoras a estos desafíos promete mejorar aún más la eficiencia y eficacia de la investigación científica de vanguardia.

Condiciones ambientales extremas

En nuestro compromiso en constante evolución de superar los límites de la tecnología y comprender sus límites, nos embarcamos en un viaje de prueba único con el servidor Dell PowerEdge XR7620 y los SSD Solidigm QLC. Vale la pena señalar que no se recomienda aventurarse fuera de los parámetros operativos especificados de cualquier tecnología y puede anular las garantías o, peor aún, provocar fallas en el equipo. Sin embargo, por curiosidad científica y para comprender verdaderamente la robustez de nuestro equipo, procedimos con cautela.

Nuestras pruebas para este proyecto se llevaron a cabo en el duro abrazo del invierno, con temperaturas que cayeron a -15 °C o menos en medio de una tormenta de nieve implacable. Estas condiciones van mucho más allá del entorno operativo normal para la mayoría de los equipos electrónicos, especialmente el hardware de servidor sofisticado y los SSD diseñados para tareas con uso intensivo de datos. El objetivo era evaluar el rendimiento y la confiabilidad del servidor y el almacenamiento ante el frío y la humedad extremos que presentan dichas condiciones climáticas.

Sorprendentemente, tanto el servidor como los SSD funcionaron sin problemas. No hubo efectos adversos en su funcionamiento, ni corrupción de datos ni mal funcionamiento del hardware. Este rendimiento excepcional en tales condiciones de prueba dice mucho sobre la calidad de construcción y la resistencia de estos dispositivos. El Dell PowerEdge XR7620, con su diseño robusto, y los SSD Solidigm, con su tecnología avanzada, demostraron ser capaces de soportar factores ambientales estresantes que van mucho más allá de los acogedores confines de un centro de datos.

Si bien muestra la durabilidad y confiabilidad del equipo, esta prueba no debe verse como un respaldo para operar su hardware fuera de las especificaciones recomendadas. Fue un experimento controlado diseñado para explorar los límites de lo que estos dispositivos pueden manejar. Nuestros hallazgos reafirman la importancia de elegir hardware duradero y de alta calidad para aplicaciones críticas, especialmente en escenarios de computación de borde donde las condiciones pueden ser impredecibles y estar lejos de ser ideales.

Pensamientos Finales

Hemos estado enamorados de los SSD empresariales de alta capacidad desde que QLC NAND llegó al mercado de manera significativa. La mayoría de las cargas de trabajo no requieren tanta escritura como cree la industria; Esto es aún más cierto en lo que respecta a la recopilación de datos en el borde. Los casos de uso de inferencia y recopilación de datos perimetrales presentan un conjunto de desafíos completamente diferente.

Al igual que el caso de uso de astrofotografía que hemos articulado aquí, generalmente están limitados de alguna manera en comparación con lo que se encontraría en el centro de datos. Al igual que con nuestro esfuerzo de investigación y IA perimetral, el servidor Dell tiene solo cuatro bahías, por lo que la necesidad de maximizar esas bahías para capturar nuestros datos es fundamental. Similar a otros usos de bordes que hemos examinado, como conducción autónoma, la capacidad de capturar más datos sin detenerse es vital.

La conclusión de nuestra exploración de las aplicaciones únicas de los SSD empresariales de alta capacidad, en particular de la tecnología QLC NAND, subraya un cambio fundamental en la forma en que abordamos la recopilación y el procesamiento de datos en el borde. Los SSD que utilizamos en nuestras pruebas destacan como particularmente interesantes debido a sus métricas de capacidad y rendimiento, lo que permite nuevas posibilidades de investigación que antes estaban limitadas por las capacidades de almacenamiento.

Nuestro viaje a través de las complejidades de la recopilación de datos en el borde y los casos de uso de inferencia, resumidos en el proyecto de astrofotografía, revela una comprensión matizada de las necesidades de almacenamiento más allá del centro de datos. En proyectos como este, donde cada byte de datos capturados, un fragmento del cosmos, tiene valor. Debido a las limitaciones climáticas y de tiempo, el lujo de disponer de grandes conjuntos de almacenamiento y bastidores sobre bastidores de equipo no siempre está disponible.

Este escenario no es exclusivo de la astrofotografía, sino que se repite en diversas aplicaciones informáticas de vanguardia y disciplinas de investigación. Aquí, capturar y analizar grandes cantidades de datos sobre la marcha es primordial. Para muchas industrias, interrumpir la descarga de datos es un lujo que no puede permitirse ni justificarse. Los SSD resuelven este dilema con sus amplias capacidades de almacenamiento. Permiten períodos prolongados de recopilación de datos sin paradas frecuentes para descargar datos, asegurando así la continuidad e integridad del proceso de investigación.

Estos SSD de alta capacidad abren nuevas fronteras de investigación al admitir los requisitos intensivos de datos de la IA y los algoritmos de aprendizaje automático directamente en el borde. Esta capacidad es crucial para el procesamiento y la inferencia de datos en tiempo real, lo que permite obtener información y acciones inmediatas basadas en los datos recopilados. Ya sea refinando los parámetros para la captura de datos basándose en análisis preliminares o aplicando algoritmos complejos para filtrar el ruido celeste para descubrimientos astronómicos, no se puede subestimar el papel de estos SSD.

Los SSD Solidigm no son sólo soluciones de almacenamiento, sino también facilitadores de la innovación. Representan un paso adelante para abordar los desafíos únicos de la informática de punta, facilitando esfuerzos de investigación que trascienden los límites de lo que es posible. La importancia de soluciones de almacenamiento robustas, eficientes y de alta capacidad solo crecerá a medida que sigamos explorando la inmensidad del espacio y las complejidades de nuestro mundo a través de investigaciones científicas aceleradas por IA basadas en el borde. Estas tecnologías no sólo respaldan las necesidades de investigación actuales; anticipan el futuro, sentando las bases para futuros descubrimientos.

Solidigma AI

Este informe está patrocinado por Solidigm. Todos los puntos de vista y opiniones expresados ​​en este informe se basan en nuestra visión imparcial de los productos bajo consideración.

Interactuar con StorageReview

Boletín | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed