StorageReview ha publicado varios artículos de revisión y un podcast basados en una investigación realizada en la Universidad Estatal de Oregón. Encontrará los enlaces a dichos artículos al final de esta transcripción. Los artículos han generado un gran interés no solo en el ámbito de la investigación, sino también en la comunidad de proveedores. Posteriormente, la conversación se amplió a cómo los educadores utilizan y monitorizan la IA en el aula y durante las evaluaciones, centrándose en cómo miden el conocimiento y la calidad del aprendizaje.
El debate se centra en cómo toda esta tecnología se está combinando para generar resultados reales de IA, no solo en el ámbito de la investigación científica, que abordaremos más adelante, sino también en los resultados de los estudiantes de la Universidad Estatal de Oregón, y cómo todos estos componentes se unen para crear soluciones extraordinarias.
Debido a la abrumadora respuesta a la revisión inicial realizada con Christopher Sullivan, decidimos organizar un evento en vivo en LinkedIn para analizar los avances en los resultados de la IA tanto en investigación como en educación. Entre nuestros invitados se encontraban:
- Christopher Sullivan – Director de investigación e informática académica de la Facultad de Ciencias de la Tierra, el Océano y la Atmósfera de la Universidad Estatal de Oregón.
- Alan Bumgardner – Director de Planificación y Desarrollo de Negocios Asociados en Celadon Corporation.
- Seamus Jones – Director de ingeniería de marketing técnico para computación, redes y sostenibilidad en Dell.
Los participantes en este evento en directo colaboraron en la investigación sobre el plancton de la OSU, ya sea directamente (Chris) o a través de proveedores. Si no han leído la cobertura inicial ni escuchado el podcast posterior, les resultará interesante y relevante para la actualidad medioambiental.
Aunque el evento dura una hora, no incluye publicidad ni presentaciones de ventas; es interactivo e informativo. Si no tienes tiempo para escuchar el podcast completo, lo hemos dividido en segmentos de cinco minutos para que puedas acceder directamente a las secciones que te interesen.
00:00–05:00 — Introducción y contexto
- Brian Beeler comienza con una charla técnica, sin ánimo de venta, centrada en los resultados reales de la IA en la investigación y la educación en la Universidad Estatal de Oregón.
- Las presentaciones de los ponentes demuestran una experiencia multidisciplinar que abarca la informática académica, la innovación en el almacenamiento y la infraestructura empresarial.
- La misión de la Universidad Estatal de Oregón se describe a continuación: promover la investigación científica al tiempo que se mejora la participación estudiantil mediante la inteligencia artificial.
- Chris Sullivan destaca una larga trayectoria de colaboración que une la investigación y la informática académica, haciendo hincapié en la aplicación práctica de las tecnologías emergentes.
- El planteamiento inicial sitúa a la IA como un desafío centrado en los datos, en lugar de un problema puramente computacional, marcando así la pauta de la sesión.
05:00–10:00 — Escala de datos y realidades de la carga de trabajo de IA
- Las cargas de trabajo científicas a gran escala, como la obtención de imágenes del plancton, generan cientos de terabytes de datos por experimento y requieren un procesamiento rápido.
- El entrenamiento representa una pequeña parte de la carga de trabajo total; la inferencia predomina a gran escala, e implica a menudo miles de millones de puntos de datos.
- La relevancia temporal determina los requisitos de infraestructura, ya que los conocimientos tardíos reducen el valor científico.
- Los bucles de retroalimentación continua integran los resultados de la inferencia en los modelos de entrenamiento, lo que aumenta la precisión con el tiempo.
- Las cargas de trabajo de simulación siguen siendo fundamentales, ya que alimentan con datos los sistemas de IA y aumentan aún más las necesidades de computación.
10:00–15:00 — IA perimetral y flexibilidad de la infraestructura
- Transición de clústeres de entrenamiento centralizados a inferencia distribuida en el extremo de la red, incluyendo despliegues en barcos y en entornos remotos.
- Las plataformas flexibles, como los servidores con alta densidad de GPU y unidades SSD de alta capacidad, permiten la implementación en múltiples entornos.
- El almacenamiento de alta densidad permite procesar localmente conjuntos de datos a escala de petabytes, lo que reduce la dependencia de los centros de datos centralizados.
- El procesamiento en tiempo real permite la recopilación adaptativa de datos, lo que mejora la eficiencia y reduce los costes operativos.
- La inferencia de borde introduce nuevas consideraciones de diseño para la robustez, la escalabilidad y la modularidad.
15:00–20:00 — Evolución de la IA empresarial y utilización de GPU
- La industria está experimentando un cambio: desde las primeras inversiones en IA centradas en el entrenamiento, se está orientando hacia implementaciones generalizadas basadas en la inferencia.
- Las aplicaciones empresariales tradicionales están adoptando la inteligencia artificial y aprovechando las GPU para mejorar su rendimiento.
- El uso de tokens y la complejidad del flujo de trabajo están aumentando significativamente a medida que los procesos de IA basados en agentes y de múltiples pasos se vuelven más comunes.
- La infraestructura debe diseñarse para cargas de trabajo intermitentes e impredecibles, en lugar de para una demanda constante.
- Planificar la escalabilidad y el crecimiento futuro es ahora fundamental, incluso para las implementaciones iniciales.
20:00–25:00 — Gestión de datos y desafíos de RAG
- La accesibilidad a los datos se perfila como un cuello de botella fundamental, ya que los grandes conjuntos de datos a menudo se subutilizan debido a la deficiencia de los metadatos y la dificultad para encontrarlos.
- La generación de recuperación mejorada requiere metadatos significativos, no solo atributos a nivel de archivo.
- Los entornos científicos y empresariales se enfrentan a desafíos similares a la hora de comprender y monetizar los datos almacenados.
- La redundancia de los conjuntos de datos y la falta de visibilidad ponen de manifiesto las ineficiencias de las prácticas de almacenamiento actuales.
- La gestión eficaz de los datos se considera fundamental para aprovechar el potencial de la IA.
25:00–30:00 — Inteligencia artificial en la educación y manejo seguro de datos
- La Universidad Estatal de Oregón implementa sistemas de evaluación estudiantil basados en inteligencia artificial, que utilizan envíos en formato de vídeo y evaluaciones automatizadas.
- El cumplimiento de la ley FERPA y los requisitos de privacidad de datos influyen en las decisiones sobre la infraestructura local.
- El almacenamiento local de alta capacidad permite gestionar de forma segura grandes volúmenes de contenido generado por los estudiantes.
- Los sistemas deben admitir la ingesta, el procesamiento y la retención continuos a lo largo de múltiples cursos y periodos de tiempo.
- La IA permite obtener comentarios de los estudiantes a gran escala sin aumentar la carga de trabajo del profesorado.
30:00–35:00 — Nube frente a infraestructura local y economía de tokens
- El aumento de los costes de la nube y del consumo de tokens está provocando que las cargas de trabajo vuelvan a las instalaciones locales, especialmente en lo que respecta a la inferencia.
- La tokenómica se convierte en una consideración operativa clave, especialmente en entornos académicos con limitaciones presupuestarias.
- Están surgiendo estrategias híbridas que utilizan recursos locales para la experimentación y la nube para tareas específicas de alto valor.
- Las técnicas de optimización de consultas y reducción de tokens se están volviendo fundamentales para el control de costos.
- Las preocupaciones sobre la soberanía de los datos y el cumplimiento normativo refuerzan aún más la adopción de soluciones locales.
35:00–40:00 — Optimización de modelos y arquitecturas de IA por niveles
- Las estrategias de modelos por niveles utilizan modelos más pequeños y especializados para tareas rutinarias y modelos más grandes para consultas complejas.
- La colaboración entre la CPU y la GPU permite una utilización más eficiente de los recursos en todas las cargas de trabajo.
- Los sistemas locales permiten la experimentación iterativa sin incurrir en costes adicionales, lo que mejora la eficiencia del flujo de trabajo.
- El almacenamiento en caché y la optimización de la memoria reducen los recálculos y mejoran el rendimiento.
- Las arquitecturas futuras automatizarán cada vez más la selección y la orquestación de modelos.
40:00–45:00 — Inteligencia de infraestructura e IA operativa
- La inteligencia artificial se está integrando en la gestión de infraestructuras, lo que permite la monitorización predictiva y la corrección automatizada de problemas.
- Los agentes de IA instalados en las instalaciones del cliente supervisan los sistemas del campus e identifican fallos antes de que afecten a las operaciones.
- Los modelos más pequeños y específicos están demostrando ser eficaces para casos de uso de inteligencia operativa.
- Los avances en el hardware, en particular en las GPU, están proporcionando rápidas mejoras en el rendimiento con una mayor eficiencia.
- Las limitaciones de potencia están condicionando el diseño de los sistemas, priorizando la eficiencia sobre la escala bruta.
45:00–50:00 — Alimentación eléctrica, refrigeración y diseño de centros de datos
- La densidad de potencia y la refrigeración son ahora las principales limitaciones en el despliegue de infraestructuras de IA.
- La refrigeración líquida permite un mayor rendimiento, una reducción del ruido y una mayor eficiencia energética en comparación con la refrigeración por aire.
- La modernización de los centros de datos existentes con sistemas de refrigeración líquida es viable y rentable.
- Las mejoras en la eficiencia del almacenamiento permiten asignar más potencia a los recursos informáticos.
- Las innovaciones en refrigeración, como las placas frías y la inmersión, reducen significativamente el consumo total de energía.
50:00–55:00 — Mejoras en el rendimiento e implementación práctica
- La refrigeración líquida no solo mejora la eficiencia, sino que también permite un rendimiento sostenido superior mediante la optimización de la BIOS.
- La reducción del impacto acústico permite que los sistemas de IA se implementen en entornos no tradicionales.
- Las universidades y las empresas pueden lograr un retorno de la inversión significativo mediante el ahorro de energía y la mejora del rendimiento.
- La selección de la estrategia de refrigeración requiere equilibrar la complejidad, el coste y los objetivos operativos.
- Las implementaciones en entornos reales validan las ventajas de rendimiento de los métodos de refrigeración avanzados.
55:00–Fin — Estrategias de adopción y democratización de la IA
- Reducir las barreras de entrada es fundamental, y los entornos de pruebas locales permiten la experimentación sin riesgos.
- Las alianzas con proveedores y desarrolladores de software independientes son esenciales para integrar hardware, software y flujos de trabajo.
- Programas como los sistemas de préstamo de hardware permiten a las organizaciones probar la infraestructura de IA antes de comprometerse con ella.
- Las pilas de software prevalidadas simplifican la implementación y aceleran la obtención de valor.
- La adopción generalizada depende de que se permita a las instituciones más pequeñas empezar poco a poco, iterar rápidamente y escalar según sea necesario.
A continuación se incluyen enlaces a artículos anteriores relacionados con la investigación realizada por la Universidad Estatal de Oregón.
Inteligencia Artificial en el Mar: La Universidad Estatal de Oregón zarpa para estudiar el océano en tiempo real.
Podcast n.° 145: Por qué la IA de borde es importante para la Universidad Estatal de Oregón
Cómo Metrum AI y la Universidad Estatal de Oregón están construyendo el nuevo estándar para la evaluación académica.
Amazon