Podcast #148: LinkedIn Live – IA é um problema de dados

A StorageReview publicou diversos artigos de análise e um podcast baseados em pesquisas realizadas na Universidade Estadual do Oregon. Você pode encontrar links para esses artigos no final desta transcrição. Os artigos geraram grande interesse não apenas na área de pesquisa, mas também em toda a comunidade de fornecedores. A conversa então se expandiu para como educadores usam e monitoram a IA em sala de aula e durante avaliações, com foco em como eles mensuram o conhecimento e a qualidade da aprendizagem.

A discussão centra-se em como toda essa tecnologia está se unindo para criar resultados reais de IA, não apenas no âmbito da pesquisa científica, que abordaremos mais adiante, mas também nos resultados dos alunos na Universidade Estadual do Oregon, e como todos esses componentes se combinam para gerar soluções fenomenais.

Devido à enorme repercussão da avaliação inicial realizada com Christopher Sullivan, decidimos organizar um evento ao vivo no LinkedIn para discutir os avanços nos resultados da IA ​​tanto na pesquisa quanto na educação. Nossos convidados incluíram:

• Christopher Sullivan – Diretor de pesquisa e computação acadêmica da Faculdade de Ciências da Terra, Oceano e Atmosfera da Universidade Estadual do Oregon.
• Alan Bumgardner – Diretor de Planejamento Associado e Busca de Caminhos na Celadon Corporation.
• Seamus Jones – Diretor de engenharia de marketing técnico para computação, redes e sustentabilidade na Dell.

Nossos participantes neste evento ao vivo estiveram envolvidos na pesquisa de plâncton da OSU, seja por associação direta (Chris) ou em funções relacionadas a fornecedores. Se você não leu a cobertura inicial ou ouviu o podcast subsequente, achará a pesquisa interessante e relevante para o foco ambiental atual.

Embora o evento dure uma hora, não há marketing nem propaganda, mas é interativo e informativo. Se você não tiver tempo para ouvir o podcast do início ao fim, dividimos o conteúdo em segmentos de cinco minutos para que você possa acessar as seções que lhe interessarem.

00:00–05:00 — Introdução e Contextualização

• Brian Beeler inicia a apresentação com uma discussão técnica, sem foco em vendas, abordando os resultados práticos da IA ​​em pesquisa e educação na Universidade Estadual do Oregon.
• As apresentações dos membros do painel estabelecem conhecimentos especializados em diversas áreas, abrangendo computação acadêmica, inovação em armazenamento e infraestrutura empresarial.
• A missão da Oregon State está bem definida: promover a pesquisa científica e, ao mesmo tempo, melhorar o envolvimento dos alunos por meio da IA.
• Chris Sullivan destaca um envolvimento de longa data que une pesquisa e TI acadêmica, enfatizando a aplicação prática de tecnologias emergentes.
• A abordagem inicial posiciona a IA como um desafio centrado em dados, em vez de um problema puramente computacional, definindo o tom da sessão.

05:00–10:00 — Escala de dados e realidades da carga de trabalho de IA

• Grandes volumes de dados científicos, como a obtenção de imagens de plâncton, geram centenas de terabytes por experimento e exigem processamento rápido.
• O treinamento representa uma pequena parte da carga de trabalho total; a inferência domina em uma escala massiva, frequentemente envolvendo bilhões de pontos de dados.
• A relevância temporal determina as necessidades de infraestrutura, uma vez que insights tardios reduzem o valor científico.
• Os ciclos de feedback contínuo integram os resultados da inferência de volta aos modelos de treinamento, aumentando a precisão ao longo do tempo.
• As cargas de trabalho de simulação continuam sendo essenciais, fornecendo dados para os fluxos de trabalho de IA e expandindo ainda mais as demandas computacionais.

10:00–15:00 — IA de ponta e flexibilidade de infraestrutura

• Transição de clusters de treinamento centralizados para inferência distribuída na borda, incluindo implantações em navios e em ambientes remotos.
• Plataformas flexíveis, como servidores com alta densidade de GPUs e SSDs de alta capacidade, permitem a implantação em múltiplos ambientes.
• O armazenamento de alta densidade permite que conjuntos de dados na escala de petabytes sejam processados ​​localmente, reduzindo a dependência de centros de dados centralizados.
• O processamento em tempo real permite a coleta adaptativa de dados, melhorando a eficiência e reduzindo os custos operacionais.
• A inferência de borda introduz novas considerações de projeto para robustez, escalabilidade e modularidade.

15:00–20:00 — Evolução da IA ​​Empresarial e Utilização de GPUs

• A indústria está passando de investimentos iniciais em IA focados em treinamento para implantações generalizadas orientadas por inferência.
• Os aplicativos empresariais tradicionais estão se tornando compatíveis com IA, aproveitando as GPUs para obter ganhos de desempenho.
• O uso de tokens e a complexidade dos fluxos de trabalho estão aumentando significativamente à medida que os processos de IA baseados em agentes e com várias etapas se tornam mais comuns.
• A infraestrutura deve ser projetada para cargas de trabalho intermitentes e imprevisíveis, em vez de demanda constante.
• O planejamento para escalabilidade e crescimento futuro é essencial agora, mesmo para as implantações iniciais.

20:00–25:00 — Gestão de Dados e Desafios do RAG

• A acessibilidade aos dados surge como um dos principais obstáculos, com grandes conjuntos de dados frequentemente subutilizados devido à má qualidade dos metadados e à dificuldade de descoberta.
• A geração aumentada por recuperação requer metadados significativos, não apenas atributos em nível de arquivo.
• Os ambientes científicos e empresariais enfrentam desafios semelhantes na compreensão e monetização dos dados armazenados.
• Conjuntos de dados redundantes e a falta de visibilidade evidenciam as ineficiências nas práticas de armazenamento atuais.
• A curadoria eficaz de dados é considerada fundamental para desbloquear o valor da IA.

25:00–30:00 — Inteligência Artificial na Educação e Segurança no Tratamento de Dados

• A Universidade Estadual do Oregon implementa sistemas de avaliação estudantil baseados em inteligência artificial, utilizando envios em vídeo e avaliações automatizadas.
• A conformidade com a FERPA e os requisitos de privacidade de dados orientam as decisões de infraestrutura local.
• O armazenamento local de alta capacidade permite o manuseio seguro de grandes volumes de conteúdo gerado pelos alunos.
• Os sistemas devem suportar a ingestão, o processamento e a retenção contínuos ao longo de vários cursos e períodos de tempo.
• A IA permite o feedback escalável dos alunos sem aumentar a carga de trabalho dos professores.

30:00–35:00 — Nuvem vs. Local e Economia de Tokens

• O aumento dos custos da nuvem e o consumo de tokens estão levando as cargas de trabalho de volta para ambientes locais, especialmente para inferência.
• A tokenomics torna-se uma consideração operacional fundamental, especialmente em ambientes acadêmicos com restrições orçamentárias.
• Surgem estratégias híbridas, utilizando recursos locais para experimentação e a nuvem para tarefas específicas e de alto valor agregado.
• As técnicas de otimização de consultas e redução de tokens estão se tornando essenciais para o controle de custos.
• As preocupações com a soberania dos dados e a conformidade reforçam ainda mais a adoção de soluções locais.

35:00–40:00 — Otimização de Modelos e Arquiteturas de IA em Camadas

• As estratégias de modelos em camadas utilizam modelos menores e especializados para tarefas rotineiras e modelos maiores para consultas complexas.
• A colaboração entre CPU e GPU permite uma utilização mais eficiente dos recursos em todas as cargas de trabalho.
• Os sistemas locais permitem experimentação iterativa sem custos adicionais, melhorando a eficiência do fluxo de trabalho.
• O armazenamento em cache e a otimização de memória reduzem os cálculos adicionais e melhoram o desempenho.
• As arquiteturas futuras automatizarão cada vez mais a seleção e a orquestração de modelos.

40:00–45:00 — Inteligência de Infraestrutura e IA Operacional

• A inteligência artificial está sendo incorporada ao gerenciamento de infraestrutura, permitindo o monitoramento preditivo e a correção automatizada de problemas.
• Agentes de IA locais monitoram os sistemas do campus, identificando falhas antes que elas afetem as operações.
• Modelos menores e mais direcionados estão se mostrando eficazes para casos de uso em inteligência operacional.
• Os avanços em hardware, particularmente em GPUs, estão proporcionando ganhos de desempenho rápidos com maior eficiência.
• As restrições de energia estão moldando o projeto do sistema, priorizando a eficiência em detrimento da escala bruta.

45:00–50:00 — Energia, Refrigeração e Projeto de Data Centers

• A densidade de potência e o resfriamento são agora as principais restrições na implantação de infraestrutura de IA.
• O resfriamento líquido proporciona maior desempenho, menor ruído e melhor eficiência energética em comparação com o resfriamento a ar.
• A modernização de centros de dados existentes com refrigeração líquida é viável e economicamente vantajosa.
• Melhorias na eficiência de armazenamento permitem que mais energia seja alocada aos recursos computacionais.
• Inovações em refrigeração, incluindo placas frias e imersão, reduzem significativamente o consumo total de energia.

50:00–55:00 — Ganhos de desempenho e implementação prática

• O resfriamento líquido não apenas melhora a eficiência, mas também possibilita um desempenho sustentado mais elevado através do ajuste da BIOS.
• O impacto acústico reduzido permite que os sistemas de IA sejam implantados em ambientes não tradicionais.
• Universidades e empresas podem obter um retorno significativo sobre o investimento por meio da economia de energia e do aumento do desempenho.
• A seleção da estratégia de resfriamento exige o equilíbrio entre complexidade, custo e objetivos operacionais.
• Implantações no mundo real validam os benefícios de desempenho das abordagens avançadas de resfriamento.

55:00 – Fim — Estratégias de Adoção e Democratização da IA

• Reduzir as barreiras de entrada é fundamental, e ambientes sandbox locais permitem experimentação sem riscos.
• As parcerias com fornecedores e ISVs são essenciais para a integração de hardware, software e fluxos de trabalho.
• Programas como sistemas de empréstimo de hardware permitem que as organizações testem a infraestrutura de IA antes de se comprometerem com ela.
• Conjuntos de software pré-validados simplificam a implementação e aceleram o retorno do investimento.
• A ampla adoção depende de permitir que instituições menores comecem em pequena escala, façam iterações rápidas e se expandam conforme necessário.

A seguir, estão os links para artigos anteriores relacionados à pesquisa realizada pela Universidade Estadual do Oregon.

Inteligência Artificial no Mar: A Universidade Estadual do Oregon embarca para estudar o oceano em tempo real.
Podcast #145: Por que a IA de ponta é importante, com a Universidade Estadual do Oregon
Como a Metrum AI e a Universidade Estadual do Oregon estão construindo o novo padrão para avaliação acadêmica.