A Backblaze e a WEKA validaram suas duas plataformas em conjunto para pipelines de IA, combinando o WEKA NeuralMesh como camada de desempenho que alimenta as GPUs com o Backblaze B2 Cloud Storage como camada de capacidade que armazena todo o restante. A integração, o dimensionamento, o ajuste e os testes já foram concluídos, permitindo que uma equipe de infraestrutura de IA implemente um layout comprovado de duas camadas sem precisar construir e qualificar sua própria infraestrutura. A certificação do B2 para NeuralMesh está em andamento, e ambas as empresas afirmam que os clientes podem entrar em contato com qualquer uma delas para começar agora mesmo.
Dois Níveis, Um Ciclo de Vida dos Dados
Os dados brutos e não estruturados, ou seja, os conjuntos de treinamento, bibliotecas de mídia e arquivos de origem, ficam armazenados em B2. Quando um conjunto de dados se torna parte de uma tarefa que exige alto desempenho, ele é disponibilizado para o NeuralMesh e enviado aos aceleradores a partir daí. Assim que um ponto de verificação, uma saída ou qualquer outro recurso não precisar mais de acesso de alto desempenho, ele retorna a B2, onde pode ser reutilizado em uma execução posterior ou recuperado caso a tarefa precise retornar a um estágio anterior. As empresas descrevem isso como velocidade onde as GPUs estão e capacidade em todas as outras áreas, com os dados transitando entre os dois ambientes conforme seu padrão de acesso muda.
“As equipes de IA precisam que suas GPUs estejam sempre alimentadas e que haja uma infraestrutura com o desempenho e a capacidade necessários para suportar todo o fluxo de trabalho de dados de IA. A WEKA domina a camada de desempenho. Passamos quase duas décadas fazendo o mesmo com o armazenamento de capacidade”, disse Gleb Budman, CEO da Backblaze. Nilesh Patel, Diretor de Estratégia da WEKA, descreveu a mesma pressão na direção oposta: “As cargas de trabalho de IA estão sobrecarregando o armazenamento em duas direções simultaneamente. As GPUs precisam de acesso aos dados em microssegundos para se manterem alimentadas, enquanto os conjuntos de dados e os pontos de verificação estão crescendo para a escala de exabytes. Nossa colaboração com a Backblaze oferece aos clientes um caminho validado para ambos, sem o custo de construir e testar essa integração por conta própria.”
O recurso Snap-to-Object foi testado em comparação com o B2.
Outro recurso interessante é o Snap-to-Object do NeuralMesh, que as empresas afirmam ter testado com o Backblaze. O Snap-to-Object grava um snapshot consistente de um sistema de arquivos NeuralMesh em um armazenamento de objetos e, com o Backblaze como destino, esse armazenamento tem a mesma capacidade que os dados brutos e os checkpoints já armazenados. Para uma execução de treinamento, isso significa que uma equipe pode reverter para um checkpoint ou recuperar dados de inferência salvos do Backblaze sem precisar improvisar uma correção no meio do processo e sem manter um destino separado para snapshots. O efeito econômico é uma camada de armazenamento de objetos na nuvem por trás do NeuralMesh, com preço baseado em capacidade, que armazena os snapshots junto com os dados que eles protegem.
Ao longo do ano, a Backblaze tem posicionado o B2 como a camada de capacidade para IA, desde a oferta B2 Neo para plataformas neocloud até seu programa de benchmarking de desempenho, e a WEKA oferece a ela um parceiro de alto desempenho no lado da GPU.
Amazon