A CTERA apresentou o Fusion Direct, uma arquitetura de dados federada projetada para eliminar a antiga lacuna entre sistemas de arquivos corporativos e armazenamento de objetos. A nova oferta amplia a família CTERA Fusion, que já inclui o CTERA Fusion Gateway, e se posiciona como um componente central da Plataforma de Dados Inteligentes da CTERA. O objetivo é apresentar uma estrutura de dados única e de alto desempenho que possa atender tanto cargas de trabalho de arquivos centradas no usuário quanto pipelines de IA orientados por máquinas, sem duplicar dados ou refatorar aplicativos.
Unificando arquivos e objetos em um único espaço de nomes.
Tradicionalmente, as equipes de TI corporativas são obrigadas a operar dois domínios de armazenamento separados. Os sistemas NAS fornecem acesso SMB e NFS para colaboração entre usuários e aplicativos legados ou de linha de negócios. O armazenamento de objetos, acessado normalmente via S3, é usado para cargas de trabalho de grande escala, nativas da nuvem e de análise. Integrar esses ambientes muitas vezes significa criar infraestruturas paralelas, copiar dados entre elas ou depender de gateways que traduzem chamadas de arquivos em APIs de objetos. Essas camadas de tradução podem introduzir latência, complexidade e risco operacional adicionais, especialmente em grande escala.
O Fusion Direct visa solucionar esse problema expondo um único namespace global federado no qual arquivos e objetos coexistem nativamente. Os dados podem ser gravados na plataforma como arquivos e lidos como objetos, ou gravados como objetos e lidos como arquivos. O sistema suporta comportamento bidirecional completo de leitura e gravação sem converter arquivos em blocos de objetos proprietários ou rotear o acesso por meio de um gateway de tradução separado. A CTERA afirma explicitamente que não há gargalo na conversão de arquivos para objetos nem qualquer esquema de encapsulamento proprietário em uso.
Do ponto de vista do acesso, os aplicativos e usuários corporativos existentes continuam a operar por meio de SMB e NFS, como fazem atualmente. Ao mesmo tempo, clusters de treinamento de IA, ambientes de HPC e serviços nativos da nuvem podem acessar os mesmos conjuntos de dados via S3 e S3 sobre RDMA, que foi projetado para fornecer taxa de transferência em velocidade de linha para clusters de GPUs e outros ambientes de computação de alto desempenho.
Aproveitando os armazenamentos de objetos existentes e a borda distribuída.
Um ponto importante do projeto é a capacidade de conectar buckets S3 existentes diretamente à estrutura de dados do Fusion Direct. Em vez de migrar ou reidratar dados de objetos para um novo sistema, as organizações podem apresentar seus namespaces de armazenamento de objetos atuais como parte do espaço global de arquivos/objetos. Uma vez conectados, os objetos nesses buckets podem ser acessados como arquivos padrão em locais de borda e implantações em várias nuvens.
Essa abordagem permite que as equipes de TI exponham dados de objetos como arquivos para usuários e aplicativos globalmente, ao mesmo tempo que os apresentam nativamente como S3 para cargas de trabalho de IA e análise. Também reduz a necessidade de infraestrutura duplicada que, de outra forma, seria implantada em várias regiões ou sites de borda para armazenar ou reformatar dados. O resultado final é uma pegada de armazenamento mais simples para conjuntos de dados distribuídos que abrangem várias geografias.
Arquitetura para desempenho na era da IA
O CTERA Fusion Direct aproveita a plataforma de dados inteligente existente da CTERA e é respaldado pela patente americana nº 12,007,9521. A arquitetura enfatiza o suporte simultâneo para cargas de trabalho colaborativas de arquivos e consumo de dados de alto rendimento e em escala de máquina.
Uma das principais funcionalidades é o acesso nativo sem cópia. Os dados gravados na plataforma CTERA como arquivos ficam imediatamente disponíveis como objetos S3 padrão, sem cópias secundárias ou conversões em segundo plano. Por outro lado, os buckets S3 podem ser conectados diretamente, e seu conteúdo torna-se imediatamente acessível como arquivos no namespace global. Isso visa evitar a latência e a sobrecarga de armazenamento associadas a cópias duplicadas ou caches intermediários.
O streaming de arquivos em alta velocidade é outra área de foco. Grandes arquivos de mídia, conjuntos de dados de treinamento e outros conteúdos que exigem muita capacidade podem ser transmitidos diretamente do armazenamento de objetos para aplicativos baseados em arquivos. Essa abordagem elimina a necessidade de downloads locais em massa ou etapas de preparação, que podem tornar os fluxos de trabalho mais lentos e consumir armazenamento adicional na borda da rede ou em clusters de computação.
Em termos de desempenho, o Fusion Direct expõe objetos nativos de maneiras que suportam S3 sobre RDMA e padrões de acesso direto à GPU. Para clusters de IA, isso significa que as GPUs podem ler e gravar dados na velocidade da rede ou próximo a ela, a partir de conjuntos de dados baseados em objetos, sem tradução adicional de protocolo no caminho de dados. Isso é particularmente relevante para tarefas de treinamento e inferência limitadas pela taxa de transferência de E/S, em vez de poder computacional bruto.
A CTERA também destaca considerações sobre a soberania dos dados. Como os dados residem em buckets S3 padrão, sem encapsulamento proprietário ou gateways que detêm os metadados, as organizações mantêm o controle de suas informações em implantações locais e nuvens públicas. A arquitetura visa minimizar a dependência da camada de dados e preservar a flexibilidade à medida que as estratégias de infraestrutura evoluem.
Colapso dos silos de dados humanos e de máquina
O CEO da CTERA, Oded Nagel, afirma que a principal barreira para a adoção de IA empresarial não é a escassez de dados, mas sim o desafio de utilizá-los de forma eficaz. Ele destaca que a separação entre dados para uso humano e dados para análise por máquinas gera atrito. Manter ambientes e conjuntos de dados separados atrasa a implementação da IA. Nagel propõe a combinação desses elementos em uma única plataforma que suporte SMB/NFS e S3 sobre RDMA, oferecendo às empresas um caminho direto dos dados brutos para conjuntos de dados prontos para IA. Uma plataforma unificada pode ajudar as organizações a utilizar melhor os dados e a se manterem competitivas em um mercado impulsionado por aprendizado de máquina e automação.
Disponibilidade
O CTERA Fusion Direct já está disponível como parte da Plataforma de Dados Inteligentes CTERA e se posiciona como um componente essencial da família CTERA Fusion para unificação de arquivos e objetos. Para mais informações, visite [link para o site]. CTERA.
Amazon