Hoje, a WekaIO e a Destiny Corporation anunciaram que publicaram um projeto de referência que é capaz de fornecer melhorias de tempo de execução 5X e tempo de relógio de parede para trabalhos de longa execução de análise SAS. A nova solução não visa apenas o desempenho, mas também oferece boa economia de armazenamento. Essa solução está disponível tanto no local quanto na AWS.
As duas empresas são uma boa opção para criar essa nova solução. Weka tem tudo a ver com armazenamento de arquivos escalável e de alto desempenho. A Destiny é uma consultoria de negócios e tecnologia especializada em análise SAS (um conjunto de software integrado para análise avançada e preditiva, inteligência de negócios e gerenciamento de dados) e parceira de ouro do SAS Institute. Os dois estão trabalhando juntos para resolver os problemas com o SAS. As soluções SAS podem tirar proveito de CPUs multi-core, mas são prejudicadas pelo acesso a volumes ou pela capacidade de resposta de E/S de armazenamento. Sendo esse o caso, os servidores de aplicativos SAS Grid e SAS Viya permanecem amplamente subutilizados ao operar em grandes conjuntos de dados enquanto esperam que os dados sejam atendidos pelo sistema de armazenamento.
O WekaFS é declarado pela empresa como o sistema de arquivos paralelo mais rápido do mundo. Para maximizar os servidores de aplicativos SAS, eles se conectariam por Infiniband ou 100 Gbit Ethernet a um sistema de armazenamento executando WekaFS. Este sistema de armazenamento compartilhado precisa de pelo menos oito nós de armazenamento com NVMe local, mas pode escalar para centenas de nós. De acordo com as empresas, o design de referência inicial pode escalar de um cliente SAS executando 32 sessões simultâneas para 8 clientes executando 256 sessões simultâneas, o WekaFS mede até 106 GB/s de largura de banda mista de leitura/gravação, enquanto leva apenas 320 núcleos SAS para atingir isso desempenho. O novo design de referência deve maximizar o uso sem esperar pela E/S de armazenamento ou desperdiçar ciclos de computação caros.
Amazon