A Smartbird e a WEKA anunciaram uma parceria que integra o WEKA NeuralMesh aos clusters de IA dedicados da Smartbird, comercializados como um serviço gerenciado para cargas de trabalho de IA corporativas. A Smartbird projeta, constrói e opera cada cluster para as cargas de trabalho de um único cliente, seja em suas instalações ou em um data center dedicado. As empresas descrevem o resultado como soberano por natureza, com os dados do cliente permanecendo em um ambiente controlado por ele e prontos para produção desde o primeiro dia. O acordo é o primeiro de uma rede planejada de parcerias de infraestrutura da Smartbird.
A Smartbird é a empresa anteriormente conhecida como Allbirds. A Allbirds vendeu sua marca de calçados e seus ativos, mudou seu nome para Smartbird, Inc. em junho, manteve a listagem na NASDAQ sob o código BIRD e nomeou a Dra. Nadia Carlsten, ex-CEO da provedora de computação em GPU DCAI, como presidente e CEO. Seus primeiros clusters ainda estavam sendo projetados na época da mudança de nome, com data centers em desenvolvimento nos EUA e na Europa, o que torna o acordo com a WEKA a primeira visão do que a infraestrutura conterá.
Taxa de transferência de dados e alegações de inferência
A NeuralMesh fornece a camada de dados e memória. As empresas afirmam que as GPUs recebem um fluxo contínuo de dados com uma taxa de transferência que chega a centenas de gigabytes por segundo, mas não divulgaram as configurações de hardware, versões de software ou condições de teste que embasam esse número. Para inferência e aplicações agentivas de execução contínua, as empresas afirmam que a plataforma combinada expande a capacidade de memória da GPU, reduz o tempo até o primeiro token e diminui a necessidade de recálculo, o que, segundo elas, resulta em custos de token mais baixos.
A resposta da WEKA a esses três problemas no NeuralMesh é o Augmented Memory Grid , a camada de cache KV que estende a memória da GPU para o armazenamento do NeuralMesh. A WEKA afirma que ele oferece até 1000 vezes mais capacidade de memória da GPU, até 20 vezes menos tempo para o primeiro token e 10 vezes mais usuários simultâneos nas mesmas GPUs, resultados que a empresa atribui a benchmarks de produção. Esses são os números da WEKA para o NeuralMesh em geral; o anúncio da Smartbird não especifica quais componentes do NeuralMesh os clusters utilizam e não apresenta resultados medidos de utilização da GPU, consumo de energia ou custo por token.
“As empresas não querem montar infraestrutura de IA a partir de peças individuais. Elas querem uma solução completa que funcione, operada por pessoas que já fizeram isso antes”, disse a Dra. Nadia Carlsten, presidente e CEO da Smartbird. “Cada cluster de IA da Smartbird é projetado em torno dos requisitos específicos do cliente, seja ele um banco, um hospital, uma indústria ou uma agência governamental. Ao incorporar o WEKA NeuralMesh, a Smartbird oferece aos clientes uma camada de dados e memória com desempenho comprovado em grande escala.”
“A IA ativa é implacável: GPUs ociosas e pipelines travados impactam diretamente o balanço financeiro. As empresas foram informadas de que a solução seria uma troca entre desempenho e soberania, mas isso sempre foi uma falha de infraestrutura, não uma lei da física”, disse Liran Zvibel, cofundador e CEO da WEKA. “O WEKA NeuralMesh acaba com essa troca. A Smartbird o entrega como clusters dedicados que os clientes não precisam construir ou operar. Juntos, estamos oferecendo às indústrias regulamentadas IA de produção que funciona em velocidade máxima, em infraestrutura que somente elas utilizam, com mais produção por GPU, por watt e por dólar.”
Infraestrutura dedicada e operações gerenciadas
A Smartbird opera toda a pilha de tecnologia, abrangendo instalações, computação, redes, infraestrutura de dados e orquestração de dados, de modo que o cliente tenha um único parceiro responsável e não precise integrar fornecedores nem acompanhar múltiplos ciclos de lançamento de hardware. Cada cluster é mapeado individualmente para seu cliente, e as empresas afirmam que a infraestrutura totalmente dedicada proporciona o isolamento, a criptografia e a auditabilidade exigidos pelas cargas de trabalho dos setores governamental, de saúde e de serviços financeiros. As empresas não divulgaram informações sobre jurisdições de implantação, implementação de criptografia ou certificações de conformidade.
Embora as empresas descrevam a plataforma como pronta para produção desde o primeiro dia, não há data de disponibilidade geral, nenhum cliente nomeado e os sites da Smartbird ainda estavam em desenvolvimento na época da mudança de nome em junho. O próprio NeuralMesh é o produto comercializado na parceria: a WEKA o disponibilizou ao público em março e o migrou para o NeuralMesh 6 multilocatário em julho, com um acordo paralelo que o coloca sob a responsabilidade dos mais de 50 fornecedores de GPUs da Andromeda.
Amazon