A Microsoft apresentou o Maia 200, um novo acelerador de inferência personalizado projetado para melhorar a economia da geração de tokens de IA em larga escala. Posicionado como a primeira plataforma de silício e sistema da empresa otimizada especificamente para inferência de IA.
A Microsoft define a inferência de IA em torno de uma "fronteira eficiente" que equilibra capacidade e precisão com custo, latência e energia. Na prática, essa fronteira varia de acordo com a carga de trabalho: os copilotos interativos priorizam baixa latência, o resumo em lote e a busca enfatizam a taxa de transferência por dólar investido, e o raciocínio avançado exige desempenho sustentado em longas janelas de contexto e execução em várias etapas. A mensagem da Microsoft é que a infraestrutura não pode mais ser única para todos e que o Azure precisa de um portfólio de opções de serviço ajustadas a diferentes perfis de inferência.
Microsoft Maia Rack
A Microsoft afirma que o Maia reflete uma abordagem de pilha completa que abrange software, silício, sistemas e data centers, e alega uma melhoria de 30% no desempenho por dólar em comparação com o hardware de última geração atualmente implantado em sua frota. A empresa posiciona esse design integrado como uma vantagem fundamental à medida que os aplicativos de agentes se tornam mais complexos e mais amplamente adotados.
Servidor Blade Microsoft Maia 200
Maia 200: Principais características arquitetônicas e especificações de pico
Maia foi construída em torno da execução de precisão estreita, uma hierarquia de memória projetada para reduzir o tráfego fora do chip e um design de escalonamento Ethernet destinado a manter a inferência multi-acelerador eficiente.
A Microsoft destaca diversas especificações e pontos de design de alto desempenho. A Maia utiliza caminhos de dados de precisão estreita otimizados no processo N3 da TSMC e atinge um pico de 10.1 PetaOPS FP4. A Microsoft está apostando no FP4 como o formato de inferência mais econômico, visando obter um maior número de tokens por dólar e por watt.
A memória é um tema importante. O Maia combina 272 MB de SRAM integrada com 216 GB de HBM3e, e a Microsoft anuncia uma largura de banda de HBM de 7 TB/s. O objetivo é manter os conjuntos de dados críticos locais, reduzir a demanda por largura de banda da HBM por meio de maior localidade e melhorar a eficiência energética minimizando a movimentação de dados para fora do chip.
Para movimentação de dados, o Maia combina um subsistema DMA multinível com uma rede em chip hierárquica para manter um desempenho previsível em cargas de trabalho heterogêneas e com uso intensivo de memória. A Microsoft está enfatizando a sobreposição entre movimentação de dados e computação, bem como o suporte estruturado para layouts compatíveis com tensores.
Para escalabilidade, o Maia integra uma placa de rede (NIC) no chip e uma interconexão baseada em Ethernet com largura de banda bidirecional de 2.8 TB/s. A Microsoft afirma que o design suporta um domínio de escalabilidade de dois níveis com até 6,144 aceleradores, visando comunicação de alta largura de banda e baixa latência para grandes clusters de inferência.
Microarquitetura baseada em blocos e clusters
O design computacional do Maia é organizado hierarquicamente. A menor unidade é um bloco que combina uma Unidade de Tensor de Bloco (TTU) para operações matriciais e convoluções com um Processador Vetorial de Bloco (TVP), posicionado como um mecanismo SIMD programável. Cada bloco é alimentado por SRAM de bloco multibanco (TSRAM) e usa um mecanismo DMA em nível de bloco para mover dados sem interromper o pipeline de computação. Um processador de controle leve orquestra a emissão de tarefas, com semáforos de hardware destinados a fornecer sincronização precisa entre movimentação e computação.
Os blocos são agrupados em clusters, que adicionam localidade compartilhada por meio de SRAM de cluster (CSRAM) e introduzem uma segunda camada DMA para armazenar dados entre a CSRAM e a HBM co-empacotada. A Microsoft também destaca a redundância para blocos e SRAM para melhorar o rendimento e a capacidade de fabricação, mantendo o modelo de programação consistente.
Foco de precisão estreita: FP4 e precisão mista
A Microsoft está apostando fortemente na precisão estreita como alavanca para a eficiência de inferência, citando resultados da indústria que demonstram que o FP4 pode preservar a precisão da inferência enquanto reduz os custos de computação e memória. O TTU da Maia é otimizado para FP8, FP6 e FP4, e suporta modos de precisão mista, como ativações FP8 multiplicadas por pesos FP4. O TVP suporta FP8 juntamente com BF16, FP16 e FP32 para operadores que se beneficiam de maior precisão. Um reformatador integrado converte formatos de baixa precisão em velocidade de linha para evitar gargalos durante a computação.
A Microsoft afirma que a taxa de transferência do FP4 no Maia é o dobro da do FP8 e oito vezes maior que a do BF16, posicionando a arquitetura para um maior número de tokens por segundo e um desempenho mais robusto por watt em implantações com uso intensivo de inferência.
Subsistema de memória otimizado para localidade e determinismo.
A SRAM integrada do Maia é dividida em pools de nível de cluster e de nível de bloco, e ambos os níveis são totalmente gerenciados por software. A Microsoft está posicionando isso como um controle determinístico sobre o posicionamento e a localidade, seja diretamente pelos desenvolvedores ou por meio de decisões do compilador e do ambiente de execução.
A empresa descreve vários padrões pretendidos: os kernels GEMM podem reter blocos intermediários na TSRAM para evitar viagens de ida e volta à HBM; os kernels de atenção podem fixar tensores-chave e produtos parciais localmente para reduzir a sobrecarga de movimentação; e a comunicação coletiva pode armazenar em buffer cargas úteis na CSRAM enquanto a acumulação ocorre na TSRAM para evitar a sobrecarga da HBM durante operações com múltiplos nós. A Microsoft também destaca a CSRAM como um buffer transitório para pipelines entre kernels, visando reduzir as paralisações em cadeias de operadores densas e cargas de trabalho fundidas.
Movimentação de dados: NoC personalizado com DMA em várias camadas
A visão da Microsoft é que o desempenho da inferência é frequentemente limitado pela movimentação de dados, e não pela taxa de transferência matemática máxima. Por isso, o Maia investe fortemente em transferências previsíveis e sinalização de controle de baixa latência. A interconexão no chip é descrita como uma malha que abrange clusters, blocos, controladores de memória e unidades de E/S, com planos lógicos separados para tráfego de tensores de alta largura de banda e tráfego de controle sensível à latência. Essa divisão visa impedir que a sincronização, as interrupções e as mensagens pequenas sejam bloqueadas por transferências em massa.
A Microsoft também cita a transmissão hierárquica para reduzir leituras redundantes da HBM, o tráfego de cluster localizado para manter a movimentação frequente dentro do cluster, o acesso à SRAM de bloco para bloco para compartilhamento intra-cluster sem a necessidade de utilizar a HBM e mecanismos de QoS para priorizar o tráfego urgente de controle e saída. Os mecanismos de DMA são organizados em camadas, abrangendo funções de bloco, cluster e rede, permitindo transferências simultâneas entre camadas de memória e links externos enquanto a computação continua.
Escalabilidade de redes: NIC integrada, Ethernet e ATL
Para inferência com múltiplos aceleradores, o Maia utiliza uma NIC integrada e uma estrutura de expansão baseada em Ethernet, construída em torno da Camada de Transporte de IA (ATL) da Microsoft. A Microsoft afirma que a ATL opera de ponta a ponta sobre Ethernet padrão e foi projetada para funcionar com switches de diversos fornecedores, adicionando recursos de transporte como distribuição de pacotes, roteamento multipath e controle de fluxo resistente a congestionamento.
A Microsoft também descreve uma escolha de topologia destinada a reduzir a dependência de switches externos para tráfego local de tensores paralelos. O Fully Connected Quad (FCQ) da empresa agrupa quatro aceleradores com links diretos, mantendo coletivos locais de alta intensidade fora da estrutura de comutação. Uma segunda camada então escala além do domínio FCQ para clusters maiores, que a Microsoft posiciona como "de tamanho ideal" para padrões de sincronização de inferência em comparação com o comportamento de "todos para todos" típico de treinamento.
No que diz respeito ao software para operações coletivas, a Microsoft destaca a Microsoft Collective Communication Library (MCCL), projetada em conjunto com o hardware para melhorar a eficiência de escalabilidade. A empresa aponta para a sobreposição de computação e E/S, coletivos hierárquicos, seleção dinâmica de algoritmos e agendamento em pipeline para ocultar a latência e reduzir a pressão na rede.
Modelo de integração e implantação do Azure
A Microsoft está promovendo o Maia como nativo do Azure, em vez de um acelerador independente. Ele foi projetado para se alinhar aos padrões de rack, energia e mecânica do Azure usados em sistemas de GPU de terceiros, simplificando a implantação e a manutenção e permitindo frotas heterogêneas de aceleradores na mesma infraestrutura de data center.
O Maia também foi projetado para ambientes com refrigeração a ar e a líquido, incluindo uma opção de refrigeração líquida de segunda geração para racks de alta densidade. Operacionalmente, a plataforma se integra ao plano de controle do Azure para gerenciamento de ciclo de vida, monitoramento de integridade, implantação de firmware e fluxos de trabalho de frota, visando reduzir o impacto nos serviços durante atualizações e manutenções.
A Microsoft afirma que o Maia fará parte de sua infraestrutura de IA heterogênea, suportando múltiplos modelos, incluindo os mais recentes modelos GPT-5.2 da OpenAI, e será usado para impulsionar cargas de trabalho de IA no Microsoft Foundry e no Microsoft 365 Copilot. A empresa enfatiza que as cargas de trabalho podem ser agendadas, particionadas e monitoradas usando as mesmas ferramentas das frotas de GPUs do Azure, visando portabilidade e a capacidade de otimizar o desempenho por dólar, a latência ou a capacidade sem a necessidade de retrabalhar a orquestração.
Conjunto de ferramentas de desenvolvimento: SDK Maia 200, caminho Triton e controle de baixo nível.
A Microsoft descreve um SDK Maia 200 que suporta pontos de entrada familiares, como o PyTorch, ao mesmo tempo que oferece múltiplos níveis de controle. As opções incluem um caminho de compilador Maia Triton para geração de kernel, bibliotecas de kernel otimizadas para a arquitetura baseada em blocos e clusters, e a Linguagem Paralela Aninhada (NPL) da Microsoft para gerenciamento explícito de movimentação de dados, alocação de SRAM e execução paralela.
O SDK também inclui um simulador, um pipeline de compilação, um profiler, um depurador e ferramentas de quantização e validação. A Microsoft posiciona isso como uma forma de prototipar e otimizar o desempenho desde o início, diagnosticar gargalos e impulsionar uma maior utilização em toda a pilha.
Ponto final
A Microsoft está posicionando o Maia 200 como uma plataforma de inferência desenvolvida especificamente para otimizar o custo por token e por watt, com ênfase arquitetônica em computação de alta precisão, localidade de SRAM gerenciada por software e uma estrutura de escalonamento baseada em Ethernet integrada diretamente no chip. A principal alegação da empresa é uma melhoria de 30% no desempenho por dólar em comparação com o hardware atual, obtida por meio de otimização coordenada em silício, rede, sistemas e operações do Azure.
Amazon