Maia 200 signalisiert Microsofts Bestrebungen hin zu maßgeschneiderten Chips für KI-Inferenz.

Microsoft hat Maia 200 vorgestellt, einen neuen, speziell für KI-Inferenz entwickelten Beschleuniger, der die Wirtschaftlichkeit der KI-Token-Generierung im großen Maßstab verbessern soll. Er positioniert sich als die erste Silizium- und Systemplattform des Unternehmens, die speziell für KI-Inferenz optimiert wurde.

Microsoft beschreibt KI-Inferenz als eine Art „Effizienzgrenze“, die Leistungsfähigkeit und Genauigkeit mit Kosten, Latenz und Energieverbrauch in Einklang bringt. In der Praxis variiert diese Grenze je nach Arbeitslast: Interaktive Copiloten priorisieren geringe Latenz, Batch-Zusammenfassung und Suche legen Wert auf Durchsatz pro Euro, und fortgeschrittene Schlussfolgerungen erfordern dauerhafte Leistung bei langen Kontextfenstern und mehrstufiger Ausführung. Microsofts Botschaft lautet: Infrastruktur kann nicht länger einheitlich sein, und Azure benötigt ein Portfolio an Bereitstellungsoptionen, die auf unterschiedliche Inferenzprofile abgestimmt sind.

Microsoft zufolge spiegelt Maia einen ganzheitlichen Ansatz wider, der Software, Silizium, Systeme und Rechenzentren umfasst, und verspricht eine 30%ige Leistungssteigerung pro investiertem Dollar im Vergleich zur aktuell im Einsatz befindlichen Hardware der neuesten Generation. Das Unternehmen positioniert dieses integrierte Design als grundlegenden Wettbewerbsvorteil, da agentenbasierte Anwendungen immer komplexer und verbreiteter werden.

Maia 200: Wichtigste architektonische Merkmale und Spitzenleistung

Maia basiert auf einer Ausführung mit enger Präzision, einer Speicherhierarchie zur Reduzierung des Datenverkehrs außerhalb des Chips und einem Ethernet-Scale-Up-Design, das die Inferenz mehrerer Beschleuniger effizient gestalten soll.

Microsoft hebt mehrere Spitzenspezifikationen und Designmerkmale hervor. Maia nutzt optimierte Datenpfade mit geringer Präzision im N3-Prozess von TSMC und erreicht eine Spitzenleistung von 10.1 PetaOPS (FP4). Microsoft setzt auf FP4 als kosteneffizientes Inferenzformat und strebt eine höhere Ausbeute pro Dollar und Watt an.

Der Speicher spielt eine zentrale Rolle. Maia kombiniert 272 MB On-Die-SRAM mit 216 GB HBM3e, und Microsoft gibt eine HBM-Bandbreite von 7 TB/s an. Ziel ist es, kritische Arbeitssätze lokal zu halten, den HBM-Bandbreitenbedarf durch bessere Lokalität zu reduzieren und die Energieeffizienz durch Minimierung von Datenbewegungen außerhalb des Chips zu verbessern.

Für den Datentransfer kombiniert Maia ein mehrstufiges DMA-Subsystem mit einem hierarchischen Network-on-Chip, um eine vorhersehbare Leistung bei heterogenen, speicherintensiven Workloads zu gewährleisten. Microsoft legt Wert auf die Überschneidung von Datentransfer und Rechenleistung sowie auf die strukturierte Unterstützung tensorfreundlicher Layouts.

Für die Skalierung integriert Maia eine On-Die-Netzwerkschnittstelle (NIC) und eine Ethernet-basierte Verbindung mit einer bidirektionalen Bandbreite von 2.8 TB/s. Laut Microsoft unterstützt das Design eine zweistufige Skalierungsdomäne mit bis zu 6,144 Beschleunigern und zielt auf eine Kommunikation mit hoher Bandbreite und geringer Latenz für große Inferenzcluster ab.

Kachel- und clusterbasierte Mikroarchitektur

Maias Rechenarchitektur ist hierarchisch aufgebaut. Die kleinste Einheit ist ein Tile, das eine Tile Tensor Unit (TTU) für Matrixoperationen und Faltungen mit einem Tile Vector Processor (TVP) kombiniert, der als programmierbare SIMD-Engine fungiert. Jedes Tile wird von Multi-Banked Tile SRAM (TSRAM) gespeist und nutzt eine Tile-Level-DMA-Engine, um Daten zu übertragen, ohne die Rechenpipeline zu blockieren. Ein schlanker Steuerungsprozessor orchestriert die Arbeitsverteilung, wobei Hardware-Semaphore eine präzise Synchronisierung zwischen Bewegung und Berechnung gewährleisten.

Die Tiles gruppieren sich zu Clustern, die durch Cluster-SRAM (CSRAM) eine gemeinsame Datenlokalität schaffen und eine zweite DMA-Ebene einführen, um Daten zwischen CSRAM und dem mitgelieferten HBM zu puffern. Microsoft weist außerdem auf die Redundanz von Tiles und SRAM hin, die die Ausbeute und Herstellbarkeit verbessert und gleichzeitig das Programmiermodell konsistent hält.

Schmaler Präzisionsfokus: FP4 und gemischte Präzision

Microsoft setzt stark auf geringe Präzision als Hebel für effiziente Inferenz und verweist auf Branchenergebnisse, die zeigen, dass FP4 die Inferenzgenauigkeit beibehält und gleichzeitig Rechen- und Speicherkosten senkt. Maias TTU ist für FP8, FP6 und FP4 optimiert und unterstützt gemischte Präzisionsmodi, wie z. B. FP8-Aktivierungen multipliziert mit FP4-Gewichten. Die TVP unterstützt neben FP8 auch BF16, FP16 und FP32 für Operatoren, die von höherer Präzision profitieren. Ein integrierter Reshaper wandelt niedrigpräzise Formate mit Zeilenrate um, um Engpässe bei der Berechnung zu vermeiden.

Microsoft behauptet, der FP4-Durchsatz von Maia sei doppelt so hoch wie der von FP8 und achtmal so hoch wie der von BF16, wodurch sich die Architektur für höhere Token pro Sekunde und eine stärkere Leistung pro Watt in inferenzintensiven Umgebungen rüstet.

Speichersubsystem, optimiert für Lokalität und Determinismus

Der On-Die-SRAM von Maia ist in Cluster- und Tile-Level-Pools unterteilt, und beide Ebenen werden vollständig softwaregesteuert verwaltet. Microsoft positioniert dies als deterministische Kontrolle über Platzierung und Lokalität, entweder direkt durch Entwickler oder über Compiler- und Laufzeitentscheidungen.

Das Unternehmen beschreibt mehrere geplante Muster: GEMM-Kernel können Zwischenspeicher in TSRAM speichern, um Roundtrips zu HBM zu vermeiden; Aufmerksamkeitskernel können Schlüsseltensoren und Teilprodukte lokal fixieren, um den Übertragungsaufwand zu reduzieren; und kollektive Kommunikation kann Nutzdaten in CSRAM puffern, während die Akkumulation in TSRAM erfolgt, um den HBM-Druck bei Operationen mit mehreren Knoten zu vermeiden. Microsoft hebt CSRAM außerdem als temporären Puffer für Kernel-übergreifende Pipelines hervor, um Verzögerungen in dichten Operatorketten und zusammengeführten Workloads zu reduzieren.

Datenübertragung: Kundenspezifisches NoC plus mehrstufiger DMA

Microsoft ist der Ansicht, dass die Inferenzleistung häufiger durch Datenbewegungen als durch den maximalen mathematischen Durchsatz begrenzt wird. Daher investiert Maia stark in vorhersagbare Übertragungen und latenzarme Steuersignale. Die On-Chip-Verbindung wird als Mesh beschrieben, das Cluster, Tiles, Speichercontroller und I/O-Einheiten umfasst und separate logische Ebenen für Tensor-Datenverkehr mit hoher Bandbreite und latenzempfindlichen Steuerdatenverkehr aufweist. Diese Trennung soll verhindern, dass Synchronisierung, Interrupts und kleine Nachrichten durch große Datenmengen blockiert werden.

Microsoft nennt außerdem hierarchisches Broadcasting zur Reduzierung redundanter HBM-Lesezugriffe, lokalisierten Cluster-Datenverkehr zur Begrenzung von Hot Movement innerhalb des Clusters, SRAM-Zugriff von Kachel zu Kachel für die gemeinsame Nutzung innerhalb des Clusters ohne HBM-Bezug sowie QoS-Mechanismen zur Priorisierung dringender Steuerungs- und Ausgabedaten. DMA-Engines sind über Kachel-, Cluster- und Netzwerkrollen hinweg gestaffelt und ermöglichen so gleichzeitige Übertragungen über Speicherebenen und externe Verbindungen hinweg, während die Berechnungen fortgesetzt werden.

Scale-up-Netzwerke: On-Die-NIC, Ethernet und ATL

Für die Multi-Accelerator-Inferenz nutzt Maia eine integrierte Netzwerkkarte und ein Ethernet-basiertes Scale-up-Fabric, das auf Microsofts AI Transport Layer (ATL) aufbaut. Laut Microsoft läuft ATL durchgängig über Standard-Ethernet und ist für die Verwendung mit handelsüblichen Switches verschiedener Hersteller konzipiert. Zusätzlich bietet es Transportfunktionen wie Packet Spraying, Multipath-Routing und stauresistente Flusssteuerung.

Microsoft beschreibt außerdem eine Topologie, die die Abhängigkeit von externen Switches für lokalen Tensor-Parallel-Datenverkehr reduzieren soll. Das Fully Connected Quad (FCQ) des Unternehmens gruppiert vier Beschleuniger mit direkten Verbindungen und hält so hochintensive lokale Kollektive vom Switching-Fabric fern. Eine zweite Ebene skaliert dann über den FCQ-Bereich hinaus zu größeren Clustern, die laut Microsoft für Inferenz-Synchronisierungsmuster im Vergleich zum All-to-All-Verhalten beim Training optimal dimensioniert sind.

Im Softwarebereich kollektiver Operationen hebt Microsoft die Microsoft Collective Communication Library (MCCL) hervor, die gemeinsam mit der Hardware entwickelt wurde, um die Skalierbarkeit zu verbessern. Das Unternehmen verweist auf die Überlappung von Rechen- und E/A-Operationen, hierarchische Kollektive, dynamische Algorithmenauswahl und Pipeline-Scheduling, um Latenzzeiten zu minimieren und die Netzwerklast zu reduzieren.

Azure-Integrations- und Bereitstellungsmodell

Microsoft positioniert Maia als Azure-native Lösung und nicht als eigenständigen Beschleuniger. Es ist so konzipiert, dass es mit den Rack-, Stromversorgungs- und mechanischen Standards von Azure kompatibel ist, die für GPU-Systeme von Drittanbietern gelten. Dies vereinfacht die Bereitstellung und Wartung und ermöglicht den Betrieb heterogener Beschleunigerflotten im selben Rechenzentrum.

Maia ist sowohl für luft- als auch flüssigkeitsgekühlte Umgebungen geeignet und bietet optional eine Flüssigkeitskühlung der zweiten Generation für Racks mit hoher Packungsdichte. Die Plattform integriert sich in die Azure-Steuerungsebene für Lebenszyklusmanagement, Zustandsüberwachung, Firmware-Rollouts und Flotten-Workflows, um die Auswirkungen auf den Service während Upgrades und Wartungsarbeiten zu minimieren.

Microsoft zufolge wird Maia Teil seiner heterogenen KI-Infrastruktur sein und mehrere Modelle unterstützen, darunter die neuesten GPT-5.2-Modelle von OpenAI. Maia wird zur Ausführung von KI-Workloads in Microsoft Foundry und Microsoft 365 Copilot eingesetzt. Das Unternehmen betont, dass Workloads mit denselben Tools wie die GPU-Flotten von Azure geplant, partitioniert und überwacht werden können. Ziel ist es, Portabilität zu gewährleisten und die Leistung pro Dollar, die Latenz oder die Kapazität zu optimieren, ohne die Orchestrierung anpassen zu müssen.

Entwickler-Toolchain: Maia 200 SDK, Triton-Pfad und Low-Level-Steuerung

Microsoft beschreibt ein Maia 200 SDK, das vertraute Einstiegspunkte wie PyTorch unterstützt und gleichzeitig vielfältige Kontrollmöglichkeiten bietet. Zu den Optionen gehören ein Maia Triton Compilerpfad für die Kernelgenerierung, optimierte Kernelbibliotheken für die kachel- und clusterbasierte Architektur sowie Microsofts Nested Parallel Language (NPL) zur expliziten Verwaltung von Datenbewegungen, SRAM-Platzierung und paralleler Ausführung.

Das SDK umfasst außerdem einen Simulator, eine Compiler-Pipeline, einen Profiler, einen Debugger sowie Werkzeuge zur Quantisierung und Validierung. Microsoft positioniert es als Möglichkeit, frühzeitig Prototypen zu entwickeln und die Leistung zu optimieren, Engpässe zu diagnostizieren und eine höhere Auslastung des gesamten Stacks zu erreichen.

Endeffekt

Microsoft positioniert Maia 200 als speziell entwickelte Inferenzplattform mit Fokus auf optimale Leistung pro Dollar und Watt. Die Architektur legt besonderen Wert auf hochpräzise Berechnungen, softwaregesteuerte SRAM-Lokalität und eine direkt in den Chip integrierte, Ethernet-basierte Scale-up-Architektur. Das Unternehmen verspricht eine 30%ige Leistungssteigerung pro Dollar im Vergleich zu aktueller Hardware, erreicht durch eine koordinierte Optimierung von Silizium, Netzwerk, Systemen und Azure-Betrieb.