Microsoft Maia 300 umisťuje 288 GB HBM4 s rychlostí 18 TB/s na čipsetu N2P a 96 akcelerátorů v racku s výkonem 167 kW.

Společnost Microsoft dnes na summitu OCP Global Summit představila Azure Maia 300, třetí generaci svého interního inferenčního akcelerátoru a první, který byl postaven jako multičipletová součástka. Každý akcelerátor spojuje výpočetní čip TSMC N2P s osmi zásobníky HBM4, což zajišťuje 288 GB paměti s rychlostí 18 TB/s v rámci 950W TDP, a rack Maia 300 jich pojme 96 v racku s výkonem 167 kW. Společnost Microsoft uvádí o 40 % více tokenů na megawatt než přední systémy založené na GPU a až 7násobnou propustnost tokenů v racku oproti Maia 200. Produkční nasazení začne v roce 2027 v rámci toho, co Microsoft popisuje jako multigigawattové nasazení Maia.

Maia 300 Silicon: Výpočetní čip N2P, osm HBM4 stacků, 32 portů 400G

Maia 200 byla monolitická matrice N3P se šesti stacky HBM3E. Maia 300 dělí konstrukci na hlavní výpočetní matricu na N2P, dvě matice I/O a čtyři matice paměti, přičemž osm stacků HBM4 má kapacitu z 216 GB na 288 GB a šířku pásma ze 7.1 TB/s na 18 TB/s. Špičková výpočetní rychlost se pohybuje méně: 13.8 POPS v FP4 a 6.9 POPS v FP8, což je nárůst oproti 10.1 a 5.1, takže generace představuje 37% nárůst výpočetního výkonu v FP4 oproti 2.5násobnému nárůstu šířky pásma paměti. Microsoft uvádí, že čip má 2.5násobnou šířku pásma, o 33 % větší kapacitu a přibližně 2násobnou šířku pásma HBM na watt oproti Maia 200.

Výpočetní strana je organizována jako čtyři klastry po 12 dlaždicích, přičemž každá dlaždice obsahuje tenzorovou jednotku, vektorový procesor, transformátor, DMA engine a lokální SRAM, nad ní je sdílená klastrová SRAM a síť-on-chip. Microsoft tento přístup nazývá softwarově definovanou architekturou toku dat: software umisťuje data mezi tyto lokální paměti, DMA enginy a síť. SoC zpřístupňuje PCIe Gen6 x16 hostiteli a 32 portům 400Gb/s Ethernetu prostřednictvím síťového řadiče s umělou inteligencí na čipu, který představuje škálovatelnou strukturu.

U Maia 300 se organizace paměti přesouvá z jednotného přístupu na rozložení NUMA napříč čipy, takže data lze umístit v blízkosti výpočetního zařízení, které je používá, a přesnost dále klesá díky vylepšené MXFP4 a hardwarové konverzi datových typů, jejichž cílem je snížit počet bajtů přesouvaných na token jak pro výpočetní, tak pro mezipaměť KV. Jádra mohou také používat paměť SRAM přímo na čipu jako softwarově spravovaný zápisník, aby se provoz udržel mimo HBM. Microsoft připisuje nárůst na watt těmto změnám, protože TDP se zvýšilo ze 750 W na 950 W, zatímco společnost uvádí více než 2.5násobný výkon na watt.

96 akcelerátorů na stojan, 12 288 v Superpodu

Rack Maia 300 zdvojnásobuje počet akcelerátorů na 96 a zvyšuje výkon racku z 64 kW na 167 kW, což odpovídá přibližně 1.74 kW na slot akcelerátoru včetně sítě, chlazení a převodu energie. Podle údajů společnosti Microsoft to v celém racku představuje 27.6 TB HBM, celkovou šířku pásma HBM 1 728 TB/s a 1 324 POPS FP4, oproti 10.4 TB, 341 TB/s a 485 POPS u racku Maia 200. Obousměrná šířka pásma pro škálování na akcelerátor se zvyšuje z 2.8 TB/s na 3.2 TB/s a dvouvrstvá škálovatelná ethernetová síť s vlastním transportem s umělou inteligencí od společnosti Microsoft nyní dosahuje superpodu s 12 288 akcelerátory, což je dvojnásobek oproti zhruba 6 000 u předchozí generace.

Schéma racků od společnosti Microsoft zobrazuje úlohy rozdělené napříč racky v rámci škálovatelné sítě Fabric s paralelním provozem expertů mezi shardy, což je vzorec provozu, který generují velké modely se smíšenými experty v době obsluhy. Společnost uvádí, že stejný komunikační model pokrývá jakýkoli akcelerátor v superpodu, takže úloha se 16 akcelerátory a úloha zahrnující čtyři racky používají stejnou sémantiku.

Specifikace Maia 300

Kam se hodí Maia 300 a na čem spočívají tvrzení

Maia 200 je nyní v produkčním prostředí za Microsoft Copilotem a modelovacím týmem MAI. GitHub Copilot a Microsoft Foundry na ni přejdou do konce roku. Microsoft uvádí, že ji nasazují ve Spojených státech, Evropě a Austrálii s až 1.7krát více tokenů na watt než má jeho infrastruktura GPU pro vestavěné funkce umělé inteligence v Teams, Copilotu a Coworku.

„Od roku 2027 budeme škálovat naši rodinu Azure Maia na nasazení s více gigawattovými kapacitami, čímž se Maia stane primárním inferenčním systémem pro produkty a služby společnosti Microsoft,“ napsal Scott Guthrie, výkonný viceprezident divize Cloud + AI, při oznámení Maia 300. NVIDIA a AMD zůstávají v trénovací flotile Microsoftu a společnost nenabídla Maia jako typ instance, který si zákazníci Azure mohou pronajmout. Hlavní tvrzení o efektivitě, o 40 % více tokenů na megawatt než přední systémy založené na GPU, neuvádí GPU, model ani konfiguraci obsluhy a protože Maia běží pouze v rámci Microsoftu, nikdo mimo společnost ji nemůže testovat.

Zveřejněné specifikace návrh podporují: šířka pásma paměti na akcelerátor se zvýšila 2.5krát, zatímco výpočetní výkon FP4 se zvýšil o 37 % a rack nabízí 5.1krát větší šířku pásma HBM než rack Maia 200 s 2.6krát vyšším výkonem. Jedná se o čip vyrobený pro dekódovací fázi dlouhodobé kontextové a agentní inference, kde úzkým hrdlem je napájení aritmetických jednotek, a ukazuje, jak hyperscaler dimenzuje inferenční část, když vlastní celou pracovní zátěž od začátku do konce. O spuštění Maia 200 jsme se bavili v lednu a Microsoft uvádí, že více podrobností se dozvíte na listopadové konferenci Ignite.

Azurová Maia 300