Společnost AMD uspořádala svou dosud největší akci Advancing AI, s důrazem na škálování jako ústřední téma. Společnost představila grafický procesor Instinct MI455X, rack Helios s 72 GPU a procesory EPYC Venice 6. generace. MI455X disponuje 432 GB paměti HBM4, což je o 50 % více než u B300 nebo Rubin od NVIDIA, s paměťovou propustností 23.3 TB/s a výpočetním výkonem MXFP4 až 40.26 PFLOPS. Kompletní rack Helios škáluje tato čísla o 72násobek, čímž dosahuje 2.9 exaFLOPS FP4, 31 TB paměti HBM4, paměťové propustnosti 1.7 PB/s, šířky pásma pro škálování 260 TB/s a šířky pásma pro škálování 43 TB/s do datového centra. AMD se snaží být lídrem v oboru napříč všemi metrikami. Tento článek zkoumá MI455X a Helios; uvedení Venice je věnováno samostatné analýze.

Druhým tématem je otevřenost, která zasahuje každou vrstvu, počínaje propojením. Uvnitř racku sdílí všech 72 GPU paměť přes UALink, otevřenou konsorciální strukturu, kterou AMD provozuje na Ethernetu jako UALink-over-Ethernet (UAloE). Jakmile provoz opustí rack, přesouvá se po Ultra Ethernetu, otevřeném standardu pro škálování od Ultra Ethernet Consortium. Stejný Instinct běží i na dalších úrovních zásobníku. Matematika s nízkou přesností využívá otevřené datové formáty MXFP4, MXFP6 a MXFP8 od OCP a rack, který to vše obsahuje, je postaven podle designu Open Rack Wide od Open Compute Project. Dokonce i software je vyvíjen v otevřeném prostředí, přičemž kompilátor, běhové prostředí a knihovny ROCm jsou k dispozici ve zdrojovém kódu.

Protože každá specifikace v tomto balíčku je dnes publikována a ke stažení, může hyperscaler považovat Helios za plán a vytvořit si verzi na míru vyladěnou pro vlastní zařízení a pracovní zátěž, přičemž upraví síťové prvky, napájení nebo správu tak, aby odpovídaly jeho potřebám. To znamená, že vše, čím se v tomto článku zabýváme, je referenční návrh prezentovaný společností AMD; jednotky, které zákazníci nasadí, se mohou výrazně lišit. Zájemci jsou již vybráni: AMD uvádí, že Helios zavádějí OpenAI, Meta, Anthropic, Microsoft , Oracle a další.

AMD Instinct MI455X: vlajková loď CDNA 5

MI455X je první akcelerátor CDNA 5, který obsahuje 320 miliard tranzistorů. MI455X obsahuje osm akcelerátorových komplexních čipů (XCD) postavených na uzlu N2 od TSMC, dva I/O čipy a dva čipy Fabric a Cache na uzlu N3 a dvanáct zásobníků HBM4. Jedná se o největší čip, jaký kdy byl postaven na pouzdře CoWoS-L od TSMC.

Paměť je jednou z hlavních předností. Těchto dvanáct zásobníků HBM4 má celkem 432 GB s propustností 23.3 TB/s, přičemž HBM4 zdvojnásobuje rozhraní na zásobník na 2 048 bitů a dva čipy Fabric a Cache přidávají 192 MB L2 s propustností 54 TB/s.

Ani MI455X nešetří na I/O. Nabízí 72 linek UALoE pro obousměrnou škálovatelnou šířku pásma 3.6 TB/s do zbytku racku, obousměrnou Infinity Fabric pro hostitelský procesor s rychlostí 256 GB/s a možnost výběru ze dvou linek PCIe Gen6 x16 nebo tří síťových karet AMD AI-NIC pro horizontální škálování.

V porovnání s čipem, který nahrazuje, a nabídkou NVIDIA vede MI455X ve všech metrikách.

Specifikace	AMD MI455X	NVIDIA Rubín	AMD MI355X	NVIDIA B300
Architektura	cDNA 5	Rubin	cDNA 4	Blackwell Ultra
Tranzistory	320B	336B	185B	208B
Kapacita HBM	432GB HBM4	288GB HBM4	288GB HBM3E	288GB HBM3E
Šířka pásma HBM	23.3 TB/s	22 TB/s	8 TB/s	8 TB/s
Škálování na GPU	3.6 TB/s	3.6 TB/s	1.08 TB/s	1.8 TB/s
Škálování na každý GPU	2,400 Gb / s	1,600 Gb / s	400 Gb / s	800 Gb / s
Propojení CPU-GPU	256 GB/s Infinity Fabric	1.8 TB/s C2C (1:2)	PCIe 5	900 GB/s C2C (1:2)

 

Začněme tím, kde AMD vede. S kapacitou 432 GB má MI455X o 50 % více HBM než MI355X, B300 nebo Rubin, přičemž všechny dosahují maxima 288 GB. Jeho paměťová propustnost 23.3 TB/s je také nejvyšší ve skupině. Řada horizontálně škálovatelných modelů se vychyluje stejným směrem: 2 400 Gbit/s na GPU oproti 1 600 u Rubinu a 800 u B300. Každý MI455X opouští rack s o 50 % větší síťovou propustností než jeho nejbližší konkurent.

AMD konečně dohnalo i v oblasti škálování. NVLink je již léta přední GPU fabric a po dvě generace jediný způsob, jak dosáhnout špičkového výkonu u modelů MoE s WideEP. UALoE tuto mezeru zmenšuje v jediné generaci: s rychlostí 3.6 TB/s se MI455X vyrovná Rubin NVLink 6. NVIDIA si stále drží jasný náskok v oblasti host link. Jeden procesor Vera napájí dvě GPU Rubin C2C s rychlostí přes 1.8 TB/s, zatímco každý MI455X komunikuje se svým hostitelem Venice přes link Infinity Fabric s rychlostí 256 GB/s. Tento rozdíl formuje, jak se obě rackové architektury dále v tomto článku liší.

V hrubých výpočtech vede MI455X napříč všemi parametry, s jednou poznámkou pod čarou: formáty OCP MX od AMD a NVFP4 od NVIDIA se škálují odlišně, takže je berte jako inzerované špičky; poskytovaný výkon je samostatná otázka.

Formát	AMD MI455X	NVIDIA Rubín	AMD MI355X	NVIDIA B300
MXFP4 / NVFP4	40.26 PF	35 PF	10.1 PF	15 PF
MXFP6 / FP6	20.13 PF	17.5 PF	10.1 PF	5 PF
MXFP8 / FP8	20.13 PF	17.5 PF	5 PF	5 PF
FP16 / BF16	5.03 PF	4 PF	2.5 PF	2.5 PF
FP32	315 TF	130 TF	157.3 TF	75 TF

 

V porovnání s MI355X nabízí MI455X čtyřnásobnou propustnost MXFP4 a MXFP8 a dvojnásobnou rychlost oproti FP16/BF16 a FP32. Srovnání s NVIDIA se dělí na dvě části. Oproti B300 nabízí MI455X 2.7× propustnost FP4 a čtyřnásobnou rychlost oproti FP6 a FP8. Rubin je smysluplným benchmarkem a oproti němu má MI455X konzistentní výhodu: 15 % u FP4, 15 % u FP6 a FP8 a 26 % u FP16/BF16. Největší rozdíl se objevuje u FP32, kde je TF 315 u MI455X zhruba 2.4× TF 130 u Rubinu a více než čtyřnásobek TF 75 u B300. Toto číslo pochází z HPC linie společnosti Instinct a stále je důležité pro práci s umělou inteligencí, protože hlavní váhy, vysoce přesná akumulace a vědecké pracovní zátěže i nadále překračují nízkobitové formáty.

Uvnitř CDNA 5

Pojďme se dvakrát podívat na architekturu a zjistit, co ve skutečnosti pohání tento špičkový výkon.

Z XCD na SIMD

Procházení hierarchie od pouzdra dolů ukazuje, kolik toho bylo přestavěno, protože CDNA 4 organizovala výpočetní čip velmi odlišně. Na MI355X nesl každý XCD 32 aktivních výpočetních jednotek a soukromou 4MB L2 mezipaměť, která shromažďovala provoz čipu předtím, než dosáhl Infinity Fabric. CDNA 5 si zachovává osm XCD, ale přestavuje to, co se v nich nachází, a vypůjčuje si strukturu a terminologii z grafické řady RDNA od AMD. Každý XCD MI455X se nyní dělí na dva Shader Enginey. Každý Shader Engine fyzicky obsahuje 17 Work Group Processors, přičemž 16 je aktivováno a jeden je rezervní pro zvýšení výtěžnosti. L2 procesor na XCD je zcela odstraněn, vyjmut z výpočetního čipu a uložen do základních čipů pod ním, ke kterým se vrací paměťová sekce.

Důležitá je aritmetika, která se nezměnila. XCD stále přispívá 32 aktivními jednotkami a GPU má stále celkem 256, což je stejný počet výpočetních jednotek, jaký MI355X měla. Žádné z generačních 4× zvýšení propustnosti s nízkou přesností nepochází z přidání prováděcích jednotek; vše pochází z toho, že každý WGP odvádí více práce za cyklus, a právě WGP je to, na čem se redesign soustředí.

WGP je sestaven ze čtyř 32pásmových SIMD jednotek a čtyř skalárních jednotek sdílejících konstantní mezipaměť. Největší změnou je způsob, jakým jím procházejí vlákna: přechod z Wave64 na Wave32. Vlna je svazek vláken, které SIMD běží v souladu. CDNA 4 používala Wave64 a každou 64vláknovou vlnu protlačovala 16pásmovým SIMD během čtyř hodinových cyklů. CDNA 5, jako první architektura Instinct, která tak učinila, zcela ruší podporu Wave64 a nativně spouští Wave32. 32vláknová vlna mapuje jedna k jedné na každou ze čtyř 32pásmových SIMD jednotek WGP, vydává instrukce v jednom cyklu a umožňuje každému SIMD spustit novou instrukci v každém hodinovém cyklu.

Užší a rychlejší vlny mění způsob, jakým práce probíhá ve stroji. Latence instrukcí klesá, protože vlna končí dříve. Divergence větví stojí méně, protože rozdělení typu „převzato, nebo ne“ nyní zastaví maximálně 32 vláken namísto 64. Tlak na registry se snižuje, takže více vln zůstává rezidentních, až 64 na WGP oproti polovině dříve. To dává plánovači více menších, nezávislých částí práce, za kterými může skrýt latenci paměti. Wave32 také usnadňuje mapování různých velikostí dlaždic pro tenzorové operace na hardware, což zjednodušuje vývoj jádra.

Single-cycle issue is only the start of the throughput story. The SIMDs co-execute, starting new instructions while earlier multi-cycle operations drain underneath, and packed vector instructions carry 64 threads' worth of work in a single issue, details AMD's architects confirmed in the post-briefing Q&A. The vector pipeline also gains native BF16 support and a set of new data-conversion instructions for moving tensors between formats. The transcendental units double their throughput over the MI355X and add a native tanh instruction, so the softmax and activation math inside attention keeps pace with the tensor hardware around it. That path is becoming a habit: CDNA 4 doubled the transcendental rates to accelerate attention, and CDNA 5 doubles them again.

Hierarchie paměti

Za prováděcími jednotkami se nachází hierarchie přestavěná odshora dolů a nejzřetelněji ji lze vidět úroveň po úrovni v porovnání s MI355X.

Úroveň	MI455X (CDNA 5)	MI355X (CDNA 4)
Vektorové registry	128 kB na SIMD; 1 024 na vlákno; 2× šířka pásma	128 kB na SIMD; 256 na vlákno
Místní prodejna WGP / CU	384 kB (320 kB LDS + 64 kB vektorové mezipaměti); 2× šířka pásma	192 kB (160 kB LDS + 32 kB L1)
instrukční / konstantní mezipaměť	64 kB + 16 kB na WGP	64 kB sdíleno na dvě CU + 16 kB
L2	2 × 96 MB na FCD; 54 TB/s	8 × 4 MB, jeden na XCD
Mezipaměť na straně paměti	Vyřazeno	256 MB nekonečná mezipaměť
HBM	432GB HBM4; 12 × 2 048bitové zásobníky; 23.3 TB/s	288GB HBM3E; 8 × 1 024bitové zásobníky; 8 TB/s

 

Architektura se změnila v řádcích mezipaměti. CDNA 4 používala tříúrovňový design: soukromá 4MB L2 paměť každého XCD slučovala provoz daného čipu před dosažením Infinity Fabric a sdílená 256MB Infinity Cache v I/O čipech se nacházela na straně paměti před řadiči HBM. CDNA 5 obě vrstvy odstraňuje a nahrazuje je dvěma nezávislými 96MB L2 mezipaměťmi, jednou na Fabric a Cache Die, každá vytvořená jako 96 bloků o velikosti jednoho megabajtu. Rozložení je vertikální: čtyři XCD neboli osm Shader Engines je hybridně propojeno na každém FCD, který také obsahuje šest z dvanácti lokalit HBM4, a oba FCD se setkávají v centrální Infinity Fabric uprostřed pouzdra, přičemž I/O čipy uzavírají oba konce. Kterákoli L2 může obsahovat libovolnou adresu v paměti GPU a Infinity Fabric udržuje tento pár koherentní. Uvedeným důvodem AMD je šířka pásma: jedna z těchto mezipamětí sama o sobě poskytuje 1.5násobek celkové šířky pásma oproti celé mezipaměti Infinity Cache čipu MI355X, dvojice poskytuje třikrát více a žádný z těchto přenosů nemusí překračovat hranici mezi čipy, která omezovala staré rozložení.

Mezipaměť také přebírá nové úkoly. Atomické bloky v rozsahu zařízení, které se dříve prováděly v rámci fabric, nyní běží uvnitř L2 s mnohem vyššími rychlostmi, zatímco atomické bloky v rozsahu systému zůstávají v Infinity Fabric jako dříve. Nový arbitr vysílání to doplňuje tím, že multicastuje tenzorové dlaždice každému WGP spolupracujícímu na stejné matici. Váha načtená jednou proto obslouží všechny, což zvyšuje efektivní šířku pásma čtení až 4×.

Výše uvedené úrovně se škálují tak, aby odpovídaly. Lokální úložiště na WGP se zdvojnásobuje na 384 kB, rozděleno na 320 kB LDS a 64 kB mezipaměti vektorových dat s dvojnásobnou šířkou pásma pro čtení. To je prostor pro FlashAttention k uchovávání dotazů, klíčů, hodnot a částečných redukcí na čipu namísto zápisu celé matice pozornosti. Podporuje také fúzovaná jádra MoE pro uchování stavu směrování a akumulátorů. Soubor vektorových registrů si zachovává kapacitu 128 kB na SIMD, ale je reorganizován pro Wave32. To má za následek dvojnásobný počet vln, umožňuje jednomu vláknu adresovat 1 024 registrů místo 256 a zdvojnásobuje šířku pásma registrů pro napájení širších SIMD a jejich jednotek pro společné provádění.

Skalární strana je přestavěna tak, aby odpovídala 128 skalárním registrům na vlnu a 32 kB na WGP. V základu se HBM4 přesouvá z osmi 1 024bitových vrstvených zásobníků na dvanáct 2 048bitových vrstvených zásobníků, čímž se kapacita zvýší o 50 % na 432 GB a šířka pásma se zvýší o 2.9× na 23.3 TB/s přes 192kanálové rozhraní.

To vše zajišťuje nový Tensor Data Mover, jeden na WGP, který rozumí schématům tenzorových dlaždic až do pěti dimenzí a asynchronně streamuje dlaždice mezi DRAM a lokálním úložištěm bez mezilehlých registrů. Přenosy jsou popsány deskriptory načtenými ze skalárních registrů a hardwarově kontrolovanými hranicemi pro zabezpečení. Jsou podporovány multicastové zátěže, takže jednotky SIMD se nikdy nezastaví při čekání na kopírování nebo vypalování registrů, které je přidávají. Je to odpověď CDNA 5 na akcelerátory tenzorové paměti v nedávných produktech NVIDIA. Přední část stroje doplňuje sada funkcí využití: clustery pracovních skupin dávají jádrům explicitní kontrolu nad umístěním a souběžností pro úlohy sdílení dat, rozdělené a pojmenované bariéry umožňují producentovi signalizovat dokončení a pokračovat bez čekání na odpověď spotřebitele, předběžné načítání na každé úrovni hierarchie připravuje data k jejich bodu spotřeby a přepracovaný příkazový front-end zkracuje latenci spouštění a odesílání jádra u krátkých jader, která dominují inferenci.

Systém DMA byl přestavěn na stejné filozofii. Software plánuje přenosy proti front-endům DMA, zatímco fyzicky vědomé back-endy, které se nacházejí vedle linek UALoE, rozdělují jednotlivé pracovní položky, vyrovnávají jejich zátěž mezi všemi dostupnými linkami a stahují buffery z paměti přímo ven, místo aby přenášely data přes čip do vzdáleného enginu. Back-endy také reagují na protitlak přetížení ze strany škálovatelné sítě a vyhýbají se zatíženým cestám, takže komunikační knihovny dostávají vyvážený provoz v rámci fabric, aniž by chápaly topologii, která se za nimi skrývá.

Dělení GPU: NPS a SR-IOV

Dvouúrovňové fyzické rozložení L2 přináší druhou výhodu v rozdělení GPU. V NPS1 je celý čip jednou doménou NUMA: adresy se prokládají napříč všemi dvanácti HBM stacky a oběma polovinami pro rovnoměrnou šířku pásma, snadný režim pro portování a rovnoměrně rozložené přístupové vzory. NPS2 rozděluje GPU na dvě domény NUMA, z nichž každá vlastní šest HBM stacků, jeden Fabric a Cache Die a XCD naskládané na něm. Každý odkaz na paměť pak zůstává ve své vlastní polovině a každá doména efektivně získává soukromých 96MB L2. To více než jen zkracuje fyzickou cestu. Bez sdílených linek mezi polovinami koherenční provoz Infinity Fabric mezi oběma L2 do značné míry mizí a AMD uvádí, že výsledkem je nižší latence a lepší efektivita pro aplikace podporující NUMA. CDNA 4 nabídla stejnou širokou výměnu, přičemž NPS2 udržovala provoz uvnitř jednoho I/O die, ale CDNA 5 ji zostřuje, protože lokalizovaná věc je nyní plná L2 cache, nikoli jen část vyrovnávací paměti na straně paměti.

Nahoře jsou zásobníky pro dělení výpočtů. Osm XCD umožňuje GPU bootovat jako jeden, dva, čtyři nebo osm prostorových oddílů, čímž se 432 GB HBM rozděluje na rovnoměrné segmenty o velikosti 432, 216, 108 nebo 54 GB, přičemž každý z nich je podpořen osmi, až jedním XCD. Párování oddílů s doménami NUMA umožňuje běhovému prostředí odesílat a umisťovat alokace prostorově, takže úloha přistane na XCD nejblíže své paměti. SR-IOV poté virtualizuje oddíly až do osmi hardwarově izolovaných virtuálních strojů, přičemž izolace je vynucena v samotném paměťovém systému, nezávisle na tom, který režim NUMA běží. MI355X nabízel stejné možnosti oddílů od jednoho do osmi, takže granularita není nová; co CDNA 5 přidává pod ni, je chování privátní L2 a nad ním virtuální pody na úrovni racku, které pokrývá sekce Helios.

AMD Helios

Jeden MI455X je rychlý. Ale s tímto uvedením na trh se AMD připojuje ke klubu rackových a rozsáhlých doménových systémů.

Fyzicky Helios upustil od tradičních 19palcových a 21palcových racků a nahradil je Open Rack Wide, což je formát, který AMD pomohla vyvinout s Meta v OCP: skříň o šířce 1.2 metru a hloubce 1.3 metru se 44 OU vertikálního prostoru. Uvnitř je 72 GPU umístěno ve dvou bankách po devíti výpočetních raccích, mezi nimiž je šest přepínacích racků. Každé propojení mezi GPU a přepínačem je provedeno měděnými vodiči přes čtyři zaslepené kabelové kazety v zadní části, takže racky lze pro servis vysunout bez nutnosti ručního odpojování kabelů.

Celý rozvaděč odebírá v závislosti na zatížení 225 až 245 kW, dodávaných přes 50V kapalinou chlazenou sběrnici, přičemž zadní rozdělovače propouštějí z provozní smyčky zhruba 385 litrů chladiva za minutu. Samotné rozvaděče představují seriózní hardware: každý váží kolem 170 liber a usazení 1 728 diferenciálních párů rozvaděče vyžaduje zasouvací sílu přibližně 690 liber, a proto jeho vačkové rukojeti probíhají téměř po celé šířce rozvaděče.

Stavební bloky

Výpočetní zásobník

V referenčním návrhu je každý výpočetní modul samostatným uzlem postaveným na 4 modulech MI455X a vysokofrekvenčním 96jádrovém procesoru Venice SP7 s taktem až 5 GHz. Jeho 16 DIMM pamětí pojme 1 TB paměti DRAM v podobě 16 × 64GB DDR5 ECC RDIMM modulů s 5 sloty E1.S NVMe zavěšenými mimo procesor. Platforma je dimenzována na mnohem více: 16 paměťových kanálů Venice podporuje šířku pásma až 1.6 TB/s a s 256GB RDIMM moduly, které jsou dnes na vrcholu řady DDR5, dosahuje 16kanálový pamětí s 1 DIMM na kanál maximálně 4 TB.

V návaznosti na kroky společnosti NVIDIA se CPU připojuje ke koherentní paměťové doméně přes Infinity Fabric, místo aby se nacházel za GPU jako obyčejný hostitel PCIe. AMD tvrdí, že poměr CPU k GPU 1:4 je záměrný: samotné jádro překonává konkurenci a odhady AMD uvádějí 5GHz jádro Zen 6 o 20 % vyšší výkon než NVIDIA Vera ve výkonu na jádro. A protože se jedná o standardní socket SP7, zákazníci, kteří chtějí více hostitelských výpočetních prostředků, mohou osadit jakoukoli SKU Venice až do vlajkové lodi s 256 jádry. Jeden socket Venice také nese mnohem větší kapacitu DDR5 než hostitelský design LPDDR a jeho šířka pásma paměti saturuje všechny 4 GPU napříč linkami Infinity Fabric.

Toto propojení Infinity Fabric stojí za bližší pohled. Když George Cozma z Chips and Cheese hovořil o propojení Venice-MI455X , navrhl, že koherentní propojení jede na linkách PCIe CPU, stejně jako EPYC již léta nosí svá propojení socketů xGMI přes PCIe PHY. Čísla tuto teorii podporují. PCIe Gen 6 signály dosahují rychlosti 64 Gb/s na linku a propojení x16 s touto rychlostí dosahuje 128 GB/s na každou cestu, což je přesně tolik, kolik AMD uvádí v obousměrném přenosu na GPU. Blokové schéma v bílé knize CDNA 5 uvádí, že hostitelské rozhraní Infinity Fabric dosahuje rychlosti 64 Gb/s na linku, což je přesná signální rychlost Gen 6. Teorie také vysvětluje, proč se objevuje jakákoli SKU Venice: 4 GPU spotřebovávají 64 ze 128 linek Gen 6 CPU a zbytek ponechávají volný pro DPU, úložiště a další systémové potřeby.

Každou výpočetní přihrádkou procházejí tři samostatné sítě a každá slouží k jinému úkolu. Nejkonvenčnější je front-end: jeden Pensando Salina 400G DPU připojuje uzel k běžné síti datového centra, kterou si podrobněji rozebereme později.

Druhým je horizontální škálování, síť, která spojuje racky do clusterů, a nejjednodušším způsobem, jak to pochopit, je porovnat počet serverů (SerDess). Horizontální škálování MI455X může používat buď PCIe Gen 6 s rychlostí 64 Gb/s na linku, nebo UALink128 s rychlostí 128 Gb/s, a síťová karta Vulcano 800 potřebuje zhruba 128 Gb/s připojení v každém směru, aby udržela svůj 800GbE port napájený. Při rychlostech Gen 6 to vyžaduje plný link x16 na síťovou kartu, takže GPU nese 2 síťové karty; při zdvojnásobené signální rychlosti UALink128 dělá link x8 stejnou práci na polovině SerDes, takže GPU nese 3, což je konfigurace, kterou Helios dodává. V obou případech není hop UALink128 nic jiného než privátní vodič mezi GPU a síťovou kartou; samotná síť začíná u Vulcana. Každá síťová karta řídí 800GbE port, na kterém běží transporty kompatibilní s UEC, včetně MRC, což je vícecestný protokol vyvinutý společností OpenAI ve spolupráci s AMD a dalšími partnery. Fyzicky jsou síťové karty umístěny na 2 speciálních deskách v každé přihrádce, z nichž každá obsahuje 4 nebo 6 čipů ASIC Vulcano, což odpovídá konfiguraci 2 na GPU a 3 na GPU. V plném provedení to znamená 12 síťových karet na přihrádku a šířku pásma 2 400 Gb/s na GPU. A protože jsou síťové karty připojeny k GPU, přičemž CPU není nikde v cestě, provoz mezi racky se nikdy nedotkne hostitelského spojení.

Třetí je škálování, tedy struktura, která dělá z Heliosu skutečně rackový systém. Každá grafická karta (GPU) nese 36 linek UALoE, které provozují sémantiku paměti UALink přes ethernet ESUN, přičemž každá linka dosahuje rychlosti 400 Gb/s, což celkem představuje až 3.6 TB/s obousměrné šířky pásma na jednu GPU. Tyto linky vycházejí ze zadní části přihrádky směrem k přepínacím přihrádkám a přenášejí provoz pro načítání a ukládání dat, který slučuje 72 GPU do jednoho podu se sdílenou pamětí.

Přepnout zásobník

Dále jsou na řadě přepínací moduly a nejpozoruhodnější na nich je, jak obyčejný je jejich křemík. Každý ze 6 modulů obsahuje 2 ASICy Broadcom Tomahawk 6, stejné čipy pro ethernetové přepínače, které hyperscalery nasazují ve svých sítích typu leaf-spine, přičemž každý z nich nese 512 linek o rychlosti 200 G.

Každá grafická karta (GPU) odesílá 3 linky UALoE (každá linka UALoE má 2 linky 200 Gb/s) do každého z 12 přepínačů, přičemž 144 linek opouští každou výpočetní přihrádku přes zadní kabelové kazety. Každá karta Tomahawk tak ukončuje 216 linek s rychlostí 400 Gb/s, čímž přenáší obousměrnou šířku pásma 21.6 TB/s, zatímco každá grafická karta si zachovává plných 36 linek (72 linek 200 Gb/s) a rychlost 3.6 TB/s. Přepínače k ​​tomu nepotřebují nic exotického: zapouzdření UALoE je prostý protokol L2, forwarding se spoléhá na statické programování MAC adres, které ethernetový křemík nabízí již dvě desetiletí, a řízení toku je standardní prioritní řízení toku.

S jedinou vrstvou nikdy nevznikají celé třídy problémů s přetížením datových center: nedochází k vícevrstvému ​​incastování a každá GPU je od ostatních vzdálena přesně jeden skok s pevnou latencí. Ve srovnání s přímou sítí umožňuje přepínaný přístup také jednomu toku nárokovat si šířku pásma celé cesty, když ji pracovní zátěž potřebuje, a udržuje všechny GPU ve stejné vzdálenosti. Plánování tak nikdy nemusí myslet na lokalitu a poskytuje každému spojení stejnou ochranu proti chybám.

Odolnost proti chybám

Helios bere selhání hardwaru jako vstupní faktor návrhu. V tomto měřítku se neustále něco porouchá: nestabilní kabel, ztracený paket, přepínač odpojený kvůli aktualizaci firmwaru, výpočetní modul, který se okamžitě vypne. Fabric je postavena tak, aby žádná z těchto událostí neukončila úlohu. Ztracené pakety jsou obnoveny opakovaným přenosem a když selže linka, kabel nebo přepínač, provoz se po krátké pauze automaticky přesměruje kolem nich, přičemž pracovní zátěž pokračuje na zbývající šířce pásma, místo aby se restartovala od kontrolního bodu.

Topologie s 12 rovinami zajišťuje plynulejší degradaci a třícestné prokládání určuje velikost kroku. Ztráta jednoho ze 3 propojení, kterými GPU vede k přepínači, si ponechá dvě třetiny své šířky pásma. Ztráta celého Tomahawku a každé GPU ztratí 1/12 své škálovatelné šířky pásma, zatímco systém typu „všechny-konečně“ nadále pracuje na ostatních 11 rovinách. Dokonce i ztráta celého přepínače, tedy 2 z 12 přepínačů, stojí každé GPU šestinu šířky pásma bez přerušení konektivity, protože žádné GPU není pro spojení s jiným přepínačem závislé na žádném jednotlivém přepínači. Pro srovnání, Vera Rubin NVL72 rozkládá každé GPU na 36 ASIC NVSwitch 6 v 9 lištách, takže selhání přepínače v této liště stojí blíže deváté. NVIDIA nakupuje menší degradační kroky s 3× větším počtem ASIC přepínačů; AMD namítá, že 12 přepínačů s vyšším radixem znamená méně komponent, kabelů a konektorů, které by mohly selhat. Pro trénovací běh měřený v řádu týdnů je rozdíl mezi ztrátou šestiny šířky pásma fabric a ztrátou úlohy celou ekonomickou hodnotou racku.

Virtuální pody

Stejný stroj, který rozděluje fabricu kolem poruch, ji může rozdělit i záměrně. AMD nazývá tento konstrukt Virtuální pody neboli vPody a jednotkou je výpočetní uzel: libovolná kombinace 18 uzlů racku se 4 GPU může být ohraničena do izolovaného podu, od 1 uzlu pro malého tenanta až po většinu racku pro rozsáhlou tréninkovou úlohu. Izolace je vynucena v hardwaru fabrice, pod čímkoli, co plánovač rozhodne. VPod je vázán na svého tenanta; ostatní pody nemají přístup k jeho paměti ani k jeho provozu a šifrování AES-256-GCM s linkovou rychlostí na každém odkazu UALoE s podporou klíčů clusteru vlastněných zákazníkem udržuje tenzory jednoho tenanta neprůhledné pro dalšího. Hostující virtuální počítač, který zahrnuje několik GPU, má svou bezpečnostní doménu transparentně rozšířenou napříč nimi, bez nutnosti důvěřovat hostitelskému operačnímu systému. NVIDIA řeší stejný problém na svých raccích NVL72 rozdělením domény NVLink na oddíly, přičemž její služba IMEX zprostředkovává, které uzly si mohou navzájem exportovat a importovat paměť; vPody jsou ekvivalentem UALoE ve světě, takže provozovatelé z flotil GB200 nebo GB300 shledají tento koncept povědomým.

Pokud dojde k chybě výpočetního trayu, poloměr selhání se zastaví u jeho vPodu: tato úloha se restartuje od kontrolního bodu, zatímco všechny ostatní pody běží beze změny, přičemž hranice klienta slouží i jako hranice selhání. Příběh dělení se také vnořuje až dolů, protože jeden MI455X se může rozdělit až na 8 virtuálních strojů SR-IOV, takže stejný rack může obsluhovat 1 zákazníka se všemi 72 GPU jako jeden pod nebo až 576 klientů s GPU-slice, s hardwarovou izolací na každé úrovni této hierarchie.

Řídicí rovina

To vše je poháněno specializovaným softwarovým stackem, který se řídí stejnou tezí otevřenosti jako hardware. AMD Fabric Manager (AFM) je řídicí rovinou: vyhledává a zřizuje 72-GPU fabric s bezkontaktním spuštěním, takže zapnutí racku stačí k tomu, aby se zapojilo všech 72 GPU. Poté ověří zapojení kabelů a kazet proti chybám při montáži, rozdělí rack na vPody a koordinuje přesměrování a obnovu popsané výše. Neexistuje žádná specializovaná řídicí platforma. AFM běží na vlastních procesorech pro správu přepínacích trubek, protože 3 redundantní instance jsou rozloženy na 6 trubkách s distribuovanou databází mezi nimi, takže ztráta přepínací platformy nic nemění s řídicí rovinou a severní REST API zpřístupňuje fabric clusterovým řadičům spravujícím mnoho racků.

Pod kapotou si AFM vypůjčuje své infrastrukturní řešení z cloudového světa, postaveného na standardních řadičích ve stylu Kubernetes s agenty v každém zásobníku, a zpracovává detaily o fabric, které uživatelé nikdy nechtějí vidět, až po přiřazování ID akcelerátorů, které UALink používá k adresování jednotlivých GPU. Je to také vrstva pozorovatelnosti racku. Jeden dashboard sleduje využití GPU a fabric, stav linky a chybové události; když dojde k poruše, zobrazí se probíhající náprava a vygenerují se upozornění, která si operátoři mohou propojit se svými vlastními nástroji. Na výše uvedeném snímku obrazovky AFM sleduje cluster Helios ve vlastních laboratořích AMD. Správa funguje v pásmu i mimo pásmo, takže diagnostika a konfigurace nikdy nenarušují běžící úlohy. Přepínače pod AFM běží na síťovém operačním systému postaveném na SONiC, open-source NOS, a AMD uvádí, že její přírůstky do UALoE budou distribuovány a zpřístupňovány prostřednictvím standardních API gNMI. Nad rackem se nachází Rack Infrastructure Manager, který zajišťuje životní cyklus uzlů a přepínačů, napájení a detekci úniků, a Cluster Controller propojuje Helios s Kubernetes a Slurm pro plánování.

Helios vs. NVIDIA Vera Rubin NVL72

Pojďme se tedy podívat, jak si to vede v porovnání s nabídkou NVIDIA, se kterou se Helios na trhu skutečně setká: Vera Rubin NVL72.

Metrický systém stojanu	AMD Helios	Věra Rubínová NVL72
GPU	72 MI455X	72 Rubín
procesory	18 Benátek	36 Věra
Kapacita HBM	31TB	20.7TB
Šířka pásma HBM	1.7 PB/s	1.58 PB/s
Škálování na GPU	3.6 TB/s	3.6 TB/s
Škálování racku	260 TB/s	260 TB/s
Škálování na každý GPU	2,400 Gb / s	1,600 Gb / s
Přepínače pro škálování	12 Tomahawků 6	36 NVSwitch 6
Formát racku	Dvojitě široký ORW	Jednoduchý MGX

Na papíře se skóre naklání ve prospěch AMD: o 50 % více HBM, stejných 3.6 TB/s škálování na GPU z třetiny tolika ASICů pro přepínače a o 50 % větší šířka pásma škálování na GPU. Interní testy AMD proměňují tyto specifikace v tvrzení o výkonu, dosahují o 10 až 15 % více tokenů za sekundu na GPU s technologií Kimi K2 Thinking a až o 30 % více tokenů na dolar. To jsou sice čísla AMD oproti publikovaným číslům NVIDIA, nikoli nezávislá měření, ale nastavují laťku, podle které AMD očekává, že bude hodnoceno. Zajímavější rozdíly se skrývají v tom, jak každý návrh propojuje své GPU s okolním světem.

Začněte s horizontálním horizontálním rozšířením. Síťové karty MI455X jsou připojeny přímo k GPU. Podle SemiAnalysis to u Rubinu není možné: podle SemiAnalysis chybí v balíčku PCIe pro napájení obou síťových karet ConnectX-9, takže místo toho visí na CPU Vera a provoz GPU probíhá objížděním: z Rubinu do NVLink-C2C, z Very do PCIe a z ConnectX-9. Tato objížďka vyžaduje skokovou latenci a klade dvojí zátěž pro C2C linku. Vzhledem k tomu, že výpočetní, hostitelský provoz a síť jsou připojeny současně, část šířky pásma C2C Very jde na přenos dat síťové karty a efektivní šířka pásma hostitele, kterou GPU vidí, klesá pod úvodních 1.8 TB/s.

Matematika šířky pásma to ještě zhoršuje. Každý MI455X dosahuje škálovatelnosti 2 400 Gbit/s oproti Rubinovým 1 600, takže Helios přenáší více sítě na FLOP. Simulace trénovacího běhu s 8 000 GPU od AMD připisují třetí síťové kartě přibližně o 13 % rychlejší dokončení úloh.

Rubin se opět zaměřuje na úložiště a důvodem je opět umístění síťové karty. ConnectX-9 má vestavěný přepínač PCIe, takže NVMe může být připojeno přímo k síťové kartě a GPU může stahovat data přes úložiště GPUDirect, aniž by se musela dotýkat CPU. MI455X nemá ekvivalent: jeho úložiště je připojeno k hostiteli Venice, takže cokoli ve tvaru GPUDirect musí projít CPU a vrátit se přes spojení Infinity Fabric. AMD optimalizovalo síťovou cestu a zaplatilo za ni na úložné cestě; NVIDIA udělala opačný kompromis. Co je důležitější, závisí na tom, zda je pracovní zátěž vázána na přesun aktivací mezi GPU nebo streamování dat z disku.

Co si zákazníci mohou změnit

Stručně řečeno, vše výše uvedené popisuje referenční design AMD a několik čísel představuje patra, která mohou zákazníci překonat. Nejzřejmějším případem je hostitelský procesor. Rubin Vera se dodává v jedné pevné konfiguraci; Venice v patici Helios je standardní součástka se socketem SP7 a AMD potvrdilo, že se jakékoli SKU Venice objeví bez jakýchkoli úprav specifických pro Helios. Referenční patice používá 96jádrový 5GHz čip, protože rychlost jednoho vlákna zajišťuje dostatek výkonu GPU. Přesto nic nebrání zákazníkovi v tom, aby si nakonfiguroval svou verzi s 256jádrovou vlajkovou lodí nebo Venice-X s 1 152 MB stohované L3 paměti pro předzpracování náročné na mezipaměť.

Paměť a síťové připojení se řídí stejnou logikou socketů a slotů. Referenční 1 TB DRAM je 16 skromných 64GB RDIMM; hustší DIMM moduly zvyšují kapacitu na 4 TB a MRDIMM-12800 odemyká plných 1.6 TB/s pro Venice. Na straně sítě může sestavení klesnout ze 3 síťových karet na GPU na 2 přes obyčejnou PCIe Gen 6; každý port Vulcano může běžet jako 1x800G, 2x400G, 4x200G nebo 8x100G proti Tomahawk 5 nebo Tomahawk 6 fabric a P4 pipeline ponechává transport, RoCEv2, MRC nebo něco proprietárního, na volbě operátora. Dokonce i rovina správy je vyměnitelná, protože přepínací NOS je open-source SONiC a AFM zpřístupňuje celou fabric prostřednictvím svého severního API.

Také spotřeba energie se řídí paticí. Superčipy NVIDIA sdílejí jeden standard: Vera je 450W čip s omezeným sliceem a poslední generace při zátěži přenášejí energii směrem k GPU. AMD neuvedlo, zda referenční design omezuje nebo přesouvá výkon hostitele, ale u designu AMD je otázka na zákazníkovi a ten si může systém přizpůsobit s vyšší spotřebou energie bez přetížení.

Základní prvky PCIe hostitelského linku, rozbalené zpět v sekci výpočetního trayu, otevírají poslední dveře, tentokrát otevřeně spekulativní. Venice podporuje 2P konfigurace a vybrané hostitelské platformy s umělou inteligencí mohou provozovat 2P s až 160 použitelnými PCIe linkami výměnou šířky xGMI mezi sockety za I/O. Zákazník by si mohl teoreticky postavit dvousocketový tray, který by odpovídal poměru CPU k GPU 1:2 u NVIDIA, nebo přeladit linky xGMI a zvýšit tak efektivní šířku pásma CPU k GPU. Nic nenasvědčuje tomu, že by někdo něco takového stavěl dnes, a nic z toho neskrývá hrubou mezeru oproti NVLink-C2C s rychlostí 1.8 TB/s. Skutečným bodem je, kdo drží pero: na Helios je hostitel, jeho paměť, jeho výkon a potenciálně i jeho topologie rozhodnutím zákazníka a superčip NVIDIA zákazníkovi žádné pero vůbec neposkytne.

Salina DPU

A teď zpět k front-endové síti, kterou jsme dříve odložili. Salina, procesor AMD Pensando DPU 3. generace, je karta s kapacitou 400 GB a plně programovatelnou datovou cestou P4, což znamená, že nové zapouzdření, telemetrický hook nebo transport je aktualizací firmwaru, která se aplikuje živě bez ztráty provozu. Dopravní služby již pokrývají kontrolní seznam pro front-end: SDN s VXLAN nebo NVGRE, stavový firewall škálovatelný na miliony pravidel, IPsec s linkovou rychlostí, PSP, DTLS nebo vlastní šifrování, NAT a vyvažování zátěže. Je to také nejvíce osvědčený křemík v racku. Pensando DPU používají hyperscalery od roku 2019; Salina dnes řídí nasazení ve společnostech Microsoft, Oracle a IBM; Oracle této lince připisuje 5× nárůst SDN a jeden hyperscaler získal zpět 22 jader CPU na server tím, že na něj přesunul I/O.

Druhým aktem je úložiště. Salina zpřístupňuje zařízení NVMe-over-Fabrics hostiteli a virtualizuje vzdálené SSD fondy přes TCP nebo RDMA se šifrováním, datovými výtahy a kompresí prováděnou na kartě. V systému Helios přidává trik z agentní éry: engine kontextové paměti prezentuje emulované KV zařízení, takže přeplněná KV mezipaměť se přelévá do CPU DRAM, lokálního SSD nebo vzdáleného úložiště a streamuje se zpět do HBM rychlostí linky, místo aby byla znovu vypočítávána. Jak je uvedeno ve srovnání s Rubinem, MI455X postrádá GPUDirect Storage; toto odlehčení KV je částečným řešením AMD pro provoz, na kterém je obsluha nejvíce zajímá.

A právě k tomu se chovají naše výhrady. Rozdíl v šířce pásma je zřejmý: Salina je karta s kapacitou 400 GB a BlueField-4 dodávaná do racků Vera Rubin tuto kapacitu zdvojnásobuje na 800 GB s 64jádrovým procesorem Grace a dodávaným ConnectX-9. Softwarový rozdíl je diskutabilnější, ale reálný. DOCA od NVIDIA poskytuje vývojářům kontejnerizované, předpřipravené služby programovatelné v běžném jazyce C a C++; P4 je specializovaný datový jazyk, kterého se většina týmů nikdy nedotkla. Srovnání není „katalog DOCA versus holý P4“, protože Salina dodává své hlavní služby kompletní a hyperškálovači, kteří jej nasazují, si ho zvolili částečně proto, že P4 umožňuje novým protokolům, jako je MRC, dostat se do firmwaru před jakýmkoli křemíkovým cyklem. Skutečný rozdíl spočívá v tom, komu programovatelnost slouží. Flexibilita Salina je zbraní pro hyperškálovatelné týmy AMD a P4, které plynule ovládají P4; DOCA je sada nástrojů, kterou si může osvojit běžný podnikový vývojář. Pro široký trh je zavádění softwaru NVIDIA snazší a AMD si to uvědomuje.

ROCm.AI

Když už mluvíme o softwaru, AMD si jedno ze svých větších oznámení nechalo pro samotný stack. ROCm.AI, který dorazí v srpnu, je pokusem AMD udělat platformu GPU agentickou od základů. AI Skills zapojuje ROCm do kódovacích agentů, které vývojáři již používají, Claude, Codex, Cursor a Gemini, takže instalace, obsluha a ladění na Instinctu probíhá v jednoduché angličtině. Hyperloom je odvážnější kousek: optimalizátor bez lidského zásahu, který profiluje pracovní zátěž, ladí konfiguraci obsluhy, přepisuje jádra GPU a ověřuje výsledky, zatímco operátor spí. AMD uvádí, že dnes nepřetržitě optimalizuje přibližně 14 000 modelů a živá demoverze vymáčkla z MiniMax M3 o 38 % vyšší propustnost. Pod agenty přináší FlyDSL do Pythonu kontrolu téměř na úrovni sestavování, ROCm přechází na pevnou 6týdenní kadenci vydávání a AMD tvrdí, že ROCm.AI poskytuje průměrný 3.3× inferenci a 2.4× zisk z trénování oproti ROCm 7 na identickém hardwaru. ROCm 7 již zaznamenal skutečné zlepšení; nyní AMD sází na umělou inteligenci, aby tempo urychlila.

Pravděpodobně nejdůležitější slajd softwarové prezentace se týkal hardwaru. Společnost AMD důrazně zdůraznila, že každé číslo na něm bylo změřeno, s podtextem, že křemík MI455X je dnes v provozu a rychlý pod ROCm testem. Čísla: 20 TB/s v dekódování FP8 MLA, 20 PFLOPS ve výpočetním výkonu FP4, 3.2 TB/s propustnost při škálování a 190 GB/s při škálování na více procesorů. V otázkách a odpovědích společnost AMD uznala, že výsledek FP4 je měřením maximálně dosažitelných matmulFLOPS (MAMF), provedeným s tvarem matice, který zařízení nejvíce lichotí, což je standardní praxe pro tuto třídu benchmarků. Je to také odvážné prohlášení: AMD otevřeně přiznává, že MI455X si udržuje přibližně 50 % svého maximálního hodnocení MXFP4 40.26 PFLOPS, což je číslo, které by většina dodavatelů zamlčela.

AMD toto označuje za nejvyšší prokázaný výpočetní výkon ze všech akcelerátorů na trhu a právě zde přichází na řadu zrnko soli. FP4 od AMD je OCP MXFP4; NVIDIA je NVFP4. Jsou to odlišné recepty: NVFP4 aplikuje zlomkové škálování FP8 na každý 16prvkový blok plus ještě tenzorové škálování, zatímco základní MXFP4 používá hrubší škálování mocniny dvou na 32 prvků, takže FLOP NVFP4 snese více práce než FLOP MXFP4. CDNA 5 může aplikovat zlomkové škálování i na MXFP4, ale AMD neuvedla, jaký recept měření použilo. Běh Rubin MAMF a běh MI455X MAMF neměří stejnou matematiku, takže srovnání FP4 od různých dodavatelů se ustálí pouze na úrovni aplikace: tokeny za sekundu se shodnou přesností. Naměřené předpokládané beaty, ale tato čísla jsou nejpoctivější ve srovnání s předchozí generací AMD, kde jsou 3× až 4× zisky jednoznačné.

I AMD má jednu protiváhu. Toto jsou první výsledky ROCm.AI na zbrusu novém křemíku, takže spíše podceňují, čeho dosáhne ručně laděné produkční nasazení. Skutečný verdikt přijde, až se tyto rozvaděče dostanou na úroveň hyperškálovatelných systémů.

Závěrečné myšlenky

Helios je nejkompletnější systém, jaký kdy AMD uvedlo na trh, a první, který se setkává s NVIDIA přímo v rackovém měřítku, a ne čip po čipu. Hodnotící tabulka ukazuje cestu AMD v oblastech, které dnes rozhodují o kapacitě AI: o 50 % více HBM na GPU, parita škálování s Rubinem, o 50 % větší šířka pásma škálování a podle vlastního modelování AMD až o 30 % více tokenů na dolar. Stejně důležité je, jak se k tomu dostalo: obchodní přepínače Tomahawk, otevřené standardy od číselných formátů až po rozvaděč a socketovaný hostitel, který ponechává konečnou konfiguraci v rukou zákazníka. NVIDIA si ponechává skutečné výhody v propojení hostitele C2C, DPU a jeho softwaru v reálném čase, ale poprvé celkový hardwarový argument na papíře zvýhodňuje AMD.

A kupující souhlasí. Mezi společnosti, které podle AMD zavádějí Helios, patří OpenAI, Meta, Anthropic, Microsoft a Oracle, a AMD zdůrazňuje, že tyto stojany jsou již ve výrobě. Plán vývoje, který následuje ve stopách NVIDIA, je nyní každoroční kadencí: řada MI500 založená na CDNA 6 dorazí v roce 2027 s HBM nové generace a měděným a optickým propojením a řada MI600 je již ve vývoji pro rok 2028.

Což ponechává software a poprvé po letech nekončíme příběh AMD GPU touto výhradou. ROCm 7 zaplnil skutečné mezery, ROCm.AI dorazí v srpnu s měřenými zisky a kadence vydávání je nyní pevně stanovená na šest týdnů. Záleží také na tom, kdo kupuje. Laboratoře a hyperscalery, které tyto dohody podepisují, společně s AMD navrhují a zaměstnávají dostatek inženýrů, aby opravili jakékoli problémy, na které narazí. Podniky, které potřebují stack na klíč, jsou jiný příběh a tento trh prozatím zůstává pro NVIDIA. Helios byl ale postaven pro hyperscalery a laboratoře umělé inteligence a pro ně je hardware připraven, software drží krok a racky se dodávají. AMD nikdy nebyla v silnější pozici.