Architektura NVIDIA Hopper se během konference NVIDIA GTC dostala do centra pozornosti s cílem pohánět další vlnu datových center s umělou inteligencí. Tato akcelerovaná výpočetní platforma nové generace, pojmenovaná po Grace Hopperové, průkopnické americké počítačové vědkyni, nabízí oproti svému předchůdci, NVIDIA Ampere, řádově výkonnější systém.
NVIDIA také oznámila svůj první grafický procesor založený na technologii Hopper, NVIDIA H100, který je vybaven 80 miliardami tranzistorů. H100, propagovaný jako největší a nejvýkonnější akcelerátor na světě, disponuje enginem Transformer Engine a vysoce škálovatelným propojením NVIDIA NVLink pro vývoj gigantických modelů jazyků umělé inteligence, systémů hlubokých doporučení, genomiky a komplexních digitálních dvojčat.
„Datová centra se stávají továrnami na umělou inteligenci – zpracovávají a zdokonalují hory dat za účelem produkce inteligence,“ řekl Jensen Huang, zakladatel a generální ředitel společnosti NVIDIA. „NVIDIA H100 je motorem světové infrastruktury umělé inteligence, který podniky využívají k urychlení svých podniků založených na umělé inteligenci.“
Technologie H100
H100, postavená s využitím špičkového procesu TSMC 4N určeného pro akcelerované výpočetní potřeby společnosti NVIDIA, se vyznačuje významným pokrokem v oblasti akcelerace umělé inteligence, HPC, šířky pásma paměti, propojení a komunikace, včetně externí konektivity s rychlostí téměř 5 TB/s. Hopper H100 je první GPU s podporou PCIe Gen5 a využitím HBM3 (High Bandwidth Memory 3), což umožňuje šířku pásma paměti 3 TB/s. Dvacet GPU H100 dokáže zvládnout ekvivalent celosvětového internetového provozu, což zákazníkům umožňuje poskytovat pokročilé doporučovací systémy a rozsáhlé jazykové modely, které v reálném čase inferencují na základě dat.
Transformer Engine, volba pro zpracování přirozeného jazyka, je jedním z nejdůležitějších modelů hlubokého učení, které kdy byly vynalezeny. Transformer Engine akcelerátoru H100 je navržen tak, aby tyto sítě zrychlil až 6krát oproti předchozí generaci bez ztráty přesnosti.
Díky technologii Multi-Instance GPU (MIG) umožňuje architektura Hopper rozdělit jednu GPU na sedm menších, plně izolovaných instancí pro zpracování různých typů úloh. Díky až 7násobnému rozšíření možností MIG oproti předchozí generaci nabízí architektura Hopper bezpečné konfigurace pro více klientů v cloudových prostředích napříč každou instancí GPU.
H100 je první akcelerátor na světě s důvěrnými výpočetními schopnostmi pro ochranu modelů umělé inteligence a zákaznických dat během zpracování. Zákazníci mohou také aplikovat důvěrné výpočetní techniky ve federovaném učení pro odvětví citlivá na soukromí, jako je zdravotnictví, finanční služby a sdílené cloudové infrastruktury.
NVIDIA NVLink 4. generace se kombinuje s novým externím přepínačem NVLink a rozšiřuje jej tak jako škálovatelnou síť za hranice serveru. Může připojit až 256 grafických procesorů H100 s 9x vyšší šířkou pásma oproti předchozí generaci využívající technologii NVIDIA HDR Quantum InfiniBand.
NVIDIA H100 lze nasadit prakticky ve všech datových centrech, včetně on-premise, cloudu, hybridního cloudu a edge, a očekává se, že bude k dispozici později v tomto roce.
Systém DGX H100
NVIDIA oznámila systém DGX čtvrté generace s názvem DGX H100, který je vybaven osmi grafickými procesory H100 a poskytuje výkon 32 petaflopů umělé inteligence s novou přesností FP8. Poskytuje tak škálovatelnost pro splnění masivních výpočetních požadavků velkých jazykových modelů, doporučovacích systémů, výzkumu ve zdravotnictví a klimatologii.
Každý systém DGX H100 obsahuje osm grafických procesorů H100, propojených jako jeden pomocí technologie NVLink čtvrté generace, které poskytují konektivitu s rychlostí 900 GB/s, což je 1.5násobný nárůst oproti předchozí generaci. NVLink od NVIDIA je propojení mezi grafickými procesory s nízkou latencí a bezeztrátovým přenosem, které zahrnuje funkce pro zvýšení odolnosti, jako je detekce chyb na úrovni linky a mechanismy přehrávání paketů, které zaručují úspěšné doručení dat.
Kromě čtvrté generace NVLink představuje H100 také nové síťové propojení NVLink. Tato škálovatelná verze NVLink umožňuje komunikaci mezi GPU až s 256 GPU napříč více výpočetními uzly. NVIDIA také představila technologii NVSwitch třetí generace, která zahrnuje přepínače uvnitř i vně uzlů pro propojení více GPU v serverech, klastrech a prostředích datových center. Uzel s novým NVSwitchem poskytuje 64 portů NVLink pro urychlení konektivity více GPU, čímž se celková propustnost přepínače téměř zdvojnásobí ze 7.2 Tbit/s na 13.6 Tbit/s. NVSwitch umožňuje připojení všech osmi GPU H100 přes NVLink. Externí přepínač NVLink může propojit až 32 uzlů DGX H100 v superpočítačích NVIDIA DGX SuperPOD nové generace.
Grace CPU Superchip
Společnost NVIDIA oznámila superčip Grace CPU s 144 jádry Arm v jednom patici. Jedná se o první samostatný procesor pro datová centra založený na technologii Arm Neoverse, navržený pro infrastrukturu umělé inteligence a vysoce výkonné výpočty, který nabízí dvojnásobnou propustnost paměti a energetickou účinnost.
Paměťový subsystém se skládá z paměti LPDDR5x s kódem pro korekci chyb (Error Correction Code) pro vyvážení rychlosti a spotřeby energie. Paměťový subsystém LPDDR5x zdvojnásobuje šířku pásma oproti tradičním modelům DDR5 na 1 TB/s a zároveň spotřebovává dramaticky méně energie.
Procesor Grace CPU Superchip bude pohánět všechny softwarové balíčky NVIDIA, včetně NVIDIA RTX, NVIDIA HPC, NVIDIA AI a Omniverse. Procesor Grace CPU Superchip spolu se síťovými kartami NVIDIA ConnectX-7 nabízí flexibilitu konfigurace do serverů jako samostatných systémů pouze s CPU nebo jako serverů akcelerovaných GPU s jednou, dvěma, čtyřmi nebo osmi GPU založenými na Hopperu, což zákazníkům umožňuje optimalizovat výkon pro jejich specifické úlohy a zároveň zachovat jeden softwarový balíček.
Omniverse Computing System
V souladu se zaměřením na datová centra společnost NVIDIA oznámila NVIDIA OVX, výpočetní systém určený pro rozsáhlá digitální dvojčata. Digitální dvojče je virtuální svět propojený s fyzickým světem. NVIDIA OVX je navržena pro provozování komplexní simulace digitálních dvojčat, která bude běžet v rámci NVIDIA Omniverse, platformy pro fyzikálně přesnou simulaci světa v reálném čase a 3D spolupráci na designu.
Systém OVX, který kombinuje vysoce výkonné výpočetní prostředky akcelerované GPU, grafiku a umělou inteligenci s nízkou latencí a vysokorychlostním přístupem k úložišti, poskytne výkon potřebný pro vytváření digitálních dvojčat s přesností reálného světa. OVX dokáže simulovat komplexní digitální dvojčata pro modelování budov, továren, měst a celého světa.
Server OVX obsahuje osm grafických procesorů NVIDIA A40, tři síťové karty ConnectX-6 DX 200 Gb/s, 1 TB paměti a 16TB úložiště NVMe. Systém OVX lze škálovat z jednoho podu s osmi servery OVX až po OVX SuperPOD s 32 servery připojenými přes přepínač NVIDIA Spectrum-3 nebo více OVX SuperPOD.
Sada pro vývojku Jetson AGX Orin
Společnost NVIDIA také oznámila dostupnost vývojářské sady Jetson AGX Orin, kompaktního a energeticky úsporného superpočítače s umělou inteligencí pro pokročilou robotiku, autonomní stroje a embedded a edge computing nové generace. Specifikace Jetsonu AGX Orin jsou působivé a dosahují 275 bilionů operací za sekundu, což je více než 8krát vyšší výpočetní výkon než předchozí model, a přitom si zachovávají velikost dlaně. Jetson AGX Orin je vybaven grafickým procesorem s architekturou NVIDIA Ampere, procesory Arm Cortex-A78AE, akcelerátory hlubokého učení a vidění nové generace, rychlejší šířkou pásma paměti, vysokorychlostními rozhraními a multimodálním senzorem a dokáže tak zásobovat více souběžných aplikací umělé inteligence.
Zákazníci používající Jetson AGX Orin mohou využívat kompletní akcelerovaný výpočetní stack NVIDIA CUDA-X s 60 aktualizacemi kolekce knihoven, nástrojů a technologií. Budou mít také plný přístup k NVIDIA JetPack SDK, předtrénovaným modelům z katalogu NVIDIA NGC a nejnovějším frameworkům a nástrojům pro vývoj a optimalizaci aplikací, jako jsou NVIDIA Isaac on Omniverse, NVIDIA Metropolis a NVIDIA TAO Toolkit.
NVIDIA Spectrum-4
Společnost NVIDIA se i nadále zaměřuje na datová centra a oznámila svou ethernetovou platformu NVIDIA Spectrum-4. Přepínač nové generace nabízí end-to-end rychlost 400 Gb/s se 4x vyšší propustností přepínání než předchozí generace. Spectrum-4 obsahuje ConnectX-7 SmartNIC, BlueField-3 DPLU a software pro infrastrukturu datových center DOCA.
Přepínače Spectrum-4, navržené pro umělou inteligenci, umožňují nanosekundovou přesnost, zrychlují, zjednodušují a zabezpečují síťovou strukturu s 2x rychlejší šířkou pásma na port, 4x menším počtem přepínačů a o 40 procent nižší spotřebou energie než předchozí generace. Díky celkové šířce pásma ASIC 51.2 Tb/s, podpoře 128 portů s kapacitou 400 GBE, adaptivnímu směrování a vylepšeným mechanismům řízení přetížení optimalizuje Spectrum-4 RDMA přes konvergované ethernetové struktury a dramaticky zrychluje datová centra.
Zabalit
Akce GTC společnosti NVIDIA byla nabitá aktualizacemi nových produktů v oblasti softwaru, výkonu a rychlosti. Hodně pozornosti se věnovalo datovým centrům, ale také cílové skupině autonomních mobilních robotů (AMR) a samozřejmě edge computingu. Vrcholem veletrhu byla grafická karta Hopper H100, ale tento produkt se řadí mezi mnoho dalších oznámení. NVIDIA zde zveřejnila všechny tiskové zprávy a hlavní body blogu a stojí za to se na to podívat.
Amazon