Společnost NVIDIA učinila významný krok v oblasti výpočetní techniky s využitím umělé inteligence uvedením NVIDIA HGX H200. Tato nová platforma, založená na architektuře NVIDIA Hopper, disponuje grafickým procesorem NVIDIA H200 Tensor Core, který je uzpůsoben pro generativní výpočetní úlohy s využitím umělé inteligence a vysoce výkonných výpočtů (HPC) a zvládá obrovské objemy dat s pokročilými paměťovými možnostmi.
H200 vyniká jako první GPU s integrovanou pamětí s vysokou šířkou pásma (HBM3e), která nabízí rychlejší a větší paměť, klíčovou pro generativní umělou inteligenci a modely velkých jazyků (LLM) a pokročilé vědecké výpočty pro HPC úlohy. Může se pochlubit 141 GB paměti s rychlostí 4.8 terabajtů za sekundu, což je téměř dvojnásobná kapacita a 2.4krát větší šířka pásma než její předchůdce, NVIDIA A100.
Systémy poháněné technologií H200 od předních výrobců serverů a poskytovatelů cloudových služeb by se měly začít dodávat ve druhém čtvrtletí roku 2024. Ian Buck, viceprezident společnosti NVIDIA pro hyperscale a HPC, zdůrazňuje, že H200 výrazně zlepší zpracování obrovského množství dat při vysokých rychlostech, což je nezbytné pro generativní aplikace umělé inteligence a HPC.
Architektura Hopper představuje oproti předchozím generacím výrazné zlepšení výkonu, které dále posilují probíhající aktualizace softwaru, jako je nedávné vydání NVIDIA TensorRT-LLM . H200 slibuje téměř zdvojnásobení rychlosti inference u velkých jazykových modelů, jako je Llama 2, přičemž v budoucích aktualizacích softwaru se očekávají další vylepšení výkonu.
Specifikace H200
| NVIDIA H200 Tensor Core GPU | |
|---|---|
| Form Factor | H200 SXM |
| FP64 | 34 TFLOPS |
| FP64 Tensor Core | 67 TFLOPS |
| FP32 | 67 TFLOPS |
| Tenzorové jádro TF32 | 989 TFLOPS |
| Tensor Core BFLOAT16 | 1,979 TFLOPS |
| FP16 Tensor Core | 1,979 TFLOPS |
| FP8 Tensor Core | 3,958 TFLOPS |
| INT8 Tensor Core | 3,958 TFLOPS |
| Paměť GPU | 141GB |
| Šířka pásma paměti GPU | 4.8 TB/s |
| Dekodéry | 7 NVDEC 7 XNUMX XNUMX XNUMX JPEG |
| Maximální tepelný návrhový výkon (TDP) | Až 700 W (konfigurovatelné) |
| Víceinstanční GPU | Až 7 MIGů o velikosti 16.5 GB každý |
| Propojit | NVIDIA NVLink: 900 GB/s PCIe Gen5: 128 GB/s |
| Možnosti serveru | Partnerské systémy NVIDIA HGX H200 a systémy s certifikací NVIDIA se 4 nebo 8 grafickými kartami |
Přizpůsobivé tvarové faktory
NVIDIA H200 bude k dispozici v různých provedeních, včetně serverových desek NVIDIA HGX H200 ve čtyř- a osmiproudých konfiguracích, kompatibilních se systémy HGX H100. Je také k dispozici s čipem NVIDIA GH200 Grace Hopper Superchip s HBM3e . Nedávno jsme zveřejnili článek o čipu NVIDIA GH200 Grace Hopper Supperchip . Tyto možnosti zajišťují adaptabilitu H200 v různých typech datových center, včetně on-premise, cloudových, hybridních cloudových a edge prostředí.
Klíčoví výrobci serverů a poskytovatelé cloudových služeb, včetně Amazon Web Services, Google Cloud, Microsoft Azure a Oracle Cloud Infrastructure, se chystají zavést instance založené na H200 od příštího roku.
HGX H200, vybavený vysokorychlostními propojeními NVIDIA NVLink a NVSwitch, poskytuje špičkový výkon pro různé úlohy, včetně trénování a inference pro modely s více než 175 miliardami parametrů. Osmicestná konfigurace HGX H200 poskytuje přes 32 petaflopů výpočetního výkonu hlubokého učení FP8 a 1.1 TB paměti s vysokou šířkou pásma, což je ideální pro generativní aplikace umělé inteligence a HPC. V kombinaci s procesory NVIDIA Grace a propojením NVLink-C2C tvoří H200 superčip GH200 Grace Hopper s modulem HBM3e, určeným pro rozsáhlé aplikace HPC a umělé inteligence.
Komplexní softwarová podpora od NVIDIA, včetně sady NVIDIA AI Enterprise Suite , umožňuje vývojářům a podnikům vytvářet a akcelerovat aplikace pro vývoj vysoce výkonných počítačů (HPC) s využitím umělé inteligence. NVIDIA H200 bude k dispozici u globálních výrobců systémů a poskytovatelů cloudových služeb od druhého čtvrtletí roku 2024, což bude znamenat novou éru v oblasti umělé inteligence a HPC.
Amazon