Konference NVIDIA GTC 2023 zahájila představení nových produktů, partnerů, inovací a softwaru. Pro představu rozsahu oznámení trvala hlavní přednáška 78 minut. Byly oznámeny čtyři nové platformy, každá optimalizovaná pro specifickou pracovní zátěž generativní inference umělé inteligence a specializovaný software.
Tyto platformy kombinují kompletní inferenční software od NVIDIA s nejnovějšími procesory NVIDIA Ada, Hopper a Grace Hopper. Dnes byly uvedeny na trh dvě nové grafické karty, NVIDIA L4 Tensor Core a H100 NVL.
NVIDIA L4 pro AI video poskytuje 120krát vyšší výkon videa s využitím umělé inteligence než CPU v kombinaci s o 99 procent lepší energetickou účinností. L4 slouží jako univerzální GPU pro prakticky jakoukoli pracovní zátěž a nabízí vylepšené možnosti dekódování a překódování videa, streamování videa, rozšířenou realitu, generativní AI video a další.
Grafický procesor NVIDIA Ada Lovelace L4 Tensor Core poskytuje univerzální akceleraci a energetickou účinnost pro video, umělou inteligenci, virtualizovaný desktop a grafické aplikace v podniku, v cloudu i na okraji sítě. Díky platformě umělé inteligence NVIDIA a full-stacku...
V rámci tohoto přístupu je L4 optimalizován pro inferenci ve velkém měřítku pro širokou škálu aplikací umělé inteligence, včetně doporučení, hlasových asistentů s avatary umělé inteligence, generativní umělé inteligence, vizuálního vyhledávání a automatizace kontaktních center.
L4 je nejefektivnější akcelerátor NVIDIA pro běžné použití a servery vybavené L4 dosahují až 120x vyššího výkonu videa s využitím umělé inteligence a 2.7x generativnějšího výkonu umělé inteligence oproti řešením s CPU, a také více než 4x vyššího grafického výkonu než předchozí generace GPU. NVIDIA L4 je všestranný, energeticky úsporný, jednoslotový, nízkoprofilový akcelerátor, díky čemuž je ideální pro rozsáhlá nasazení a okrajová umístění.
Platforma NVIDIA L40 pro generování obrázků je optimalizována pro grafiku a generování 2D, video a 3D obrázků s využitím umělé inteligence. Platforma L40 slouží jako engine pro NVIDIA Omniverse, platformu pro vytváření a provozování metaverse aplikací v datových centrech, a oproti předchozí generaci nabízí 7x vyšší inferenční výkon pro Stable Diffusion a 12x vyšší výkon Omniverse.
Grafický procesor NVIDIA L40 poskytuje vysoce výkonné vizuální výpočty pro datová centra s grafickými, výpočetními a umělou inteligencí nové generace. Grafický procesor L40, postavený na architektuře NVIDIA Ada Lovelace, využívá sílu jader RT, Tensor a CUDA nejnovější generace k zajištění vizualizačního a výpočetního výkonu pro náročné úlohy datových center.
L40 nabízí vylepšenou propustnost a souběžné funkce sledování paprsků a stínování, které zlepšují výkon sledování paprsků a zrychlují renderování pro pracovní postupy v oblasti návrhu produktů a architektury, inženýrství a konstrukce. Grafický procesor L40 poskytuje hardwarovou podporu pro strukturální řídkost a optimalizovaný formát TF32 pro zvýšení výkonu ihned po instalaci a rychlejší trénování modelů umělé inteligence a datové vědy. Zrychlené grafické funkce vylepšené umělou inteligencí, včetně DLSS, poskytují vyšší rozlišení s lepším výkonem ve vybraných aplikacích.
Velká grafická paměť GPU L40 zvládá paměťově náročné aplikace a úlohy, jako je datová věda, simulace, 3D modelování a renderování, a to díky 48 GB ultrarychlé paměti GDDR6. Paměť je přidělována více uživatelům pomocí softwaru vGPU, aby se rozdělily velké úlohy mezi kreativní, datově vědecké a designové týmy.
Karta NVIDIA L40, navržená pro nepřetržitý provoz podnikových datových center s energeticky úsporným hardwarem a komponentami, je optimalizována pro nasazení ve velkém měřítku a poskytuje maximální výkon pro rozmanité úlohy datových center. L40 zahrnuje zabezpečené spouštění s technologií Root of Trust, která poskytuje další vrstvu zabezpečení, a splňuje normu NEBS Level 3 pro splnění standardů datových center.
NVIDIA H100 NVL pro nasazení velkých jazykových modelů (LLM), jako je ChatGPT, je ideální pro nasazení masivních LLM, jako je ChatGPT, ve velkém měřítku. Nová H100 NVL je dodávána s 94 GB paměti s akcelerací Transformer Engine a nabízí až 12x rychlejší inferenční výkon v GPT-3 ve srovnání s předchozí generací A100 v datovém centru.
NVL H100 s rozhraním PCIe a můstkem NVLink využívá Transformer Engine, NVLink a 188GB paměť HBM3 pro zajištění optimálního výkonu a škálování v datových centrech. H100 NVL podporuje modely s velkými jazyky (LLR) až pro 175 miliard parametrů. Servery vybavené grafickými procesory H100 NVL zvyšují výkon modelu GPT-175B až 12krát oproti systémům NVIDIA DGX A100 a zároveň si zachovávají nízkou latenci v prostředích datových center s omezeným výkonem.
NVIDIA Grace Hopper pro doporučovací modely je ideální pro grafové doporučovací modely, vektorové databáze a grafové neuronové sítě. Díky propojení NVLink-C2C s rychlostí 900 GB/s mezi CPU a GPU dokáže Grace Hopper zajistit 7x rychlejší přenosy dat a dotazy než PCIe Gen 5.
Superčip NVIDIA Grace Hopper je průlomový akcelerovaný procesor navržený od základu pro obří aplikace umělé inteligence a vysoce výkonných výpočtů (HPC). Superčip poskytne až 10krát vyšší výkon pro aplikace s terabajty dat, což vědcům a výzkumníkům umožní dosáhnout bezprecedentních řešení pro nejsložitější problémy světa.
Superčip NVIDIA Grace Hopper kombinuje architektury Grace a Hopper s využitím technologie NVIDIA NVLink-C2C a poskytuje koherentní paměťový model CPU+GPU pro akcelerované aplikace AI a HPC. Grace Hopper zahrnuje koherentní rozhraní s propustností 900 gigabajtů za sekundu (GB/s), je 7x rychlejší než PCIe Gen5 a poskytuje 30x vyšší celkovou propustnost systémové paměti pro GPU ve srovnání s NVIDIA DGX A100. Navíc spustí všechny softwarové balíčky a platformy NVIDIA, včetně NVIDIA HPC SDK, NVIDIA AI a NVIDIA Omniverse.
Moderní modely doporučovacích systémů vyžadují značné množství paměti pro ukládání vkládacích tabulek. Vkládací tabulky obsahují sémantické reprezentace položek a funkcí uživatelů, což pomáhá poskytovat spotřebitelům lepší doporučení.
Tato vkládání obecně sledují mocninné rozdělení četnosti použití, protože některé vektory vkládání jsou přístupné častěji než jiné. NVIDIA Grace Hopper umožňuje vysoce propustné kanály doporučovacích systémů, které
ukládat nejčastěji používané embeddingové vektory do paměti HBM3 a zbývající embeddingové vektory do paměti LPDDR5X s vyšší kapacitou. Propojení NVLink C2C poskytuje grafickým procesorům Hopper přístup s vysokou šířkou pásma k jejich lokální paměti LPDDR5X. Zároveň přepínací systém NVLink toto rozšiřuje a poskytuje grafickým procesorům Hopper přístup s vysokou šířkou pásma ke všem pamětím LPDDR5X všech superčipů Grace Hopper v síti NVLink.
Amazon