Intel Vision vdechuje život Gaudího 3

Jádrem vize společnosti Intel je významná prognóza: investice podniků do GenAI se mají zčtyřnásobit ze 40 miliard dolarů v roce 2024 na působivých 151 miliard dolarů do roku 2027. Uprostřed tohoto optimismu je však cesta k přijetí v podnicích poseta překážkami.

Společnost Intel je pevně odhodlána řešit tyto výzvy poskytováním škálovatelných, bezpečných a komplexních řešení GenAI, která čelí nejzásadnějším překážkám v oblasti umělé inteligence – od složitosti zabezpečení a integrace až po náklady. S pevným zaměřením na umožnění transformace společnost Intel vytváří komplexní strategii podnikové umělé inteligence, která zahrnuje přístup založený na otevřeném ekosystému napříč celou svou produktovou řadou, zahrnující počítače s umělou inteligencí, edge computing a datová centra.

Krádež show: Akcelerátor Intel Gaudi 3

V popředí iniciativy Intel Vision stojí odhalení akcelerátoru Intel Gaudi 3 s umělou inteligencí, který navazuje na zavedený výkon a efektivitu svého předchůdce, akcelerátoru Intel Gaudi 2 s umělou inteligencí. Gaudi 3 nabízí zákazníkům flexibilitu otevřeného komunitního softwaru a standardní ethernetové sítě a představuje tak významný krok vpřed v oblasti škálovatelnosti systému.

Gaudi 3, navržený pro výkon a efektivitu GenAI, nabízí oproti svému předchůdci působivá vylepšení. Díky 4násobnému výpočetnímu výkonu umělé inteligence pro BF16, 1.5násobnému nárůstu paměti a 2násobné šířce pásma sítě slibuje bezkonkurenční produktivitu pro trénování a inferenci umělé inteligence na modelech velkých jazyků (LLM) a multimodálních modelech.

Justin Hotard, výkonný viceprezident společnosti Intel a generální ředitel skupiny pro datová centra a umělou inteligenci, zdůrazňuje význam Gaudi 3 při řešení vyvíjejícího se prostředí trhu s umělou inteligencí. Zdůrazňuje poptávku po větším výběru mezi podniky a zdůrazňuje přesvědčivou kombinaci ceny a výkonu, škálovatelnosti a výhodného poměru času a hodnoty, které Gaudi 3 nabízí.

V klíčových odvětvích, jako jsou finance, výroba a zdravotnictví, podniky rychle rozšiřují dostupnost umělé inteligence a přecházejí od experimentální k plnohodnotné implementaci projektů generativní umělé inteligence (GenAI). Společnost Intel považuje akcelerátor Gaudi 3 za klíčový pro splnění těchto požadavků, který nabízí všestrannost prostřednictvím otevřeného komunitního softwaru a standardních ethernetových sítí pro flexibilní škálování systémů a aplikací umělé inteligence.

Vlastní architektura Gaudi 3 je uzpůsobena pro efektivní rozsáhlé výpočty s využitím umělé inteligence, je vyrobena 5nanometrovým (nm) procesem a vybavena klíčovými funkcemi:

• Výpočetní engine specializovaný na umělou inteligenci: Gaudi 3, který je vybaven heterogenním výpočetním enginem, zahrnujícím 64 programovatelných jader tenzorových procesorů (TPC) s využitím umělé inteligence a osmi jádry pro násobení matic (MME), vyniká ve zvládání složitých maticových operací, které jsou základem algoritmů hlubokého učení.
• Zvýšení paměti pro požadavky na kapacitu LLM: Díky dostatečné paměťové kapacitě, šířce pásma a integrované statické paměti s náhodným přístupem (SRAM) Gaudi 3 efektivně zpracovává velké datové sady GenAI, čímž zvyšuje výkon pracovní zátěže a nákladovou efektivitu datového centra.
• Efektivní škálování systému pro podnikovou generaci umělé inteligence: Gaudi 3, integrovaný s dvaceti čtyřmi 200gigabitovými ethernetovými porty, umožňuje flexibilní a otevřené sítě, což usnadňuje efektivní škálování pro podporu velkých výpočetních clusterů a zároveň eliminuje závislost na dodavateli.
• Otevřený průmyslový software pro produktivitu vývojářů: Software Gaudi integruje framework PyTorch a poskytuje optimalizované modely založené na komunitě Hugging Face, čímž zvyšuje produktivitu vývojářů a usnadňuje portování modelů napříč typy hardwaru.
• Gaudi 3 PCIe: Rozšiřující karta Gaudi 3 PCIe představuje nový formát v produktové řadě a nabízí vysokou účinnost a nižší spotřebu energie, což je ideální pro úlohy, jako je jemné ladění, inference a generování s rozšířeným vyhledáváním (RAG).

Akcelerátor Gaudi 3, u kterého se očekává významné zlepšení výkonu pro tréninkové a inferenční úlohy na předních modelech GenAI, je připraven způsobit revoluci v oblasti umělé inteligence a vysoce výkonných výpočtů (HPC). Bude hrát klíčovou roli ve Falcon Shores, grafickém procesoru nové generace od Intelu, integrujícím duševní vlastnictví Intel Gaudi a Intel Xe s jediným programovacím rozhraním GPU založeným na specifikaci Intel oneAPI.

Intel Gaudi 3 vs. NVIDIA

Během úvodní prezentace se generální ředitel společnosti Intel Pat Gelsinger postavil do centra pozornosti a představil akcelerátor umělé inteligence Intel Gaudi 3. Očekává se, že Gaudi 3 v porovnání s NVIDIA H100 nabídne o 50 procent rychlejší dobu trénování v rámci parametrů Llama2 7B a 13B a ​​GPT-3 175B. Akcelerátor Gaudi 3 navíc dokáže dosáhnout o 50 procent vyšší inferenční propustnosti a o 40 procent lepší energetické účinnosti v rámci parametrů Llama 7B a 70B a modelů Falcone 180B ve srovnání s NVIDIA H200. Gaudi 3 navíc prokázal o 30 procent rychlejší inferenci než NVIDIA H200 v rámci parametrů Llama 7B a 70B a modelů Falcone 180B.

Díky působivým výkonnostním metrikám se Gaudi 3 může pochlubit pozoruhodně o 50 procent lepší inferenční propustností a o 60 procent lepší energetickou účinností ve srovnání s průmyslovými alternativami.

Díky podpoře od předních výrobců OEM, jako jsou Dell Technologies, Supermicro, Lenovo a HPE, a vylepšení o funkce, jako je podpora karet PCIe, se Gaudi 3 stává grafickým procesorem s obrovským potenciálem v oblasti umělé inteligence.

Procesory Intel Xeon 6

Kromě akcelerátoru Intel Gaudi 3 společnost Intel poskytla aktualizace svých produktů a služeb nové generace napříč všemi segmenty podnikové umělé inteligence, a to s novými procesory Intel Xeon 6.

Procesory Intel Xeon 6 nabídnou výkonnostně efektivní řešení pro provoz současných řešení GenAI, včetně RAG, která produkují podnikově specifické výsledky s využitím proprietárních dat. Společnost Intel představila novou značku pro své procesory nové generace pro datová centra, cloud a edge. Procesory Intel Xeon 6 s novými efektivními jádry (E-core) poskytnou efektivitu. Zároveň Intel Xeon 6 s výkonnými jádry (P-core) nabídne zvýšený výkon umělé inteligence a bude uveden na trh krátce po procesorech E-core.

Očekává se, že procesory Intel Xeon 6 s jádry E (dříve s kódovým označením Sierra Forest) poskytnou 2.4x lepší výkon na watt a 2.7x lepší hustotu racku než procesory Intel Xeon 2. generace. Procesory Intel Xeon 6 s jádry P (dříve s kódovým označením Granite Rapids) zahrnují softwarovou podporu pro datový formát MXFP4, což snižuje následnou latenci tokenů až 6.5x oproti 4. generaci Xeon s FP16 a umožňuje spouštět modely Llama2 se 70 miliardami parametrů.