Společnost Micron Technology, Inc. představila svou novou generaci pamětí s vysokou šířkou pásma, HBM3 Gen2. Toto pokročilé paměťové řešení se pyšní bezprecedentními specifikacemi, které překonávají předchozí verzi, a má potenciál nově definovat způsob, jakým podniky implementují a využívají umělou inteligenci.
Posilování generativní umělé inteligence
Generativní umělá inteligence a LLM silně závisí na množství paměti, kterou můžete poskytnout pro trénování a inferenci. Výkon těchto modelů umělé inteligence je často diktován efektivitou výpočetních a paměťových zdrojů. Micron HBM3 Gen2 nabízí vyšší kapacitu paměti, což slibuje lepší celkový výkon a návratnost investic podniku do úloh umělé inteligence a velkých dat.
Díky vylepšení vrstev umožní zvýšení výkonu rychlejší trénování a nabídne responzivnější dotazy během inference LLM. Tento skok ve výkonu paměti pomůže podnikům přiblížit se k nasazení umělé inteligence, která dokáže reagovat rychleji a poskytovat přesnější výstupy.
„HBM3 Gen2 poskytuje vyšší paměťovou kapacitu, která zlepšuje výkon a snižuje odlehčení CPU pro rychlejší trénování a responzivnější dotazy při inferencování LLM, jako je ChatGPT™.“ – Micron
Hluboké učení v rychlém pruhu
Vzhledem k tomu, že umělá inteligence nadále proniká do všech odvětví – od obchodu a IT až po vědu a medicínu – roste poptávka po větších a sofistikovanějších modelech umělé inteligence. Micron HBM3 Gen2 má tuto poptávku uspokojit tím, že poskytne efektivní paměťové řešení, které vyvažuje výkon, náklady a spotřebu energie. Díky důrazu na energetickou účinnost, která zvyšuje výkon na watt, pomůže nejnovější nabídka společnosti Micron, po implementaci do GPU, ASIC a CPU, zkrátit dobu trénování a neustálé doladění LLM, což umožní kompatibilní nasazení těchto modelů v podnicích.
Pohon vysoce výkonných počítačů
HBM3 Gen2 nebude významným přínosem jen pro umělou inteligenci, ale také pro tradičnější vysoce výkonné výpočty. Vědci a výzkumníci, kteří řeší složité problémy, jako je modelování nebo simulace, které se spoléhají na HPC, pracují se stále se rozšiřujícími datovými sadami. Nové paměťové řešení od společnosti Micron s vyšší paměťovou kapacitou nabízí vylepšený výkon snížením potřeby distribuce dat mezi více uzlů, čímž urychluje inovace v kritických oblastech snížením složitosti nebo zvýšením hustoty racků.
„Micron HBM3 Gen2 poskytuje vyšší paměťovou kapacitu a zlepšuje výkon tím, že snižuje potřebu distribuce dat mezi více uzlů, čímž urychluje tempo inovací.“
Špičkové specifikace v oboru, maximalizace výkonu
Micron HBM3 Gen2 se vyznačuje působivými specifikacemi, které posouvají hranice výkonu paměti. Díky šířce pásma paměti přesahující 1.2 TB/s, o 50 procent větší kapacitě paměti na 8GB krychli s výškou 24 GB a více než 2.5násobnému zlepšení výkonu na watt je HBM3 Gen2 navržen tak, aby splňoval náročné potřeby úloh umělé inteligence a HPC.
Je pozoruhodné, že vynikající šířka pásma a kapacita paměti HBM3 Gen2 umožňuje trénovat modely umělé inteligence s vyšší přesností a správností. Také umožňuje zkrácení doby trénování o více než 30 % a umožňuje provádět o více než 50 % více dotazů denně. Tato vylepšení mají za cíl revoluci v životním cyklu LLM a transformovat potenciál aplikací umělé inteligence v podnicích.
Jsme nadšení, že se nám v laboratoři dostane čip Micron HBM3 Gen2, ale může to chvíli trvat. Představuje významný krok vpřed v oblasti paměťových řešení a má poskytnout tolik potřebnou podporu implementacím umělé inteligence a vysoce výkonným výpočtům. Než se s tím ale setkáme v balených řešeních, bude to ještě nějakou dobu trvat. Do té doby si budeme muset s napětím vyčkat, co se chystá.
Amazon