Nedávný pokrok v modelování velkých jazyků programování (LLM), včetně dostupných nástrojů, jako je LM Studio, umožnil uživatelům rychle a bez námahy nasazovat sofistikované modely umělé inteligence. Nejnovější technologie společnosti AMD podporuje vysoce výkonné funkce umělé inteligence v LM Studiu bez nutnosti odborných znalostí kódování nebo technických dovedností.
LM Studio, vyvinuté na frameworku llama.cpp, je navrženo pro rychlé nasazení LLM. Tento framework funguje bez závislostí a efektivně pracuje na CPU, ačkoli je k dispozici akcelerace GPU. Pro optimalizaci výkonu procesorů založených na architektuře x86 využívá LM Studio instrukce AVX2, čímž zvyšuje kompatibilitu a rychlost na moderních procesorech.
Umělá inteligence AMD Ryzen, integrovaná v procesoru Ryzen 9 HX 375, zvyšuje výkon LLM v aplikacích, jako je LM Studio, zejména u notebooků s architekturou x86. Ačkoli LLM výrazně závisí na rychlosti paměti, akcelerace umělé inteligence AMD Ryzen poskytuje vedoucí výkon. V testech, i když rychlost paměti RAM notebooku AMD dosahuje 7500 MT/s ve srovnání s 8533 MT/s u Intelu, Ryzen 9 HX 375 překonal Intel až o 27 % v tokenech za sekundu – metrika udávající, kolik slov za sekundu LLM generuje.
V modelu Meta Llama 3.2 1b Instruct (s využitím 4bitové kvantizace) dosáhl procesor AMD Ryzen 9 HX 375 maximálního výkonu 50.7 tokenů za sekundu. U větších modelů dosáhl až 3.5krát rychlejšího „času do prvního tokenu“ ve srovnání s konkurenčními procesory. Jedná se o významný benchmark měřící latenci mezi promptním odesláním a první odpovědí.
Každý ze tří akcelerátorů v procesorech AMD Ryzen AI je optimalizován pro specifické úkoly, přičemž NPU založené na architektuře XDNA 2 vynikají efektivitou pro perzistentní AI. Zatímco CPU podporují širokou kompatibilitu napříč nástroji AI, iGPU zvládají mnoho operací AI na vyžádání a nabízejí flexibilitu pro aplikace v reálném čase.
Adaptace souboru llama.cpp od LM Studia využívá rozhraní Vulkan API pro platformně nezávislou akceleraci GPU. Tato optimalizace prokázala 31% zlepšení výkonu instrukcí Meta Llama 3.2 1b při přesměrování úloh na GPU. U větších modelů, jako je Mistral Nemo 2407 12b Instruct, vedl tento přístup k 5.1% zvýšení výkonu. Testování na konkurenčních procesorech neprokázalo u většiny modelů žádné významné zlepšení v přesměrování úloh na GPU, takže tyto výsledky byly pro spravedlivé srovnání vyloučeny.
Procesory AMD Ryzen AI řady 300 navíc disponují variabilní grafickou pamětí (VGM), která umožňuje rozšířit alokaci vyhrazené paměti iGPU využitím až 75 % systémové RAM. Po povolení VGM se výkon v Meta Llama 3.2 1b Instruct zvýšil o 22 %, což vedlo k celkovému nárůstu rychlosti o 60 % u úloh akcelerovaných iGPU. Dokonce i velké modely těžily z VGM a dosáhly až o 17 % lepšího výkonu oproti zpracování pouze CPU.
Přestože konfigurace notebooků konkurence neprospěla odlehčení grafického výkonu na bázi Vulkanu v LM Studiu, výkon byl pro objektivní srovnání posouzen pomocí Intel AI Playground. Testy se srovnatelnou kvantizací zjistily, že AMD Ryzen 9 HX 375 byl o 8.7 % rychlejší v modelu Phi 3.1 a o 13 % rychlejší v Mistral 7b Instruct 0.3.
Závazek společnosti AMD k rozvoji umělé inteligence je jasný: zavedením výkonných a uživatelsky přívětivých nástrojů pro nasazení LLM, jako je LM Studio, se společnost AMD snaží demokratizovat umělou inteligenci. Díky přidání funkcí, jako je variabilní grafická paměť (VGMP), jsou procesory AMD Ryzen AI připraveny nabídnout bezkonkurenční zážitky s umělou inteligencí na noteboocích s architekturou x86, což uživatelům zajistí, že budou moci využívat nejmodernější modely, jakmile budou k dispozici.
Amazon