RAM, GPU a úložiště pro Agent AI: Kolik toho skutečně potřebujete

Aktualizováno 13. října 2026: Kopie schválení pro domácí styl a poznámka GB300 nyní odráží zveřejněnou recenzi WS300; údaje o velikostech se nezměnily do doby schválení GB300. Původně publikováno 16. srpna 2026, přičemž velikosti modelů byly ověřeny oproti oficiálním vydáním v době vydání a aktualizovány čtvrtletně.

Každý hardwarový průvodce pro lokální AI se nakonec scvrkne na jednu otázku: bude model pasovat? Tato stránka na ni odpovídá čísly a poté jde ještě o krok dál než jen matematika ve specifikacích. Pokud se v níže uvedených tabulkách objevuje třída modelu, testovali jsme ji v laboratoři StorageReview a doporučení hardwaru odkazují na systémy, které jsme testovali v našich žebříčcích lokální AI pro stolní počítače a notebooky .

Stručně řečeno: počet parametrů sám o sobě již nepředpovídá hardwarové požadavky. Kvantizace zmenšuje váhy zhruba 4x, modely se směsí expertů běží mnohem méně, než naznačuje jejich celkový počet parametrů, a agentické úlohy zatěžují paměť, kterou většina průvodců dimenzováním zcela přeskakuje, a níže uvedené části všechny tři zahrnují.

Požadavky na paměť modelu

Níže uvedené velikosti souborů představují běžné kvantizované verze Q4_K_M (nebo nativní formát, kde je uveden) publikované na Ollama a Hugging Face v srpnu 2026. Sloupec „Paměť ke spuštění“ přidává pracovní režii a mírné kontextové okno; čísla označená hvězdičkou jsou vypočítané odhady, zatímco čísla GPT-OSS a DeepSeek 671B jsou vlastní prohlášení dodavatelů.

Model	parametry	Q4 / Nativní stahování	Paměť pro spuštění*	Běží dál
Lama 3.1 8B	8B	4.9 GB	~6 až 8 GB	Notebooky s 8GB VRAM a nahoru
Phi-4 14B	14.7B	9.1 GB	~11 až 12 GB	16 GB VRAM nebo Notebooky se 64GB sdílenou pamětí
GPT-OSS 20B (MXFP4)	21B (3.6B aktivní)	12 až 14 GB	~13 až 16 GB	16 GB videopaměti, notebooky se sdílenou pamětí
Mistral Malý 3.2 24B	24B	15 GB	~18 až 20 GB	Notebooky s 24GB RTX PRO
Gemma 3 27B	27B	17 GB	~20 až 22 GB	Notebooky s 24GB RTX PRO, desktopy s unifikovanou pamětí
Qwen3 30B-A3B	30.5B (3.3B aktivní)	19 GB	~22 až 24 GB	24 GB VRAM (těsně) nebo sjednocená paměť
QwQ 32B / DeepSeek-R1 32B	32B	20 GB	~22 až 24 GB	24 GB VRAM (těsně) nebo sjednocená paměť
Lama 3.3 70B / R1 Destilace 70B	70B	43 GB	~48 až 50 GB	96 GB+ unifikované paměti, Věže RTX PRO 6000
GPT-OSS 120B (MXFP4)	117B (5.1B aktivní)	65 GB	~65 až 80 GB	96 GB až 128 GB unifikované paměti96GB grafické karty
DeepSeek-R1 671B (plný)	671B (37B aktivní)	404 GB	450+ GB	Mimo dosah stolních počítačů; území pro škálování do racku

*Odhady předpokládají zhruba 8 kB aktivního kontextu a asi 15 procent režijních nákladů za běhu nad rámec souboru s váhami. Větší kontexty stojí podstatně více; viz agentní daň níže.

Pozornost si zaslouží dva vzorce v této tabulce. Prvním je, že směs expertů mění matematiku: GPT-OSS 120B nese 117 miliard parametrů, ale aktivuje pouze 5.1 miliardy na token, takže běží na jednom paměťovém fondu o velikosti 96 GB až 128 GB a OpenAI uvádí jako cíl jednu 80GB GPU. Spustili jsme ho na HP Z2 Mini G1a , což je litrový stroj bez samostatné GPU. Za druhé, plný DeepSeek-R1 s parametry 671B je v jiném vesmíru: 404 GB jen ke stažení ve 4. čtvrtletí, zhruba 450 GB kombinované paměti pro jeho přijatelný chod. Nic v žádném z našich žebříčků ho nespustí a žádný stolní počítač by se o to neměl pokoušet.

Co kde běží

Notebooky s 8GB VRAM (třída RTX PRO 500 až 2000). V 4. čtvrtletí si vystačí s modely s 7GB až 8GB pamětí a menšími variantami Phi a Gemma. Strop je reálný: v našem testování model s 13GB pamětí, který potřeboval asi 12 GB grafické paměti, jednoduše neskončil na 8GB kartách. Naše stránka o nejlepších notebookech pro lokální umělou inteligenci se touto oblastí zabývá.

Systémy s 24GB VRAM (notebooky RTX PRO 5000, stolní grafické karty RTX). Ideální volba pro modely s kapacitou 14 až 27 GB, které nabízejí dostatek kontextu a zároveň nejrychlejší způsob, jak je spustit; náš Dell Pro Max 18 Plus v tomto oboru vede s 185 tokeny za sekundu na indexu Phi. Třída s 32 GB se vejde do čtvrtého čtvrtletí, ale ponechává jen málo prostoru pro kontext, což je s ohledem na zapojení agentů důležitější, než si myslíte.

Systémy s unifikovanou a sdílenou pamětí (96 GB až 128 GB). Počítače s procesorem AMD Strix Halo mohou grafické kartě přiřadit až 96 GB systémové paměti RAM a systémy s 10 GB, jako je NVIDIA DGX Spark, disponují 128 GB koherentní paměti. Tato třída využívá modely s výkonem 70 MB v Q4 a GPT-OSS 120 MB, přičemž rychlost je vyšší než kapacita. Žebříček Nejlepší stolní počítače pro lokální AI je řadí a stejná architektura se dostává i do notebooků v HP ZBook Ultra G1a 14 , který v našem testování načetl DeepSeek-R1 70 MB.

Pracovní stanice RTX PRO 6000 ve verzích (96 GB na kartu, testováno až 384 GB). Rychlost a kapacita zároveň: 70B modely s vyšší kvantizací a plným kontextem, 120B GPT-OSS s rezervou nebo několik modelů rezidentních současně pro multiagentní pipeliny. Náš žebříček nejlepších stolních pracovních stanic pokrývá celou třídu, na jejímž čele se umístil HP Z8 Fury G6i s podporou čtyř grafických karet.

Daň z agentů: Kontext je druhá paměť, rozpočet

Stanovení velikosti pouze na základě souboru s váhami funguje pro krátké chatovací relace a agenti tento předpoklad porušují, protože agent probíhá ve smyčce: načítá výstup nástroje, soubory a předchozí kroky zpět do svého kontextového okna a každý token uchovávaný v kontextu zabírá paměť v mezipaměti KV nad rámec vah. Tabulka níže ukazuje, jak velké tyto náklady narůstají.

Modelová třída	KV mezipaměť při 32 kB kontextu	KV mezipaměť při 128 kB kontextu	Hrubá cena za 1 000 tokenů
8B (Láma 3.1 8B, FP16 KV)	4.19 GB	16.78 GB	~ 0.13 GB
70B (Láma 3.3 70B, FP16 KV)	10.49 GB	41.94 GB	~ 0.33 GB

Porovnejte tuto tabulku s tabulkou výše s velikostmi a problém je zřejmý. Model s 70 bitovými jednotkami ve čtvrtém čtvrtletí má váhy 43 GB, ale při plném kontextu 128 kB potřebuje celkem zhruba 85 GB, což je dvojnásobek vah. Model s 8 bitovými jednotkami a 128 kB stráví více paměti kontextem (16.78 GB) než svými vlastními vahami ve čtvrtém čtvrtletí (4.9 GB). Kvantizace mezipaměti KV pomáhá, přičemž FP8 tato čísla snižuje na polovinu a INT4 je rozděluje na čtvrtiny za cenu nižší kvality, ale pravidlo plánování platí: pro agentní práci rozpočtovejte kontext jako druhý model.

Obsluha daň opět znásobuje, protože pokud systém hostuje několik agentů nebo uživatelů současně, každý požadavek má svou vlastní mezipaměť KV. vLLM, obsluhovací stack, se kterým porovnáváme v našich žebříčcích lokální AI, ve výchozím nastavení předalokuje 90 procent paměti GPU právě proto, že prostor KV určuje, kolik souběžných požadavků přežije bez preempce ničící propustnost. Stroj, který pohodlně spouští jeden chat, může být pro tři agenty poddimenzovaný.

Systémová RAM: Zapomenutá třetí noha

Pro inferenci pouze na základě GPU se systémová RAM musí vyhýbat překážkám a 32 GB až 64 GB je na testovaných strojích pohodlná spodní hranice a ve dvou případech se stává rozhodující. Odlehčení, kdy se vrstvy, které se nevejdou do VRAM, přenášejí do CPU, provádí přes paměťově mapované soubory modelu, takže systémová RAM by měla alespoň odpovídat velikosti souboru modelu a rezervě operačního systému.

Na počítačích s unifikovanou pamětí je systémová RAM pamětí GPU, a proto našim žebříčkům lokální AI dominují konfigurace s 64 GB a 128 GB. Ollama dle vlastního doporučení uvádí 8 GB RAM pro modely třídy 7B, 16 GB pro 13B a ​​32 GB pro třídu 33B; berte je jako minima, nikoli jako cíle.

Skladování: Noha, kterou všichni přeskakují

Knihovny modelů se rychle zvětšují, protože deset modelů v naší tabulce velikostí má ve svých běžných kvantizacích celkem zhruba 240 GB a funkční knihovna s několika variantami, vkládacími modely pro vyhledávání a vektorovými úložišti pro paměť agentů může přenést 500 GB předtím, než dorazí jakákoli projektová data. Navíc agentické pracovní postupy generují skutečný provoz z důvodu nutnosti: protokoly, kontrolní body a indexy vyhledávání, které existují společně s modely.

Doba načítání je to, co ukazuje třídu disku. Aritmetika je jednoduchá: 65GB soubor GPT-OSS 120B se načte za přibližně 109 sekund při rychlostech SATA, zhruba 17 sekund na disku Gen3 NVMe a méně než 9 sekund při rychlostech Gen4, pouze při prvním načtení, protože mezipaměť stránek operačního systému umožňuje téměř okamžité opětovné načtení. Reálné zavaděče ne vždy udrží plnou rychlost disku, proto plánujeme zveřejnit vlastní naměřená čísla načítání modelů napříč třídami disků; sledujte seznam změn. Náš žebříček úložišť se zabývá samotnými disky.

Praktické rady: 2 TB NVMe je rozumná spodní hranice pro dedikovanou pracovní stanici s umělou inteligencí, 4 TB, pokud počítač hostuje agenty, kteří shromažďují stav, a Gen4 nebo lepší, pokud pravidelně přepínáte mezi velkými modely.

Nejčastější dotazy k hardwaru Agent AI

Kolik VRAM potřebuji k lokálnímu spuštění 70B modelu?

Přibližně 48 až 50 GB ve čtvrtém čtvrtletí s mírným kontextem, což je důvod, proč tato třída patří spíše mezi stroje s 96GB unifikovanou pamětí a 96GB GPU pro pracovní stanice než k jakýmkoli spotřebitelským kartám. Pokud posouváte kontext směrem k 128 kB, celková hodnota se blíží 85 GB. Pokud to spustíte v osmém čtvrtletí, samotná hmotnost bude 75 GB.

Mohu spustit plnou verzi DeepSeek-R1 lokálně?

Nic takového na tomto webu nehodnotí, protože kompletní model 671B je ke stažení ve čtvrtém čtvrtletí s 404GB pamětí a pro přijatelnou funkčnost potřebuje zhruba 450 GB kombinované paměti. Praktickou lokální cestou jsou oficiální destilované verze a destilované verze 32B a 70B v naší tabulce velikostí splňují většinu požadavků na stolní počítače.

Mění modely se smíšenými experty hardwarovou matematiku?

V podstatě proto, že modely MoE aktivují zlomek svých parametrů na token, takže paměť se škáluje s celkovým počtem parametrů, ale rychlost se škáluje blíže k aktivním parametrům. GPT-OSS 120B (5.1 B aktivní) a Qwen3 30B-A3B (3.3 B aktivní) běží rychleji, než jejich velikosti naznačují na základě paměťových poolů, které se k nim hodí. Paměť stále potřebujete pro všechny váhy; jen získáte vyšší rychlost na gigabajt.

Kolik úložného prostoru potřebuje pracovní stanice s umělou inteligencí?

Minimálně 2 TB NVMe úložiště, 4 TB pro hostitele agentů. Skromná knihovna modelů sama o sobě má velikost stovek gigabajtů, agenti shromažďují protokoly a vektorová úložiště a největší jednotlivé soubory (65 GB a více) způsobují, že pomalé disky jsou při každém načítání nebo výměně modelu problematické.

Jaký hardware bych si měl koupit konkrétně pro místní agenty?

Upřednostněte paměť před rychlostí, protože agenti uchovávají dlouhé kontexty a někdy běží souběžně, takže rozpočet na mezipaměť KV je stejně důležitý jako rozpočet na hmotnost. Systém s unifikovanou pamětí 96 GB až 128 GB v našem žebříčku lokální umělé inteligence pro stolní počítače je nejúspornější volbou a věžové grafické karty RTX PRO 6000 v žebříčku pracovních stanic jsou řešením, když záleží na rychlosti i souběžnosti.

Recenze: Čísla GB300 jsou k dispozici

Vše výše uvedené odráží hardware, který jsme testovali, a systém, o kterém jsme tvrdili, že by mohl matematiku změnit, se nyní stal skutečností. Naše recenze MSI XpertStation WS300 , první stanice GB300 DGX, kterou jsme měli v rukou, je online: 748GB koherentní paměťový fond zahrnující 252 GB HBM3e a 496 GB LPDDR5X, 20 petaFLOPS FP4 a v našem testování obsluhovala 433GB kontrolní bod GLM-5.2, který na pracovní stanici neběží, s 216 GB expertních vah uložených v paměti Grace.

Důvod, proč je to pro tuto příručku důležité, je paměť. Každé doporučení na této stránce se pohybuje kolem pevného stropu, rozděluje modely mezi GPU, opírá se o kvantizaci nebo akceptuje odlehčení CPU, když váhy a KV cache nebudou pasovat. NVIDIA specifikuje deskside systémy GB300 s několika stovkami gigabajtů koherentní paměti adresovatelné akcelerátorem, což je řádově jiný než karty třídy 96 GB, které jsou uvedeny v tabulkách výše. Třídy modelů, které v současné době vyžadují věž s více GPU nebo které uvádíme jako nepraktické pro lokální spuštění, se přesouvají do řady single-boxů.

Žádný údaj ve výše uvedených tabulkách zatím není založen na GB300; další na řadě je porovnání velikosti s výsledky WS300 a změna bude zaznamenána v níže uvedeném protokolu.

Jak udržujeme tuto příručku

Velikosti modelů a seznam oblíbených modelů se mění čtvrtletně, rychleji než jakýkoli hardwarový cyklus. Tabulku velikostí znovu ověřujeme oproti oficiálním verzím v rámci čtvrtletního průkazu a laboratorní potvrzení jsou přidávána, jakmile nové systémy projdou našimi lokálními testy AI. Změny se objevují v datované poznámce v horní části stránky. Údaje o velikostech označené jako odhady používají publikovaný soubor s hmotností plus naměřené náklady na mezipaměť KV a standardní režii běhu; údaje uvedené dodavatelem jsou takto označeny.