Pamięć RAM, GPU i pamięć masowa dla sztucznej inteligencji agentowej: ile tak naprawdę potrzebujesz

Aktualizacja z 24 października 2026 r.: W notatce o wieżach RTX PRO 6000, wieże z wieloma GPU zostały teraz uznane za najlepsze komputery stacjonarne do lokalnej sztucznej inteligencji, a wieże z jedną kartą graficzną za najlepsze stacje robocze, co pokrywa się z podziałem między tymi płytami z 20 października. Przetestowany pułap obejmuje teraz Comino Grando z ośmioma kartami i 768 GB pamięci. Pierwotnie opublikowano 16 sierpnia 2026 r., a rozmiary modeli zweryfikowano w oparciu o oficjalne dane w momencie publikacji i uaktualniono kwartalnie.

Każdy poradnik sprzętowy dotyczący lokalnej sztucznej inteligencji (LOC) ostatecznie sprowadza się do jednego pytania: czy model będzie pasował? Ta strona odpowiada na nie liczbami, a następnie idzie o krok dalej niż matematyka zawarta w specyfikacji. Tam, gdzie w poniższych tabelach pojawia się klasa modelu, oznacza to, że przetestowaliśmy ją w laboratorium StorageReview, a rekomendacje sprzętowe odsyłają do systemów, które przetestowaliśmy na naszych rankingach lokalnej sztucznej inteligencji (LOC) na komputerach stacjonarnych i laptopach.

W skrócie: sama liczba parametrów nie przewiduje już wymagań sprzętowych. Kwantyzacja zmniejsza wagi około czterokrotnie, modele mieszanej liczby ekspertów są znacznie lżejsze, niż sugeruje ich całkowita liczba parametrów, a obciążenia agentowe generują obciążenie pamięci, które większość poradników dotyczących rozmiarów całkowicie pomija, a poniższe sekcje uwzględniają wszystkie trzy czynniki.

Wymagania dotyczące pamięci modelu

Podane poniżej rozmiary plików to typowe skwantyzowane wydania Q4_K_M (lub w formacie natywnym, jeśli podano inaczej), opublikowane na platformach Ollama i Hugging Face w sierpniu 2026 r. Kolumna „Pamięć do uruchomienia” uwzględnia obciążenie robocze i umiarkowane okno kontekstowe; liczby oznaczone gwiazdką to szacunki obliczone, natomiast liczby GPT-OSS i DeepSeek 671B to oświadczenia samych dostawców.

Model	Parametry	Q4 / Pobieranie natywne	Pamięć do uruchomienia*	Działa dalej
Lama 3.1 8B	8B	4.9 GB	~6 do 8 GB	Laptopy z 8 GB pamięci VRAM i do góry
Phi-4 14B	14.7B	9.1 GB	~11 do 12 GB	16 GB pamięci VRAM lub Laptopy z pamięcią współdzieloną 64 GB
GPT-OSS 20B (MXFP4)	21B (3.6B aktywne)	12 do 14 GB	~13 do 16 GB	16 GB pamięci VRAM, laptopy z pamięcią współdzieloną
Mistral Small 3.2 24V	24B	15 GB	~18 do 20 GB	Laptopy RTX PRO z 24 GB
Gemmy 3 27B	27B	17 GB	~20 do 22 GB	Laptopy RTX PRO z 24 GB, komputery stacjonarne z ujednoliconą pamięcią
Qwen3 30B-A3B	30.5B (3.3B aktywne)	19 GB	~22 do 24 GB	24 GB pamięci VRAM (ograniczonej) lub ujednolicona pamięć
QwQ 32B / DeepSeek-R1 32B	32B	20 GB	~22 do 24 GB	24 GB pamięci VRAM (ograniczonej) lub ujednolicona pamięć
Lama 3.3 70B / R1 Distill 70B	70B	43 GB	~48 do 50 GB	96 GB+ ujednoliconej pamięci, Wieże RTX PRO 6000
GPT-OSS 120B (MXFP4)	117B (5.1B aktywne)	65 GB	~65 do 80 GB	Pamięć zunifikowana od 96 GB do 128 GB, 96 GB procesorów graficznych
DeepSeek-R1 671B (pełny)	671B (37B aktywne)	404 GB	Ponad 450 GB	Poza zasięgiem komputerów stacjonarnych; obszar rozmiarów rack

*Szacunki zakładają około 8 tys. aktywnego kontekstu i około 15% narzutu czasu wykonania ponad plik wagi. Większe konteksty kosztują znacznie więcej; patrz podatek agenta poniżej.

Dwa wzorce w tej tabeli zasługują na uwagę, a pierwszy to fakt, że mieszanka ekspertów zmienia matematykę: GPT-OSS 120B przenosi 117 miliardów parametrów, ale aktywuje tylko 5.1 miliarda na token, więc działa na pojedynczej puli pamięci od 96 GB do 128 GB, a OpenAI określa cel jako pojedynczy procesor graficzny 80 GB. Uruchomiliśmy go na HP Z2 Mini G1a , maszynie o pojemności 1 litra bez żadnego oddzielnego procesora graficznego. Po drugie, pełne parametry DeepSeek-R1 z 671B znajdują się w innym wszechświecie: 404 GB do pobrania w czwartym kwartale, około 450 GB łącznej pamięci, aby uruchomić go w akceptowalny sposób. Nic w żadnej z naszych tabel wyników go nie uruchamia i żaden komputer stacjonarny nie powinien próbować.

Co gdzie działa

Laptopy z 8 GB pamięci VRAM (RTX PRO klasy 500 do 2000). Komfortowe modele 7B i 8B w czwartym kwartale oraz mniejsze warianty Phi i Gemma. Limit jest realny: w naszych testach model 13B, który wymagał około 12 GB pamięci graficznej, po prostu nie dawał rady na kartach 8 GB. Nasza strona „Najlepsze laptopy do lokalnej sztucznej inteligencji” obejmuje ten temat.

Systemy VRAM 24 GB (laptopy RTX PRO 5000, karty RTX do komputerów stacjonarnych). Idealne rozwiązanie dla modeli 14–27 B z zapasem kontekstu i najszybszym sposobem na ich uruchomienie; nasz Dell Pro Max 18 Plus prowadzi w tej kategorii z prędkością 185 tokenów na sekundę na platformie Phi. Klasa 32 B pasuje do czwartego kwartału, ale pozostawia niewiele miejsca na kontekst, który ma większe znaczenie, niż się wydaje, gdy w grę wchodzą agenci.

Systemy z ujednoliconą i współdzieloną pamięcią (od 96 GB do 128 GB). Komputery z procesorem AMD Strix Halo mogą przypisać do 96 GB pamięci RAM dla procesora graficznego, a systemy GB10, takie jak NVIDIA DGX Spark, oferują 128 GB pamięci koherentnej. W tej klasie działają modele 70B w czwartym kwartale i GPT-OSS 120B, wymieniając prędkość na pojemność. Ranking najlepszych komputerów stacjonarnych do lokalnej sztucznej inteligencji (Best Desktops for Local AI) plasuje je w rankingu, a ta sama architektura jest obecna w laptopach HP ZBook Ultra G1a 14 , który w naszych testach obsługiwał DeepSeek-R1 70B.

Stacje robocze RTX PRO 6000 w obudowach typu tower (96 GB na kartę, testowane do 768 GB). Szybkość i pojemność w jednym: modele 70B z wyższą kwantyzacją i pełnym kontekstem, GPT-OSS 120B z zapasem mocy obliczeniowej lub kilka modeli rezydujących jednocześnie w przypadku potoków wieloagentowych. Komputery typu tower z wieloma procesorami graficznymi plasują się w naszym rankingu najlepszych komputerów stacjonarnych do lokalnej sztucznej inteligencji , od HP Z8 Fury G6i z czterema procesorami graficznymi po chłodzony cieczą Comino Grando , który w naszych testach miał osiem kart i 768 GB pamięci VRAM. Komputery typu tower z jedną kartą plasują się w rankingu najlepszych stacji roboczych , na czele z Dell Pro Precision 9 T2.

Podatek agentyczny: kontekst to drugi budżet pamięci

Określanie rozmiaru wyłącznie na podstawie pliku wag działa w przypadku krótkich sesji czatu, a agenci łamią to założenie, ponieważ działają w pętli: odczytują dane wyjściowe narzędzia, pliki i poprzednie kroki z powrotem do swojego okna kontekstowego, a każdy token przechowywany w kontekście kosztuje pamięć w pamięci podręcznej KV oprócz wag. Poniższa tabela pokazuje, jak duże są te koszty.

Klasa modelu	Pamięć podręczna KV przy 32 KB kontekstu	Pamięć podręczna KV przy 128 KB kontekstu	Szacunkowy koszt za 1,000 tokenów
8B (Llama 3.1 8B, FP16 KV)	4.19 GB	16.78 GB	~ 0.13 GB
70B (Llama 3.3 70B, FP16 KV)	10.49 GB	41.94 GB	~ 0.33 GB

Porównaj tę tabelę z tabelą rozmiarów powyżej, a problem jest oczywisty. Model 70B w Q4 ma 43 GB wag, ale przy pełnym kontekście 128 KB potrzebuje łącznie około 85 GB, czyli dwa razy więcej wag. Model 8B przy 128 KB przeznacza więcej pamięci na kontekst (16.78 GB) niż na własne wagi Q4 (4.9 GB). Kwantyzacja pamięci podręcznej KV pomaga, przy czym FP8 zmniejsza te wartości o połowę, a INT4 o cztery, przy pewnym koszcie jakości, ale zasada planowania pozostaje niezmienna: w przypadku pracy agenta, budżetuj kontekst jak drugi model.

Obsługa ponownie zwielokrotnia obciążenie, ponieważ jeśli system obsługuje jednocześnie kilku agentów lub użytkowników, każde żądanie ma własną pamięć podręczną KV. vLLM, stos obsługi, który testujemy w naszych rankingach lokalnej sztucznej inteligencji, domyślnie wstępnie alokuje 90% pamięci GPU właśnie dlatego, że przestrzeń KV decyduje o tym, ile równoczesnych żądań przetrwa bez wywłaszczania obniżającego przepustowość. Maszyna, która komfortowo obsługuje jeden czat, może być zbyt mała dla trzech agentów.

Pamięć RAM systemu: Zapomniana trzecia noga

Do wnioskowania wyłącznie z GPU, pamięć RAM systemu musi po prostu pozostać niezauważona, a 32–64 GB to komfortowy próg na testowanych przez nas maszynach i staje się decydujący w dwóch przypadkach. Odciążanie, w którym warstwy niemieszczące się w pamięci VRAM przenoszą się do procesora, działa poprzez pliki modeli mapowane w pamięci, więc pamięć RAM systemu powinna co najmniej odpowiadać rozmiarowi pliku modelu plus zapas systemu operacyjnego.

W komputerach z pamięcią zunifikowaną, pamięć RAM systemu to pamięć GPU, dlatego konfiguracje 64 GB i 128 GB dominują w naszych rankingach lokalnej sztucznej inteligencji. Własne wytyczne Ollama zakładają 8 GB pamięci RAM dla modeli 7B, 16 GB dla 13B i 32 GB dla klasy 33B; traktuj te wartości jako minimum, a nie cel.

Przechowywanie: Noga, którą wszyscy pomijają

Biblioteki modeli szybko się rozrastają, ponieważ dziesięć modeli w naszej tabeli rozmiarów zajmuje łącznie około 240 GB w swoich typowych kwantyzacjach, a biblioteka robocza z kilkoma wariantami, osadzonymi modelami do pobierania i magazynami wektorów dla pamięci agenta może przekroczyć 500 GB, zanim jakiekolwiek dane projektu dotrą do odbiorcy. Co więcej, przepływy pracy agentów generują rzeczywisty ruch roboczy: logi, punkty kontrolne i indeksy pobierania, które są przechowywane obok modeli.

Czas ładowania to kryterium, które wpływa na klasę dysku. Obliczenia są proste: plik GPT-OSS 120B o rozmiarze 65 GB odczytuje się w około 109 sekund przy prędkościach SATA, około 17 sekund na dysku NVMe Gen3 i poniżej 9 sekund przy prędkościach Gen4, tylko przy pierwszym załadowaniu, ponieważ pamięć podręczna stron systemu operacyjnego sprawia, że ​​przeładowania są niemal natychmiastowe. Rzeczywiste programy ładujące nie zawsze utrzymują pełną prędkość dysku, dlatego planujemy opublikować własne wyniki pomiarów obciążenia modelowego dla różnych klas dysków; śledź dziennik zmian. Nasz ranking dysków obejmuje same dyski.

Praktyczne wskazówki: 2 TB pamięci NVMe to rozsądna pamięć dla dedykowanej stacji roboczej AI, 4 TB, jeśli maszyna obsługuje agentów gromadzących stan, a Gen4 lub lepsza, jeśli regularnie przełączasz się między dużymi modelami.

Najczęściej zadawane pytania dotyczące sprzętu AI agentowego

Ile pamięci VRAM potrzebuję do lokalnego uruchomienia modelu 70B?

Około 48–50 GB w czwartym kwartale przy umiarkowanym kontekście, dlatego ta klasa należy do maszyn z pamięcią zunifikowaną o pojemności 96 GB i procesorów graficznych do stacji roboczych o pojemności 96 GB, a nie do kart konsumenckich. Przesuwając kontekst w kierunku 128 KB, suma zbliża się do 85 GB. Uruchomienie w ósmym kwartale oznacza, że ​​same wagi wynoszą 75 GB.

Czy mogę uruchomić pełną wersję DeepSeek-R1 lokalnie?

Nie w żadnym z rankingów tej witryny, ponieważ pełny model 671B ma 404 GB pamięci do pobrania w czwartym kwartale i wymaga około 450 GB łącznej pamięci, aby działać akceptowalnie. Praktyczna ścieżka lokalna to oficjalne destylaty, a destylaty 32B i 70B w naszej tabeli rozmiarów odzwierciedlają większość możliwości w zakresie wymagań klasy komputerów stacjonarnych.

Czy modele oparte na mieszanym udziale ekspertów zmieniają matematykę sprzętową?

Istotnie, ponieważ modele MoE aktywują ułamek swoich parametrów na token, więc pamięć skaluje się wraz z całkowitą liczbą parametrów, ale szybkość jest bliższa parametrom aktywnym. GPT-OSS 120B (5.1B aktywnych) i Qwen3 30B-A3B (3.3B aktywnych) działają szybciej, niż sugerują ich rozmiary w pulach pamięci, które je obsługują. Nadal potrzebujesz pamięci dla wszystkich wag; po prostu zyskujesz większą szybkość na gigabajt.

Ile pamięci masowej potrzebuje stacja robocza AI?

Planuj minimum 2 TB NVMe, 4 TB dla hostów agentów. Sama skromna biblioteka modeli zajmuje setki gigabajtów, agenci gromadzą logi i magazyny wektorów, a największe pojedyncze pliki (65 GB i więcej) sprawiają, że wolne dyski są uciążliwe przy każdym ładowaniu lub zamianie modelu.

Jaki sprzęt powinienem kupić specjalnie dla lokalnych agentów?

Priorytetem jest pamięć, a nie szybkość, ponieważ agenci przechowują długie konteksty i czasami działają jednocześnie, więc budżet pamięci podręcznej KV jest równie ważny, co budżet na obciążenie. System zunifikowanej pamięci o pojemności od 96 GB do 128 GB w naszym rankingu Local AI dla komputerów stacjonarnych to najbardziej ekonomiczny wybór, a wieże RTX PRO 6000 w rankingu stacji roboczych to odpowiedź, gdy liczy się zarówno szybkość, jak i współbieżność.

Przejrzano: Dostępne są liczby GB300

Wszystko powyżej odzwierciedla przetestowany przez nas sprzęt, a system, o którym mówiliśmy, że zmieni oblicze matematyki, właśnie to zrobił. Nasza recenzja stacji MSI XpertStation WS300 , pierwszej stacji GB300 DGX, która trafiła w nasze ręce, jest już dostępna: pula pamięci koherentnej o pojemności 748 GB obejmuje 252 GB pamięci HBM3e i 496 GB pamięci LPDDR5X, 20 petaflopów FP4, a podczas naszych testów obsługiwała punkt kontrolny GLM-5.2 o pojemności 433 GB, który nie nadaje się do uruchomienia na stacji roboczej, z 216 GB pamięci Grace.

W tym przewodniku liczy się przede wszystkim pamięć. Każde zalecenie na tej stronie opiera się na sztywnym limicie, dzieląc modele na procesory graficzne, opierając się na kwantyzacji lub akceptując odciążenie procesora, gdy wagi i pamięć podręczna KV nie mieszczą się w granicach. NVIDIA specyfikuje systemy GB300 typu deskside z kilkoma setkami gigabajtów pamięci koherentnej adresowalnej przez akcelerator, co stanowi rząd wielkości inny niż karty klasy 96 GB, o których mowa w powyższych tabelach. Klasy modeli, które obecnie wymagają wieży z wieloma procesorami graficznymi lub które w ogóle nie nadają się do lokalnej pracy, mieszczą się w zakresie pojedynczych komputerów.

Żadna z liczb w powyższych tabelach nie opiera się jeszcze na GB300; następnym krokiem będzie porównanie wyników WS300, a zmiana zostanie odnotowana w poniższym dzienniku.

Jak utrzymujemy ten przewodnik

Rozmiary modeli i lista popularnych modeli zmieniają się kwartalnie, szybciej niż jakikolwiek cykl sprzętowy. Co kwartał weryfikujemy tabelę rozmiarów pod kątem oficjalnych wydań, a potwierdzenia laboratoryjne są dodawane, gdy nowe systemy przejdą nasze lokalne testy AI. Zmiany są uwzględniane w datowanej notatce na górze strony. Dane dotyczące rozmiarów oznaczone jako szacunkowe wykorzystują opublikowany plik z wagą, zmierzone koszty pamięci podręcznej KV i standardowy narzut czasu wykonania; dane podane przez dostawcę są oznaczone jako takie.