Uppdaterad 24 oktober 2026: RTX PRO 6000-tornmodellerna pekar nu ut multi-GPU-torn till bästa stationära datorer för lokal AI och ettkortstorn till bästa stationära arbetsstationer, vilket matchar fördelningen mellan dessa moderkort från den 20 oktober, och det testade taket återspeglar nu Comino Grando med åtta kort och 768 GB lagringsutrymme. Ursprungligen publicerad 16 augusti 2026, med modellstorlekar verifierade mot officiella utgåvor vid publicering och uppdaterade kvartalsvis.
Varje hårdvaruguide för lokal AI handlar så småningom om en fråga: passar modellen? Den här sidan besvarar den med siffror och går sedan ett steg längre än specifikationsbladets matematik. Där en modellklass visas i tabellerna nedan har vi kört den i StorageReview-labbet, och hårdvarurekommendationerna länkar till system vi har testat på våra stationära och bärbara datorers lokala AI-topplistor.
Kortfattat: parameterantal ensamt förutsäger inte längre hårdvarukraven. Kvantisering minskar vikterna med ungefär 4 gånger, expertmixmodeller körs mycket lättare än vad deras totala parameterantal antyder, och agentiska arbetsbelastningar lägger till en minnesskatt som de flesta storleksguider hoppar över helt, och avsnitten nedan budgeterar alla tre.
Krav på modellminne
Filstorlekarna nedan är de vanliga kvantiserade utgåvorna Q4_K_M (eller det ursprungliga formatet där det anges) som publicerades på Ollama och Hugging Face i augusti 2026. Kolumnen "Memory to Run" lägger till arbetskostnader och ett måttligt kontextfönster; siffror markerade med en asterisk är beräknade uppskattningar, medan siffrorna för GPT-OSS och DeepSeek 671B är leverantörernas egna uttalanden.
| Modell | Driftparametrar | Q4 / Inbyggd nedladdning | Minne att köra* | Går på |
|---|---|---|---|---|
| Lama 3.1 8B | 8B | 4.9 GB | ~6 till 8 GB | 8 GB VRAM-bärbara datorer och upp |
| Phi-4 14B | 14.7B | 9.1 GB | ~11 till 12 GB | 16 GB VRAM eller 64 GB bärbara datorer med delat minne |
| GPT-OSS 20B (MXFP4) | 21B (3.6B aktiv) | 12 till 14 GB | ~13 till 16 GB | 16 GB VRAM, bärbara datorer med delat minne |
| Mistral Small 3.2 24B | 24B | 15 GB | ~18 till 20 GB | 24 GB RTX PRO-bärbara datorer |
| Gemma 3 27B | 27B | 17 GB | ~20 till 22 GB | 24 GB RTX PRO-bärbara datorer, stationära datorer med enhetligt minne |
| Qwen3 30B-A3B | 30.5B (3.3B aktiv) | 19 GB | ~22 till 24 GB | 24 GB VRAM (tätt) eller enhetligt minne |
| QwQ 32B / DeepSeek-R1 32B | 32B | 20 GB | ~22 till 24 GB | 24 GB VRAM (tätt) eller enhetligt minne |
| Llama 3.3 70B / R1 Destillat 70B | 70B | 43 GB | ~48 till 50 GB | 96+ GB enhetligt minne, RTX PRO 6000-torn |
| GPT-OSS 120B (MXFP4) | 117B (5.1B aktiv) | 65 GB | ~65 till 80 GB | 96 GB till 128 GB enhetligt minne, 96 GB grafikkort |
| DeepSeek-R1 671B (fullständig) | 671B (37B aktiv) | 404 GB | 450+GB | Utom räckhåll för stationära datorer; rackskaligt område |
*Uppskattningarna förutsätter ungefär 8K aktiv kontext och cirka 15 procents körtidsoverhead utöver viktfilen. Större kontexter kostar betydligt mer; se agentskatten nedan.
Två mönster i den tabellen förtjänar uppmärksamhet, och det första är att experternas blandning förändrar matematiken: GPT-OSS 120B har 117 miljarder parametrar men aktiverar bara 5.1 miljarder per token, så den körs på en enda minnespool på 96 GB till 128 GB, och OpenAI anger målet som en enda 80 GB GPU. Vi har kört den på HP Z2 Mini G1a , en 1-litersmaskin utan någon separat GPU alls. För det andra finns den fullständiga DeepSeek-R1 med 671 parametrar i ett annat universum: 404 GB bara för nedladdning vid fjärde kvartalet, ungefär 450 GB kombinerat minne för att köra den acceptabelt. Ingenting på någon av våra topplistor kör den, och ingen stationär dator borde försöka.
Vad körs vart
8 GB VRAM-bärbara datorer (RTX PRO 500 till 2000-klassen). Bekväm med 7B till 8B-modellerna vid fjärde kvartalet och de mindre Phi- och Gemma-varianterna. Taket är reellt: i våra tester klarade en 13B-modell som ville ha cirka 12 GB grafikminne helt enkelt inte 8 GB-kort. Vår sida om de bästa bärbara datorerna för lokal AI täcker området.
24 GB VRAM-system (bärbara RTX PRO 5000-datorer, stationära RTX-kort). Den perfekta lösningen för 14B till 27B-modeller med kontext i överflöd, och det snabbaste sättet att köra dem; vår Dell Pro Max 18 Plus leder det fältet med 185 tokens per sekund på Phi. 32B-klassen passar in på fjärde kvartalet men lämnar lite utrymme för kontext, vilket är viktigare än man tror när agenterna väl är inblandade.
Enhetliga och delade minnessystem (96 GB till 128 GB). AMD Strix Halo-maskiner kan tilldela upp till 96 GB system-RAM till GPU:n, och GB10-system som NVIDIA DGX Spark har 128 GB koherent minne. Denna klass kör 70B-modeller vid fjärde kvartalet och GPT-OSS 120B, och byter hastighet mot kapacitet. Topplistan över bästa stationära datorer för lokal AI rankar dem, och samma arkitektur når bärbara datorer i HP ZBook Ultra G1a 14 , som laddade DeepSeek-R1 70B i våra tester.
RTX PRO 6000-torndatorer med arbetsstation (96 GB per kort, upp till 768 GB testat). Hastighet och kapacitet på samma gång: 70B-modeller med högre kvantisering med fullständig kontext, GPT-OSS 120B med headroom, eller flera modeller som är residenta samtidigt för pipelines med flera agenter. Torndatorer med flera GPU:er rankas på vår topplista över bästa stationära datorer för lokal AI , från den fyra GPU-kompatibla HP Z8 Fury G6i till den vätskekylda Comino Grando , som hade åtta kort och 768 GB VRAM i våra tester. Torndatorer med ett enda kort rankas på listan över bästa stationära arbetsstationer , ledda av Dell Pro Precision 9 T2.
Agentskatten: Kontext är en andra minnesbudget
Storleksanpassning från enbart viktfilen fungerar för korta chattsessioner, och agenter bryter mot det antagandet eftersom en agent loopar: den läser verktygsutdata, filer och tidigare steg tillbaka till sitt kontextfönster, och varje token som hålls i kontext kostar minne i KV-cachen ovanpå vikterna, och tabellen nedan visar hur stora dessa kostnader blir.
| Modellklass | KV-cache vid 32K kontext | KV-cache vid 128K kontext | Ungefärlig kostnad per 1 000 tokens |
|---|---|---|---|
| 8B (Llama 3.1 8B, FP16 KV) | 4.19 GB | 16.78 GB | ~ 0.13 GB |
| 70B (Llama 3.3 70B, FP16 KV) | 10.49 GB | 41.94 GB | ~ 0.33 GB |
Läs den tabellen mot storlekstabellen ovan så är problemet uppenbart. En 70B-modell vid Q4 har 43 GB vikter, men vid en full 128K-kontext behöver den ungefär 85 GB totalt, vilket är dubbelt så många vikter. En 8B-modell vid 128K spenderar mer minne på kontext (16.78 GB) än på sina egna Q4-vikter (4.9 GB). KV-cachekvantisering hjälper, där FP8 halverar dessa siffror och INT4 delar upp dem i fyra delar till en viss kvalitetskostnad, men planeringsregeln kvarstår: för agentarbete, budgetera kontexten som en andra modell.
Att servera multiplicerar skatten igen, eftersom om ett system är värd för flera agenter eller användare samtidigt, har varje begäran sin egen KV-cache. vLLM, serveringsstacken vi jämför med på våra lokala AI-topplistor, förallokerar 90 procent av GPU-minnet som standard just för att KV-utrymme är det som avgör hur många samtidiga förfrågningar som överlever utan dataflödesdödande förmånshantering. En maskin som bekvämt kör en chatt kan vara för liten för tre agenter.
System-RAM: Det glömda tredje benet
För GPU-inferens behöver system-RAM bara hållas ur vägen, och 32 GB till 64 GB är ett bekvämt minimum på de maskiner vi testar, och det blir avgörande i två fall. Avlastning, där lager som inte får plats i VRAM-minnet överförs till processorn, fungerar genom minnesmappade modellfiler, så system-RAM-minnet bör åtminstone matcha modellfilstorleken plus operativsystemets utrymme.
På maskiner med enhetligt minne är system-RAM GPU-minnet, vilket är just därför konfigurationer med 64 GB och 128 GB dominerar våra lokala AI-topplistor. Ollamas egen riktlinje använder 8 GB RAM för 7B-modeller, 16 GB för 13B och 32 GB för 33B-klassen; behandla dessa som minimivärden, inte mål.
Förvaring: Benet som alla hoppar över
Modellbibliotek blir snabbt stora, eftersom de tio modellerna i vår storlekstabell totalt uppgår till ungefär 240 GB i sina vanliga kvantiseringar, och ett fungerande bibliotek med några varianter, inbäddade modeller för hämtning och vektorlagringar för agentminne kan passera 500 GB innan några projektdata anländer. Dessutom genererar agentiska arbetsflöden riktig scratch-trafik: loggar, kontrollpunkter och hämtningsindex som finns bredvid modellerna.
Det är hårddiskklassen som visar sig i laddningstiden. Aritmetiken är enkel: en 65 GB GPT-OSS 120B-fil läses på cirka 109 sekunder vid SATA-hastigheter, ungefär 17 sekunder på en Gen3 NVMe-hårddisk och under 9 sekunder vid Gen4-hastigheter, endast vid första laddningen, eftersom operativsystemets cache gör omladdningar nästan omedelbara. Verkliga laddare upprätthåller inte alltid full hårddiskhastighet, så vi planerar att publicera våra egna uppmätta modellbelastningssiffror över olika hårddiskklasser; se ändringsloggen. Vår lagringsledartavla täcker själva hårddiskarna.
Praktisk vägledning: 2TB NVMe är det rimliga utrymmet för en dedikerad AI-arbetsstation, 4TB om maskinen är värd för agenter som ackumulerar tillstånd, och Gen4 eller bättre om du regelbundet byter mellan stora modeller.
Vanliga frågor om Agent AI-hårdvara
Hur mycket VRAM behöver jag för att köra en 70B-modell lokalt?
Ungefär 48 till 50 GB vid fjärde kvartalet med måttlig kontext, vilket är anledningen till att denna klass tillhör 96 GB Unified Memory-maskiner och 96 GB Workstation-GPU:er snarare än något konsumentkort. Flytta kontexten mot 128K och totalen närmar sig 85 GB. Kör den vid fjärde kvartalet och enbart vikterna är 75 GB.
Kan jag köra hela DeepSeek-R1 lokalt?
Inte på något som den här webbplatsen rankar, eftersom den fullständiga 671B-modellen är en 404 GB nedladdning vid fjärde kvartalet och behöver ungefär 450 GB kombinerat minne för att fungera acceptabelt. Den praktiska lokala sökvägen är de officiella destillationerna, och 32B- och 70B-destillationerna i vår storlekstabell fångar upp mycket av kapaciteten vid krav i stationär datorklass.
Ändrar expertblandningsmodeller hårdvarumatematiken?
Väsentligt nog, eftersom MoE-modeller aktiverar en bråkdel av sina parametrar per token, skalar minnet med totala parametrar men hastigheten skalar närmare aktiva parametrar. GPT-OSS 120B (5.1B aktiv) och Qwen3 30B-A3B (3.3B aktiv) kör båda snabbare än deras storlekar antyder på de minnespooler som passar dem. Du behöver fortfarande minnet för alla vikter; du får bara mer hastighet per gigabyte.
Hur mycket lagringsutrymme behöver en AI-arbetsstation?
Planera minst 2 TB NVMe, 4 TB för agentvärdar. Ett blygsamt modellbibliotek ensamt kör hundratals gigabyte, agenter samlar loggar och vektorlagringar, och de största enskilda filerna (65 GB och uppåt) gör långsamma hårddiskar besvärliga varje gång du laddar eller byter en modell.
Vilken hårdvara bör jag köpa specifikt för lokala agenter?
Prioritera minne framför rå hastighet, eftersom agenter lagrar långa kontexter och ibland körs samtidigt, så KV-cachebudgeten spelar lika stor roll som viktbudgeten. Ett enhetligt minnessystem på 96 GB till 128 GB på vår lokala AI-topplista för stationära datorer är det mest ekonomiska alternativet, och RTX PRO 6000-torn på arbetsstationens topplista är svaret när både hastighet och samtidighet spelar roll.
Recenserad: GB300-numren är inne
Allt ovanstående återspeglar hårdvara vi har testat, och systemet vi sa skulle ändra matematiken har nu gjort det. Vår recension av MSI XpertStation WS300 , den första GB300 DGX Stationen i våra händer, är live: en 748 GB koherent minnespool som spänner över 252 GB HBM3e och 496 GB LPDDR5X, 20 petaFLOPS FP4, och i våra tester tjänade den en 433 GB GLM-5.2-kontrollpunkt som inte hör hemma på en arbetsstation, med 216 GB expertvikter i Grace-minnet.
Anledningen till att det är viktigt för den här guiden är minne. Varje rekommendation på den här sidan arbetar kring ett hårt tak, där modeller delas upp mellan GPU:er, lutar sig mot kvantisering eller accepterar CPU-offload när vikter och KV-cache inte får plats. NVIDIA specificerar GB300-stationära system med flera hundra gigabyte koherent minne som kan adresseras av acceleratorn, vilket är en annan storleksordning än korten i 96 GB-klassen som förankrar tabellerna ovan. Modellklasser som för närvarande kräver ett torn med flera GPU:er, eller som vi listar som opraktiska att köra lokalt överhuvudtaget, flyttar in i single-box-serien.
Ingen siffra i tabellerna ovan är ännu baserad på GB300; storleksmatchningen mot WS300-resultaten är nästa steg, och ändringen kommer att noteras i loggen nedan.
Hur vi underhåller den här guiden
Modellstorlekar och den populära modelllistan ändras kvartalsvis, snabbare än någon annan hårdvarucykel. Vi verifierar storlekstabellen mot officiella utgåvor kvartalsvis, och labbets kvitton läggs till när nya system godkänns av våra lokala AI-tester. Ändringar visas i den daterade noteringen högst upp på sidan. Storlekssiffror markerade som uppskattningar använder den publicerade viktfilen plus uppmätta KV-cachekostnader och standardomkostnader för körtid; leverantörsangivna siffror identifieras som sådana.
Amazon