Actualizat pe 24 octombrie 2026: Nota despre plăcile de bază RTX PRO 6000 indică acum plăcile de bază cu mai multe GPU ca fiind cele mai bune desktopuri pentru inteligență artificială locală, iar plăcile de bază cu o singură placă de bază ca fiind cele mai bune stații de lucru desktop, corespunzând cu împărțirea din 20 octombrie între aceste plăci de bază, iar plafonul testat reflectă acum placa de bază Comino Grando cu opt plăci de bază și 768 GB. Publicat inițial pe 16 august 2026, cu dimensiunile modelelor verificate în raport cu versiunile oficiale la momentul publicării și actualizate trimestrial.
Fiecare ghid hardware pentru IA locală se reduce în cele din urmă la o singură întrebare: se va potrivi modelul? Această pagină răspunde la această întrebare cu cifre, apoi merge cu un pas mai departe decât calculele din fișa cu specificații. În tabelele de mai jos apare o clasă de modele, am rulat-o în laboratorul StorageReview, iar recomandările hardware fac trimitere la sistemele pe care le-am testat în clasamentele noastre pentru IA locală pe desktopuri și laptopuri .
Pe scurt: numărul de parametri nu mai prezice cerințele hardware. Cuantizarea reduce ponderile de aproximativ 4 ori, modelele cu amestec de experți rulează mult mai ușor decât sugerează numărul total de parametri, iar sarcinile de lucru agențice adaugă o taxă de memorie pe care majoritatea ghidurilor de dimensionare o omit complet, iar secțiunile de mai jos le bugetează pe toate trei.
Cerințe de memorie pentru model
Dimensiunile fișierelor de mai jos reprezintă versiunile cuantizate comune Q4_K_M (sau formatul nativ, acolo unde este menționat), așa cum au fost publicate pe Ollama și Hugging Face în august 2026. Coloana „Memorie de rulare” adaugă cheltuieli generale de lucru și o fereastră de context moderată; cifrele marcate cu un asterisc sunt estimări calculate, în timp ce cifrele GPT-OSS și DeepSeek 671B sunt declarațiile proprii ale furnizorilor.
| Model | parametrii | T4 / Descărcare nativă | Memorie de funcționare* | Funcționează |
|---|---|---|---|---|
| Lama 3.1 8B | 8B | 4.9 GB | ~6 până la 8 GB | Laptopuri cu 8 GB de memorie VRAM si sus |
| Phi-4 14B | 14.7B | 9.1 GB | ~11 până la 12 GB | 16 GB VRAM sau Laptopuri cu memorie partajată de 64 GB |
| GPT-OSS 20B (MXFP4) | 21B (3.6B activ) | 12 până la 14 GB | ~13 până la 16 GB | 16 GB de memorie VRAM, laptopuri cu memorie partajată |
| Mistral Mic 3.2 24B | 24B | 15 GB | ~18 până la 20 GB | Laptopuri RTX PRO de 24 GB |
| Gemma 3 27B | 27B | 17 GB | ~20 până la 22 GB | Laptopuri RTX PRO de 24 GB, desktop-uri cu memorie unificată |
| Qwen3 30B-A3B | 30.5B (3.3B activ) | 19 GB | ~22 până la 24 GB | 24 GB VRAM (slab) sau memorie unificată |
| QwQ 32B / DeepSeek-R1 32B | 32B | 20 GB | ~22 până la 24 GB | 24 GB VRAM (slab) sau memorie unificată |
| Llama 3.3 70B / R1 Distill 70B | 70B | 43 GB | ~48 până la 50 GB | Memorie unificată de peste 96 GB, Turnuri RTX PRO 6000 |
| GPT-OSS 120B (MXFP4) | 117B (5.1B activ) | 65 GB | ~65 până la 80 GB | Memorie unificată de la 96 GB la 128 GB, GPU-uri de 96 GB |
| DeepSeek-R1 671B (complet) | 671B (37B activ) | 404 GB | 450+GB | Inaccesibil desktopurilor; teritoriu rack-scalable |
*Estimările presupun aproximativ 8K de context activ și aproximativ 15% din costul general de execuție, pe lângă fișierul de ponderare. Contextele mai mari costă substanțial mai mult; consultați taxa de agenție de mai jos.
Două modele din tabelul respectiv merită atenție, iar primul este că amestecul de experți schimbă calculele: GPT-OSS 120B are 117 miliarde de parametri, dar activează doar 5.1 miliarde per token, deci rulează pe un singur pool de memorie de 96 GB până la 128 GB, iar OpenAI definește ca țintă un singur GPU de 80 GB. L-am rulat pe HP Z2 Mini G1a , o mașină de 1 litru fără GPU dedicată. În al doilea rând, DeepSeek-R1 complet la 671 de miliarde de parametri se află într-un univers diferit: 404 GB doar pentru descărcare în trimestrul 4, aproximativ 450 GB de memorie combinată pentru a-l rula acceptabil. Nimic din clasamentele noastre nu îl rulează și niciun desktop nu ar trebui să încerce.
Ce se execută unde
Laptopuri cu 8GB VRAM (clasa RTX PRO 500 până la 2000). Confortabil cu modelele 7B până la 8B în trimestrul 4 și variantele mai mici Phi și Gemma. Limita este reală: în testele noastre, un model 13B care necesita aproximativ 12 GB de memorie grafică pur și simplu nu a funcționat pe plăci de 8 GB. Pagina noastră „ Cele mai bune laptopuri pentru inteligență artificială locală” acoperă acest domeniu.
Sisteme cu 24 GB de memorie VRAM (laptopuri RTX PRO 5000, plăci RTX pentru desktop). Punctul ideal pentru modelele de la 14B la 27B, cu context de rezervă și cea mai rapidă modalitate de a le rula; Dell Pro Max 18 Plus este lider în acest segment, cu 185 de jetoane pe secundă pe Phi. Clasa de 32B se încadrează în trimestrul 4, dar lasă puțin loc pentru context, ceea ce contează mai mult decât credeți odată ce sunt implicați agenți.
Sisteme cu memorie unificată și partajată (96 GB până la 128 GB). Mașinile AMD Strix Halo pot aloca până la 96 GB de RAM de sistem GPU-ului, iar sistemele GB10, precum NVIDIA DGX Spark, au 128 GB de memorie coerentă. Această clasă rulează modele 70B în trimestrul 4 și GPT-OSS 120B, schimbând viteza cu capacitatea. Clasamentul Best Desktops for Local AI le clasează, iar aceeași arhitectură ajunge și la laptopurile din HP ZBook Ultra G1a 14 , care a încărcat DeepSeek-R1 70B în testele noastre.
Stații de lucru turn cu RTX PRO 6000 (96 GB per placă, până la 768 GB testați). Viteză și capacitate simultane: modele de 70B la cuantizare mai mare cu context complet, GPT-OSS de 120B cu headroom sau mai multe modele rezidente simultan pentru conducte multi-agent. Stațiile de lucru turn cu mai multe GPU se clasează în clasamentul nostru Cele mai bune desktopuri pentru AI local , de la HP Z8 Fury G6i cu patru GPU până la Comino Grando răcit cu lichid , care a echipat opt plăci video și 768 GB de VRAM în testele noastre. Stațiile de lucru turn cu o singură placă se clasează în clasamentul Cele mai bune stații de lucru desktop , conduse de Dell Pro Precision 9 T2.
Taxa agentică: contextul este un al doilea buget de memorie
Dimensionarea doar din fișierul de ponderi funcționează pentru sesiuni scurte de chat, iar agenții încalcă această presupunere deoarece un agent face o buclă: citește ieșirea instrumentului, fișierele și pașii anteriori înapoi în fereastra sa de context, iar fiecare token păstrat în context costă memorie în memoria cache KV pe lângă ponderi, iar tabelul de mai jos arată cât de mari devin aceste costuri.
| Clasa de model | Cache KV la contextul de 32K | Cache KV la contextul de 128K | Cost aproximativ per 1,000 de jetoane |
|---|---|---|---|
| 8B (Llama 3.1 8B, FP16 KV) | 4.19 GB | 16.78 GB | ~ 0.13 GB |
| 70B (Llama 3.3 70B, FP16 KV) | 10.49 GB | 41.94 GB | ~ 0.33 GB |
Citiți tabelul respectiv comparativ cu cel de dimensionare de mai sus și problema este evidentă. Un model de 70B la Q4 are 43 GB de ponderi, dar la un context complet de 128K are nevoie de aproximativ 85 GB în total, ceea ce este dublul ponderilor. Un model de 8B la 128K cheltuiește mai multă memorie pe context (16.78 GB) decât pe propriile ponderi Q4 (4.9 GB). Cuantizarea memoriei cache KV ajută, FP8 înjumătățind aceste cifre și INT4 împărțindu-le în patru la un anumit cost al calității, dar regula de planificare rămâne valabilă: pentru munca agențică, contextul bugetar este ca un al doilea model.
Servirea multiplică din nou taxa, deoarece dacă un sistem găzduiește mai mulți agenți sau utilizatori simultan, fiecare solicitare deține propria memorie cache KV. vLLM, stiva de servire cu care ne comparăm în clasamentele noastre locale de inteligență artificială, prealocă în mod implicit 90% din memoria GPU tocmai pentru că spațiul KV este cel care determină câte solicitări simultane supraviețuiesc fără o preempțiune care să afecteze debitul. O mașină care rulează confortabil un singur chat poate fi subdimensionată pentru trei agenți.
RAM-ul sistemului: Al treilea picior uitat
Pentru inferența exclusivă GPU, memoria RAM a sistemului trebuie doar să fie eliminată, iar 32 GB până la 64 GB reprezintă un minim confortabil pe mașinile pe care le testăm și devine decisivă în două cazuri. Descărcarea, unde straturile care nu se încadrează în VRAM se revarsă în CPU, funcționează prin fișiere model mapate în memorie, așa că memoria RAM a sistemului ar trebui să se potrivească cel puțin cu dimensiunea fișierului model plus spațiul disponibil pentru sistemul de operare.
Pe mașinile cu memorie unificată, memoria RAM a sistemului este memoria GPU, motiv pentru care configurațiile de 64 GB și 128 GB domină clasamentele noastre cu inteligență artificială locală. Ghidul propriu al lui Ollama utilizează 8 GB de RAM pentru modelele 7B, 16 GB pentru cele 13B și 32 GB pentru cele 33B; tratați-le ca minime, nu ca ținte.
Depozitare: Piciorul pe care toată lumea îl sar peste
Bibliotecile de modele se măresc rapid, deoarece cele zece modele din tabelul nostru de dimensionare însumează aproximativ 240 GB în cuantizările lor comune, iar o bibliotecă funcțională cu câteva variante, modele încorporate pentru recuperare și depozite vectoriale pentru memoria agenților poate trece prin 500 GB înainte ca datele proiectului să sosească. În plus, fluxurile de lucru agențice generează trafic real: jurnale, puncte de control și indexuri de recuperare care coexistă alături de modele.
Timpul de încărcare este punctul în care apare clasa unității. Aritmetica este simplă: un fișier GPT-OSS 120B de 65 GB se citește în aproximativ 109 secunde la viteze SATA, aproximativ 17 secunde pe o unitate NVMe Gen3 și sub 9 secunde la viteze Gen4, doar la prima încărcare, deoarece memoria cache a paginii sistemului de operare face ca reîncărcările să fie aproape instantanee. Încărcătoarele din lumea reală nu mențin întotdeauna viteza completă a unității, așa că intenționăm să publicăm propriile noastre cifre măsurate privind încărcarea modelului în toate clasele de unități; urmăriți jurnalul modificărilor. Clasamentul nostru de stocare acoperă unitățile în sine.
Îndrumări practice: NVMe de 2 TB este nivelul potrivit pentru o stație de lucru dedicată inteligenței artificiale, 4 TB dacă mașina găzduiește agenți care acumulează stare și Gen4 sau mai bun dacă comutați în mod regulat între modele mari.
Întrebări frecvente despre hardware-ul Agentic AI
De câtă memorie VRAM am nevoie pentru a rula local un model 70B?
Aproximativ 48 până la 50 GB în trimestrul 4, cu un context moderat, motiv pentru care această clasă aparține mașinilor cu memorie unificată de 96 GB și plăcilor grafice pentru stații de lucru de 96 GB, mai degrabă decât oricărei plăci video pentru consumatori. Dacă se împinge contextul spre 128K, totalul se apropie de 85 GB. Dacă se rulează în trimestrul 8, ponderile sunt de 75 GB.
Pot rula local versiunea completă de DeepSeek-R1?
Nu pe baza niciunei criterii pe care o clasează acest site, deoarece modelul complet 671B este o descărcare de 404 GB în trimestrul 4 și necesită aproximativ 450 GB de memorie combinată pentru a rula acceptabil. Calea locală practică este reprezentată de distilațiile oficiale, iar distilațiile de 32B și 70B din tabelul nostru de dimensionare surprind o mare parte din capacitate la cerințele clasei desktop.
Modelele cu un amestec de experți schimbă matematica hardware-ului?
În mod substanțial, deoarece modelele MoE activează o fracțiune din parametrii lor per token, memoria se scalează cu parametrii totali, dar viteza se scalează mai aproape de parametrii activi. GPT-OSS 120B (5.1B activ) și Qwen3 30B-A3B (3.3B activ) rulează ambele mai rapid decât sugerează dimensiunile lor pe pool-urile de memorie care li se potrivesc. Încă aveți nevoie de memorie pentru toate ponderile; obțineți doar mai multă viteză per gigabyte.
De cât spațiu de stocare are nevoie o stație de lucru cu inteligență artificială?
Planificați un spațiu NVMe de minimum 2 TB, 4 TB pentru gazdele agenților. O bibliotecă modestă de modele rulează sute de gigaocteți, agenții acumulează jurnale și stocează vectori, iar cele mai mari fișiere individuale (65 GB și mai mult) fac ca unitățile lente să fie dificile de fiecare dată când încărcați sau schimbați un model.
Ce hardware ar trebui să cumpăr în mod specific pentru agenții locali?
Prioritizați memoria în detrimentul vitezei brute, deoarece agenții dețin contexte lungi și uneori rulează concomitent, așadar bugetul de memorie cache KV contează la fel de mult ca bugetul de ponderare. Un sistem de memorie unificată de 96 GB până la 128 GB în clasamentul nostru local AI pentru desktop-uri este cea mai economică opțiune, iar turnurile RTX PRO 6000 în clasamentul stațiilor de lucru sunt răspunsul atunci când viteza și concurența contează ambele.
Recenzie: Numerele GB300 au sosit
Tot ce este menționat mai sus reflectă hardware-ul pe care l-am testat, iar sistemul despre care spuneam că va schimba calculele a făcut-o deja. Recenzia noastră despre MSI XpertStation WS300 , prima stație GB300 DGX prin care am lucrat, este disponibilă: un pool de memorie coerentă de 748 GB care se întinde pe 252 GB de HBM3e și 496 GB de LPDDR5X, 20 petaFLOPS de FP4, iar în testele noastre a servit un punct de control GLM-5.2 de 433 GB care nu are ce căuta pe o stație de lucru, cu 216 GB de memorie expertă în memoria Grace.
Motivul pentru care este important pentru acest ghid este memoria. Fiecare recomandare de pe această pagină funcționează în jurul unui plafon fix, împărțind modelele între GPU-uri, bazându-se pe cuantizare sau acceptând descărcarea CPU atunci când ponderile și memoria cache KV nu se potrivesc. NVIDIA specifică sistemele GB300 de tip desktopside cu câteva sute de gigaocteți de memorie coerentă adresabilă de accelerator, ceea ce reprezintă un ordin de mărime diferit față de plăcile din clasa de 96 GB care stau la baza tabelelor de mai sus. Clasele de modele care necesită în prezent un turn multi-GPU sau pe care le enumerăm ca fiind impracticabile pentru a rula local, trec în gama single-box.
Nicio cifră din tabelele de mai sus nu este încă bazată pe GB300; următoarea este trecerea de dimensionare în funcție de rezultatele WS300, iar modificarea va fi consemnată în jurnalul de mai jos.
Cum întreținem acest ghid
Dimensiunile modelelor și lista de modele populare se schimbă trimestrial, mai rapid decât orice ciclu hardware. Verificăm din nou tabelul de dimensionare în raport cu versiunile oficiale la o trecere trimestrială, iar chitanțele de laborator sunt adăugate pe măsură ce sistemele noi trec de testele noastre locale de inteligență artificială. Modificările apar în nota datată din partea de sus a paginii. Cifrele de dimensionare marcate ca estimări utilizează fișierul de greutate publicat plus costurile măsurate ale memoriei cache KV și cheltuielile generale standard de execuție; cifrele declarate de furnizor sunt identificate ca atare.
Amazon