Aktualisiert am 16. August 2026: Erstveröffentlichung. Die Größenangaben und Speicherkapazitäten der Modelle wurden mit den offiziellen Veröffentlichungen der Modelle zum Stichtag abgeglichen; diese Tabelle wird vierteljährlich aktualisiert, da sich die Größenangaben der Modelle ändern können.
Jede Hardware-Anleitung für lokale KI läuft letztendlich auf eine Frage hinaus: Passt das Modell? Diese Seite liefert die Antwort anhand von Zahlen und geht über die technischen Daten hinaus. Jede in den folgenden Tabellen aufgeführte Modellklasse wurde im StorageReview-Labor getestet, und die Hardware-Empfehlungen verweisen auf Systeme, die wir tatsächlich in unseren Bestenlisten für lokale KI auf Desktop- und Laptop-Computern geprüft haben.
Kurz gesagt: Die Parameteranzahl allein reicht nicht mehr aus, um den Hardwarebedarf vorherzusagen. Quantisierung reduziert die Gewichtungen um etwa den Faktor 4, Mixture-of-Experts-Modelle benötigen deutlich weniger Speicherplatz als die Gesamtparameteranzahl vermuten lässt, und agentenbasierte Workloads verursachen zusätzlichen Speicherbedarf, der in den meisten Dimensionierungsleitfäden völlig außer Acht gelassen wird. Hier erfahren Sie, wie Sie alle drei Faktoren optimal planen.
Speicherbedarf des Modells
Die unten aufgeführten Dateigrößen entsprechen den gängigen quantisierten Q4_K_M-Releases (bzw. dem nativen Format, sofern angegeben), wie sie im August 2026 auf Ollama und Hugging Face veröffentlicht wurden. Die Spalte „Speicherbedarf“ berücksichtigt den zusätzlichen Arbeitsaufwand und ein moderates Kontextfenster; mit einem Sternchen gekennzeichnete Werte sind Schätzwerte, während die Werte für GPT-OSS und DeepSeek 671B auf Angaben der Hersteller beruhen.
| Modell | Kenngrößen | Q4 / Nativer Download | Zu betreibender Speicher* | Läuft auf |
|---|---|---|---|---|
| Lama 3.1 8B | 8B | 4.9 GB | ca. 6 bis 8 GB | Laptops mit 8 GB VRAM und auf |
| Phi-4 14B | 14.7 Mrd | 9.1 GB | ca. 11 bis 12 GB | 16 GB VRAM oder Laptops mit 64 GB gemeinsamem Speicher |
| GPT-OSS 20B (MXFP4) | 21B (3.6B aktiv) | 12 bis 14 GB | ca. 13 bis 16 GB | 16 GB VRAM, Laptops mit gemeinsamem Speicher |
| Mistral Small 3.2 24B | 24 Mrd | 15 GB | ca. 18 bis 20 GB | Laptops mit 24 GB RTX PRO |
| Gemma 3 27B | 27 Mrd | 17 GB | ca. 20 bis 22 GB | Laptops mit 24 GB RTX PRO, Desktop-Systeme mit einheitlichem Speicher |
| Qwen3 30B-A3B | 30.5B (3.3B aktiv) | 19 GB | ca. 22 bis 24 GB | 24 GB VRAM (knapp) oder einheitliches Gedächtnis |
| QwQ 32B / DeepSeek-R1 32B | 32 Mrd | 20 GB | ca. 22 bis 24 GB | 24 GB VRAM (knapp) oder einheitliches Gedächtnis |
| Llama 3.3 70B / R1 Destille 70B | 70 Mrd | 43 GB | ca. 48 bis 50 GB | 96 GB+ gemeinsamer Speicher, RTX PRO 6000 Tower |
| GPT-OSS 120B (MXFP4) | 117B (5.1B aktiv) | 65 GB | ca. 65 bis 80 GB | 96 GB bis 128 GB gemeinsamer Speicher, 96GB GPUs |
| DeepSeek-R1 671B (vollständig) | 671B (37B aktiv) | 404 GB | 450+GB | Für Desktop-PCs unerreichbar; Bereich für Rack-Systeme. |
Die Schätzungen basieren auf ca. 8 KB aktivem Kontext und einem Laufzeit-Overhead von ca. 15 % zusätzlich zur Gewichtsdatei. Größere Kontexte verursachen deutlich höhere Kosten; siehe dazu die Agentensteuer weiter unten.
Zwei Muster sind bemerkenswert. Erstens: Die Zusammensetzung der Expertengruppe verändert die Berechnungen: GPT-OSS 120B umfasst 117 Milliarden Parameter, aktiviert aber nur 5.1 Milliarden pro Token. Daher benötigt es einen einzelnen Arbeitsspeicherpool von 96 bis 128 GB, während OpenAI eine einzelne 80-GB-GPU als Ziel angibt. Wir haben es auf dem HP Z2 Mini G1a getestet , einem 1-Liter-Gerät ohne dedizierte GPU. Zweitens: DeepSeek-R1 mit seinen 671 Milliarden Parametern spielt in einer ganz anderen Liga: Allein der Download im vierten Quartal umfasst 404 GB, und für eine akzeptable Ausführung werden etwa 450 GB Arbeitsspeicher benötigt. Keines der Geräte in unseren Bestenlisten schafft es, und kein Desktop-PC sollte es versuchen.
Was läuft wo
Laptops mit 8 GB VRAM (RTX PRO 500 bis 2000 Klasse) sind empfehlenswert. Die Modelle 7B bis 8B aus dem vierten Quartal sowie die kleineren Varianten Phi und Gemma laufen problemlos. Die Leistungsgrenze ist jedoch klar definiert: In unseren Tests erreichte ein 13B-Modell, das ca. 12 GB Grafikspeicher benötigte, selbst mit 8-GB-Karten nicht die volle Leistung. Unsere Seite „Beste Laptops für lokale KI“ bietet einen umfassenden Überblick.
Systeme mit 24 GB VRAM (RTX PRO 5000 Laptops, Desktop-RTX-Karten) sind optimal für Modelle mit 14 bis 27 Milliarden Tokens und bieten ausreichend Spielraum für Kontextinformationen. Unser Dell Pro Max 18 Plus ist mit 185 Tokens pro Sekunde auf Phi führend. Die 32-B-Klasse passt zwar ins vierte Quartal, lässt aber wenig Spielraum für Kontextinformationen, was sich bei der Einbindung von Agenten als wichtiger erweist als man denkt.
Systeme mit einheitlichem und gemeinsamem Speicher (96 GB bis 128 GB). AMD Strix Halo-Systeme können der GPU bis zu 96 GB Arbeitsspeicher zuweisen, und GB10-Systeme wie der NVIDIA DGX Spark verfügen über 128 GB zusammenhängenden Speicher. Diese Klasse nutzt 70-Bit-Modelle mit Q4- und GPT-OSS-Prozessoren mit 120 Bit, wobei Geschwindigkeit gegen Speicherkapazität abgewogen wird. Die Bestenliste der Desktop-PCs für lokale KI führt diese Systeme auf, und dieselbe Architektur findet sich auch in Laptops wie dem HP ZBook Ultra G1a 14 , der in unseren Tests mit DeepSeek-R1 70B ausgestattet war.
RTX PRO 6000 Workstation-Tower (96 GB pro Karte, bis zu 384 GB getestet). Geschwindigkeit und Kapazität in einem: 70-Bit-Modelle mit höherer Quantisierung und vollem Kontext, GPT-OSS 120-Bit mit Leistungsreserven oder mehrere Modelle gleichzeitig für Multi-Agent-Pipelines. Unsere Bestenliste der Desktop-Workstations umfasst diese Klasse, angeführt vom HP Z8 Fury G6i mit vier GPUs.
Die Agentensteuer: Kontext ist ein zweites Speicherbudget
Die Größenbestimmung anhand der Gewichtsdatei allein ist für kurze Chat-Sitzungen ausreichend. Agenten widerlegen diese Annahme. Ein Agent durchläuft eine Schleife: Er liest Tool-Ausgaben, Dateien und vorherige Schritte zurück in sein Kontextfenster, und jedes im Kontext gespeicherte Token belegt zusätzlich zu den Gewichtungen Speicherplatz im KV-Cache. Die Kosten sind nicht unerheblich.
| Modellklasse | KV-Cache bei 32K Kontext | KV-Cache bei 128K Kontext | Ungefähre Kosten pro 1,000 Token |
|---|---|---|---|
| 8B (Llama 3.1 8B, FP16 KV) | 4.19 GB | 16.78 GB | ~ 0.13 GB |
| 70B (Llama 3.3 70B, FP16 KV) | 10.49 GB | 41.94 GB | ~ 0.33 GB |
Vergleicht man diese Tabelle mit der obigen Dimensionierungstabelle, wird das Problem deutlich. Ein 70-Byte-Modell im Quantisierungszustand Q4 benötigt 43 GB an Gewichten, aber bei einem vollständigen Kontext von 128 KB sind es insgesamt etwa 85 GB – also das Doppelte der Gewichte. Ein 8-Byte-Modell mit 128 KB benötigt mehr Speicher für den Kontext (16.78 GB) als für seine eigenen Gewichte im Quantisierungszustand Q4 (4.9 GB). Die KV-Cache-Quantisierung hilft zwar, wobei FP8 diese Werte halbiert und INT4 sie viertelt – allerdings mit gewissen Qualitätseinbußen –, aber die Planungsregel bleibt bestehen: Bei agentenbasierten Operationen sollte der Kontext wie ein zweites Modell eingeplant werden.
Das Bedienen von Anfragen erhöht den Aufwand zusätzlich. Wenn ein System mehrere Agenten oder Benutzer gleichzeitig bedient, belegt jede Anfrage ihren eigenen Key-Value-Cache. vLLM, der Server-Stack, mit dem wir unsere Local AI-Bestenlisten erstellen, reserviert standardmäßig 90 Prozent des GPU-Speichers, da der Key-Value-Speicher darüber entscheidet, wie viele gleichzeitige Anfragen ohne durchsatzmindernde Unterbrechungen verarbeitet werden können. Ein System, das einen Chat problemlos ausführen kann, ist für drei Agenten möglicherweise unterdimensioniert.
Arbeitsspeicher: Das vergessene dritte Bein
Für reine GPU-basierte Inferenz sollte der System-RAM möglichst wenig Speicherplatz belegen. 32 bis 64 GB sind auf den von uns getesteten Systemen ein komfortabler Mindestwert. Dies ist in zwei Fällen entscheidend: Beim Offloading, bei dem Layer, die nicht in den VRAM passen, auf die CPU ausgelagert werden, werden speicherabgebildete Modelldateien verwendet. Daher sollte der System-RAM mindestens der Modelldateigröße plus dem verfügbaren Speicherplatz des Betriebssystems entsprechen. Auf Systemen mit integriertem Speicher entspricht der System-RAM dem GPU-Speicher. Genau deshalb dominieren Konfigurationen mit 64 GB und 128 GB unsere Local AI-Bestenlisten. Ollama empfiehlt 8 GB RAM für 7-Bit-Modelle, 16 GB für 13-Bit-Modelle und 32 GB für die 33-Bit-Klasse. Diese Werte sind als Mindestwerte und nicht als Zielwerte zu verstehen.
Lagerung: Das Bein, das jeder überspringt
Modellbibliotheken wachsen schnell. Die zehn Modelle in unserer Größentabelle belegen in ihren üblichen Quantisierungen insgesamt etwa 240 GB. Eine funktionierende Bibliothek mit einigen Varianten, eingebetteten Modellen für den Datenabruf und Vektorspeichern für den Agentenspeicher kann bereits vor dem Eintreffen von Projektdaten 500 GB überschreiten. Hinzu kommt, dass agentenbasierte Workflows zusätzlichen Datenverkehr erzeugen: Protokolle, Prüfpunkte und Abrufindizes, die parallel zu den Modellen verwaltet werden.
Die Ladezeit ist der entscheidende Faktor für die Leistungsfähigkeit des Laufwerks. Die Berechnung ist einfach: Eine 65 GB große GPT-OSS-Datei mit 120 Byte wird bei SATA-Geschwindigkeit in etwa 109 Sekunden gelesen, auf einem Gen3-NVMe-Laufwerk in rund 17 Sekunden und bei Gen4-Geschwindigkeit in unter 9 Sekunden – allerdings nur beim ersten Ladevorgang, da der Seitencache des Betriebssystems das erneute Laden nahezu verzögerungsfrei ermöglicht. Da in der Praxis jedoch nicht immer die volle Laufwerksgeschwindigkeit erreicht wird, werden wir eigene, gemessene Ladezeiten für verschiedene Laufwerksklassen veröffentlichen; siehe dazu das Änderungsprotokoll. Unsere Speicher-Rangliste bietet einen Überblick über die einzelnen Laufwerke.
Praktische Hinweise: 2 TB NVMe sind die sinnvolle Untergrenze für eine dedizierte KI-Workstation, 4 TB, wenn die Maschine Agenten hostet, die Zustände akkumulieren, und Gen4 oder besser, wenn Sie regelmäßig zwischen großen Modellen wechseln.
Agentic AI Hardware – Häufig gestellte Fragen
Wie viel VRAM benötige ich, um ein 70B-Modell lokal zu betreiben?
Bei moderater Kontextlast beträgt der Speicherbedarf im vierten Quartal etwa 48 bis 50 GB. Daher zählt diese Klasse eher zu Systemen mit 96 GB Arbeitsspeicher und Workstation-GPUs mit 96 GB als zu Consumer-Grafikkarten. Steigert man die Kontextlast auf 128 KB, nähert sich der Gesamtbedarf 85 GB. Bei einer Kontextlast im achten Quartal beträgt der Speicherbedarf allein durch die Gewichte 75 GB.
Kann ich DeepSeek-R1 vollständig lokal ausführen?
Nicht in den Rankings dieser Seite enthalten. Das vollständige 671B-Modell hat eine Downloadgröße von 404 GB (Q4) und benötigt für einen akzeptablen Betrieb etwa 450 GB Arbeitsspeicher. Die praktikabelste lokale Installationsmethode sind die offiziellen Destillate. Die 32B- und 70B-Destillate in unserer Dimensionierungstabelle decken einen Großteil der Leistungsfähigkeit für Desktop-Anwendungen ab.
Verändern Mixture-of-Experts-Modelle die Hardware-Mathematik?
Im Wesentlichen ja. MoE-Modelle aktivieren nur einen Teil ihrer Parameter pro Token, daher skaliert der Speicherbedarf mit der Gesamtzahl der Parameter, die Geschwindigkeit jedoch eher mit den aktiven Parametern. GPT-OSS 120B (5.1 B aktiv) und Qwen3 30B-A3B (3.3 B aktiv) laufen beide schneller, als ihre Größe vermuten lässt, auf den Speicherpools, die zu ihnen passen. Der Speicher wird weiterhin für alle Gewichtungen benötigt; man erhält lediglich mehr Geschwindigkeit pro Gigabyte.
Wie viel Speicherplatz benötigt eine KI-Workstation?
Planen Sie mindestens 2 TB NVMe-SSD ein, 4 TB für Agenten-Hosts. Allein eine kleine Modellbibliothek umfasst Hunderte von Gigabyte, Agenten sammeln Protokolle und Vektordaten, und die größten Einzeldateien (65 GB und mehr) machen langsame Festplatten jedes Mal zur Belastung, wenn Sie ein Modell laden oder austauschen.
Welche Hardware sollte ich speziell für die lokalen Agenten kaufen?
Speicher sollte Vorrang vor reiner Geschwindigkeit haben. Da Agenten lange Kontexte verwalten und teilweise parallel ausgeführt werden, ist das Budget für den KV-Cache ebenso wichtig wie das Speicherbudget. Ein System mit 96 GB bis 128 GB Arbeitsspeicher ist in unserer Rangliste für lokale KI-Desktop-PCs die wirtschaftlichste Lösung, während RTX PRO 6000-Tower in der Rangliste für Workstations die beste Wahl sind, wenn sowohl Geschwindigkeit als auch Parallelverarbeitung wichtig sind.
Rezension: Die GB300-Zahlen sind da.
Alle oben genannten Angaben beziehen sich auf von uns getestete Hardware, und das System, von dem wir sagten, es würde die Berechnungen verändern, hat dies nun getan. Unser Test der MSI XpertStation WS300 , der ersten GB300 DGX-Station in unseren Händen, ist online: ein zusammenhängender Speicherpool von 748 GB, bestehend aus 252 GB HBM3e und 496 GB LPDDR5X, 20 PetaFLOPS FP4, und in unseren Tests diente sie als 433 GB großer GLM-5.2-Checkpoint, der auf einer Workstation eigentlich nichts zu suchen hat, wobei 216 GB an Experten-Gewichten im Grace-Speicher lagen.
Der Grund, warum dies für diesen Leitfaden relevant ist, liegt im verfügbaren Speicher. Jede Empfehlung auf dieser Seite berücksichtigt eine feste Obergrenze, indem Modelle auf mehrere GPUs verteilt, Quantisierung genutzt oder CPU-Auslastung in Kauf genommen wird, wenn Gewichte und KV-Cache nicht ausreichen. NVIDIA spezifiziert die GB300-Desktop-Systeme mit mehreren hundert Gigabyte zusammenhängendem, vom Beschleuniger adressierbarem Speicher – eine ganz andere Größenordnung als bei den 96-GB-Karten, die den obigen Tabellen zugrunde liegen. Modellklassen, die aktuell einen Multi-GPU-Tower benötigen oder deren lokale Ausführung wir als unpraktisch einstufen, können nun mit einem einzigen System ausgeführt werden.
Wir werden erst dann konkrete Zahlen nennen, wenn wir den Test durchgeführt haben. Keine der Angaben auf dieser Seite basiert auf GB300, und es wurden auch keine Anpassungen im Hinblick darauf vorgenommen. Sobald der Test veröffentlicht ist, wird diese Anleitung anhand der Messergebnisse überarbeitet, und die Änderungen werden im untenstehenden Protokoll vermerkt.
Wie wir diesen Leitfaden pflegen
Modellgrößen und die Liste beliebter Modelle ändern sich vierteljährlich, schneller als jeder Hardwarezyklus. Wir überprüfen die Größentabelle vierteljährlich anhand der offiziellen Veröffentlichungen und ergänzen die Laborbelege, sobald neue Systeme unsere Local AI-Tests bestanden haben. Änderungen werden im datierten Hinweis oben auf der Seite vermerkt. Als Schätzwerte gekennzeichnete Größenangaben basieren auf der veröffentlichten Gewichtsdatei zuzüglich gemessener KV-Cache-Kosten und des üblichen Laufzeit-Overheads; Herstellerangaben sind entsprechend gekennzeichnet.
Amazon