Aktualisiert am 24. Oktober 2026: Der Hinweis zu den RTX PRO 6000 Tower-PCs verweist nun Multi-GPU-Tower-PCs auf die Kategorie „Beste Desktop-PCs für lokale KI“ und Single-GPU-Tower-PCs auf die Kategorie „Beste Desktop-Workstations“. Dies entspricht der Aufteilung vom 20. Oktober. Die getestete maximale Leistung entspricht nun dem Modell Comino Grando mit acht Grafikkarten und 768 GB Speicher. Ursprünglich veröffentlicht am 16. August 2026. Die Modellgrößen wurden zum Zeitpunkt der Veröffentlichung mit den offiziellen Angaben abgeglichen und werden vierteljährlich aktualisiert.
Jede Hardware-Anleitung für lokale KI läuft letztendlich auf eine Frage hinaus: Passt das Modell? Diese Seite liefert die Antwort anhand von Zahlen und geht darüber hinaus. Jede in den folgenden Tabellen aufgeführte Modellklasse wurde im StorageReview-Labor getestet, und die Hardware-Empfehlungen verweisen auf Systeme, die wir in unseren Bestenlisten für lokale KI auf Desktop- und Laptop-Computern geprüft haben.
Kurz gesagt: Die Anzahl der Parameter allein reicht nicht mehr aus, um den Hardwarebedarf vorherzusagen. Die Quantisierung reduziert die Gewichtungen um etwa den Faktor 4, Mixture-of-Experts-Modelle benötigen deutlich weniger Speicherplatz als aufgrund ihrer Parameteranzahl vermuten lässt, und agentenbasierte Workloads verursachen zusätzlichen Speicherbedarf, der in den meisten Dimensionierungsleitfäden völlig außer Acht gelassen wird. In den folgenden Abschnitten werden alle drei Faktoren berücksichtigt.
Speicherbedarf des Modells
Die unten aufgeführten Dateigrößen entsprechen den gängigen quantisierten Q4_K_M-Releases (bzw. dem nativen Format, sofern angegeben), wie sie im August 2026 auf Ollama und Hugging Face veröffentlicht wurden. Die Spalte „Speicherbedarf“ berücksichtigt den zusätzlichen Arbeitsaufwand und ein moderates Kontextfenster; mit einem Sternchen gekennzeichnete Werte sind Schätzwerte, während die Werte für GPT-OSS und DeepSeek 671B auf Angaben der Hersteller beruhen.
| Modell | Kenngrößen | Q4 / Nativer Download | Zu betreibender Speicher* | Läuft auf |
|---|---|---|---|---|
| Lama 3.1 8B | 8B | 4.9 GB | ca. 6 bis 8 GB | Laptops mit 8 GB VRAM und auf |
| Phi-4 14B | 14.7 Mrd | 9.1 GB | ca. 11 bis 12 GB | 16 GB VRAM oder Laptops mit 64 GB gemeinsamem Speicher |
| GPT-OSS 20B (MXFP4) | 21B (3.6B aktiv) | 12 bis 14 GB | ca. 13 bis 16 GB | 16 GB VRAM, Laptops mit gemeinsamem Speicher |
| Mistral Small 3.2 24B | 24 Mrd | 15 GB | ca. 18 bis 20 GB | Laptops mit 24 GB RTX PRO |
| Gemma 3 27B | 27 Mrd | 17 GB | ca. 20 bis 22 GB | Laptops mit 24 GB RTX PRO, Desktop-Systeme mit einheitlichem Speicher |
| Qwen3 30B-A3B | 30.5B (3.3B aktiv) | 19 GB | ca. 22 bis 24 GB | 24 GB VRAM (knapp) oder einheitliches Gedächtnis |
| QwQ 32B / DeepSeek-R1 32B | 32 Mrd | 20 GB | ca. 22 bis 24 GB | 24 GB VRAM (knapp) oder einheitliches Gedächtnis |
| Llama 3.3 70B / R1 Destille 70B | 70 Mrd | 43 GB | ca. 48 bis 50 GB | 96 GB+ gemeinsamer Speicher, RTX PRO 6000 Tower |
| GPT-OSS 120B (MXFP4) | 117B (5.1B aktiv) | 65 GB | ca. 65 bis 80 GB | 96 GB bis 128 GB gemeinsamer Speicher, 96GB GPUs |
| DeepSeek-R1 671B (vollständig) | 671B (37B aktiv) | 404 GB | 450+GB | Für Desktop-PCs unerreichbar; Bereich für Rack-Systeme. |
Die Schätzungen basieren auf ca. 8 KB aktivem Kontext und einem Laufzeit-Overhead von ca. 15 % zusätzlich zur Gewichtsdatei. Größere Kontexte verursachen deutlich höhere Kosten; siehe dazu die Agentensteuer weiter unten.
Zwei Muster in dieser Tabelle verdienen Beachtung. Erstens verändert die Zusammensetzung des Expertenteams die Berechnungen: GPT-OSS 120B umfasst 117 Milliarden Parameter, aktiviert aber nur 5.1 Milliarden pro Token. Daher benötigt es einen einzelnen Arbeitsspeicherpool von 96 bis 128 GB, während OpenAI eine einzelne 80-GB-GPU als Ziel angibt. Wir haben es auf dem HP Z2 Mini G1a getestet , einem 1-Liter-Gerät ohne dedizierte GPU. Zweitens spielt DeepSeek-R1 mit seinen 671 Milliarden Parametern in einer ganz anderen Liga: Allein der Download im vierten Quartal umfasst 404 GB, und für eine akzeptable Ausführung werden etwa 450 GB Arbeitsspeicher benötigt. Keines der Geräte in unseren Bestenlisten kann es ausführen, und kein Desktop-PC sollte es versuchen.
Was läuft wo
Laptops mit 8 GB VRAM (RTX PRO 500 bis 2000 Klasse) sind empfehlenswert. Die Modelle 7B bis 8B aus dem vierten Quartal sowie die kleineren Varianten Phi und Gemma laufen problemlos. Die Leistungsgrenze ist jedoch klar definiert: In unseren Tests erreichte ein 13B-Modell, das ca. 12 GB Grafikspeicher benötigte, selbst mit 8-GB-Karten nicht die volle Leistung. Unsere Seite „Beste Laptops für lokale KI“ bietet einen umfassenden Überblick.
Systeme mit 24 GB VRAM (RTX PRO 5000 Laptops, Desktop-RTX-Karten) sind optimal für Modelle mit 14 bis 27 Milliarden Tokens und bieten ausreichend Spielraum für Kontextinformationen. Unser Dell Pro Max 18 Plus ist mit 185 Tokens pro Sekunde auf Phi führend. Die 32-B-Klasse passt zwar ins vierte Quartal, lässt aber wenig Spielraum für Kontextinformationen, was sich bei der Einbindung von Agenten als wichtiger erweist als man denkt.
Systeme mit einheitlichem und gemeinsamem Speicher (96 GB bis 128 GB). AMD Strix Halo-Systeme können der GPU bis zu 96 GB Arbeitsspeicher zuweisen, und GB10-Systeme wie der NVIDIA DGX Spark verfügen über 128 GB zusammenhängenden Speicher. Diese Klasse nutzt 70-Bit-Modelle mit Q4- und GPT-OSS-Prozessoren mit 120 Bit, wobei Geschwindigkeit gegen Speicherkapazität abgewogen wird. Die Bestenliste der Desktop-PCs für lokale KI führt diese Systeme auf, und dieselbe Architektur findet sich auch in Laptops wie dem HP ZBook Ultra G1a 14 , der in unseren Tests mit DeepSeek-R1 70B ausgestattet war.
RTX PRO 6000 Workstation-Tower (96 GB pro Karte, bis zu 768 GB getestet). Geschwindigkeit und Kapazität in einem: 70B-Modelle mit höherer Quantisierung und vollem Kontext, GPT-OSS 120B mit Leistungsreserven oder mehrere Modelle gleichzeitig für Multi-Agent-Pipelines. Multi-GPU-Tower sind in unserer Bestenliste der Desktop-PCs für lokale KI vertreten, vom HP Z8 Fury G6i mit vier GPUs bis zum flüssigkeitsgekühlten Comino Grando , der in unseren Tests mit acht Karten und 768 GB VRAM ausgestattet war. Single-GPU-Tower sind in der Liste der besten Desktop-Workstations vertreten , angeführt vom Dell Pro Precision 9 T2.
Die Agentensteuer: Kontext ist ein zweites Speicherbudget
Die Größenbestimmung allein anhand der Gewichtsdatei funktioniert bei kurzen Chat-Sitzungen, aber Agenten verstoßen gegen diese Annahme, weil ein Agent eine Schleife durchläuft: Er liest Tool-Ausgabe, Dateien und vorherige Schritte zurück in sein Kontextfenster, und jedes im Kontext gespeicherte Token kostet zusätzlich zu den Gewichten Speicherplatz im KV-Cache. Die folgende Tabelle zeigt, wie groß diese Kosten werden können.
| Modellklasse | KV-Cache bei 32K Kontext | KV-Cache bei 128K Kontext | Ungefähre Kosten pro 1,000 Token |
|---|---|---|---|
| 8B (Llama 3.1 8B, FP16 KV) | 4.19 GB | 16.78 GB | ~ 0.13 GB |
| 70B (Llama 3.3 70B, FP16 KV) | 10.49 GB | 41.94 GB | ~ 0.33 GB |
Vergleicht man diese Tabelle mit der obigen Dimensionierungstabelle, wird das Problem deutlich. Ein 70-Byte-Modell im Quantisierungszustand Q4 benötigt 43 GB an Gewichten, aber bei einem vollständigen Kontext von 128 KB sind es insgesamt etwa 85 GB – also das Doppelte der Gewichte. Ein 8-Byte-Modell mit 128 KB benötigt mehr Speicher für den Kontext (16.78 GB) als für seine eigenen Gewichte im Quantisierungszustand Q4 (4.9 GB). Die KV-Cache-Quantisierung hilft zwar, wobei FP8 diese Werte halbiert und INT4 sie viertelt – allerdings mit gewissen Qualitätseinbußen –, aber die Planungsregel bleibt bestehen: Bei agentenbasierten Operationen sollte der Kontext wie ein zweites Modell eingeplant werden.
Das Server-System erhöht den Aufwand zusätzlich, da bei mehreren gleichzeitig laufenden Agenten oder Benutzern jede Anfrage ihren eigenen Key-Value-Cache (KV-Cache) belegt. vLLM, der Server-Stack, mit dem wir unsere Local AI-Bestenlisten erstellen, reserviert standardmäßig 90 Prozent des GPU-Speichers, da der KV-Speicher darüber entscheidet, wie viele gleichzeitige Anfragen ohne durchsatzmindernde Unterbrechungen verarbeitet werden können. Ein System, das einen Chat problemlos ausführen kann, ist für drei Agenten möglicherweise unterdimensioniert.
Arbeitsspeicher: Das vergessene dritte Bein
Für reine GPU-basierte Inferenz sollte der Arbeitsspeicher möglichst wenig belegt sein. 32 GB bis 64 GB sind auf den von uns getesteten Systemen ein komfortabler Mindestwert und in zwei Fällen entscheidend. Beim Offloading, bei dem Ebenen, die nicht in den VRAM passen, auf die CPU ausgelagert werden, werden speicherabgebildete Modelldateien verwendet. Daher sollte der Arbeitsspeicher mindestens der Größe der Modelldatei plus dem verfügbaren Speicherplatz des Betriebssystems entsprechen.
Bei Systemen mit integriertem Speicher dient der Arbeitsspeicher gleichzeitig als GPU-Speicher. Genau deshalb dominieren Konfigurationen mit 64 GB und 128 GB unsere Bestenlisten für lokale KI. Ollamas eigene Bodenführungshilfe benötigt 8 GB RAM für 7B-Modelle, 16 GB für 13B-Modelle und 32 GB für die 33B-Klasse. Diese Werte sind als Mindestanforderungen und nicht als Zielwerte zu verstehen.
Lagerung: Das Bein, das jeder überspringt
Modellbibliotheken wachsen schnell, da die zehn Modelle unserer Größentabelle in ihren üblichen Quantisierungen insgesamt etwa 240 GB belegen. Eine funktionierende Bibliothek mit einigen Varianten, eingebetteten Modellen für den Datenabruf und Vektorspeichern für den Agentenspeicher kann bereits vor dem Eintreffen von Projektdaten 500 GB überschreiten. Hinzu kommt, dass agentenbasierte Workflows zusätzlichen Datenverkehr erzeugen: Protokolle, Prüfpunkte und Abrufindizes, die parallel zu den Modellen verwaltet werden.
Die Ladezeit ist der entscheidende Faktor für die Leistungsfähigkeit des Laufwerks. Die Berechnung ist einfach: Eine 65 GB große GPT-OSS-Datei mit 120 Byte wird bei SATA-Geschwindigkeit in etwa 109 Sekunden gelesen, auf einem Gen3-NVMe-Laufwerk in rund 17 Sekunden und bei Gen4-Geschwindigkeit in unter 9 Sekunden – allerdings nur beim ersten Ladevorgang, da der Seitencache des Betriebssystems das erneute Laden nahezu verzögerungsfrei ermöglicht. Da in der Praxis jedoch nicht immer die volle Laufwerksgeschwindigkeit erreicht wird, werden wir eigene, gemessene Ladezeiten für verschiedene Laufwerksklassen veröffentlichen; siehe dazu das Änderungsprotokoll. Unsere Speicher-Rangliste bietet einen Überblick über die einzelnen Laufwerke.
Praktische Hinweise: 2 TB NVMe sind die sinnvolle Untergrenze für eine dedizierte KI-Workstation, 4 TB, wenn die Maschine Agenten hostet, die Zustände akkumulieren, und Gen4 oder besser, wenn Sie regelmäßig zwischen großen Modellen wechseln.
Agentic AI Hardware – Häufig gestellte Fragen
Wie viel VRAM benötige ich, um ein 70B-Modell lokal zu betreiben?
Bei moderater Kontextlast beträgt der Speicherbedarf im vierten Quartal etwa 48 bis 50 GB. Daher zählt diese Klasse eher zu Systemen mit 96 GB Arbeitsspeicher und Workstation-GPUs mit 96 GB als zu Consumer-Grafikkarten. Steigert man die Kontextlast auf 128 KB, nähert sich der Gesamtbedarf 85 GB. Bei einer Kontextlast im achten Quartal beträgt der Speicherbedarf allein durch die Gewichte 75 GB.
Kann ich DeepSeek-R1 vollständig lokal ausführen?
Keines der auf dieser Website gelisteten Modelle ist enthalten, da das vollständige 671B-Modell im vierten Quartal 404 GB groß ist und für einen akzeptablen Betrieb etwa 450 GB Arbeitsspeicher benötigt. Der praktikable lokale Weg führt über die offiziellen Destillate. Die 32B- und 70B-Destillate in unserer Dimensionierungstabelle decken einen Großteil der Leistungsfähigkeit für Desktop-Geräte ab.
Verändern Mixture-of-Experts-Modelle die Hardware-Mathematik?
Da MoE-Modelle nur einen Teil ihrer Parameter pro Token aktivieren, skaliert der Speicherbedarf zwar mit der Gesamtzahl der Parameter, die Geschwindigkeit jedoch eher mit der Anzahl der aktiven Parameter. GPT-OSS 120B (5.1 B aktiv) und Qwen3 30B-A3B (3.3 B aktiv) laufen beide schneller, als ihre Größe vermuten lässt, selbst mit den passenden Speicherpools. Der Speicher für alle Gewichtungen wird weiterhin benötigt; man erhält lediglich mehr Geschwindigkeit pro Gigabyte.
Wie viel Speicherplatz benötigt eine KI-Workstation?
Planen Sie mindestens 2 TB NVMe-SSD ein, 4 TB für Agenten-Hosts. Allein eine kleine Modellbibliothek umfasst Hunderte von Gigabyte, Agenten sammeln Protokolle und Vektordaten, und die größten Einzeldateien (65 GB und mehr) machen langsame Festplatten jedes Mal zur Belastung, wenn Sie ein Modell laden oder austauschen.
Welche Hardware sollte ich speziell für die lokalen Agenten kaufen?
Priorisieren Sie den Arbeitsspeicher gegenüber der reinen Geschwindigkeit, da Agenten lange Kontexte verwalten und teilweise parallel ausgeführt werden. Daher ist das Budget für den KV-Cache genauso wichtig wie das Speicherbudget. Ein System mit 96 GB bis 128 GB Arbeitsspeicher ist in unserer Rangliste für lokale KI-Desktop-PCs die wirtschaftlichste Lösung, während RTX PRO 6000-Tower in der Rangliste für Workstations die beste Wahl sind, wenn sowohl Geschwindigkeit als auch Parallelverarbeitung wichtig sind.
Rezension: Die GB300-Zahlen sind da.
Alle oben genannten Angaben beziehen sich auf von uns getestete Hardware, und das System, von dem wir sagten, es würde die Berechnungen verändern, hat dies nun getan. Unser Test der MSI XpertStation WS300 , der ersten GB300 DGX-Station in unseren Händen, ist online: ein zusammenhängender Speicherpool von 748 GB, bestehend aus 252 GB HBM3e und 496 GB LPDDR5X, 20 PetaFLOPS FP4, und in unseren Tests diente sie als 433 GB großer GLM-5.2-Checkpoint, der auf einer Workstation eigentlich nichts zu suchen hat, wobei 216 GB an Experten-Gewichten im Grace-Speicher lagen.
Der Grund, warum dies für diesen Leitfaden relevant ist, liegt im verfügbaren Speicher. Jede Empfehlung auf dieser Seite berücksichtigt eine feste Obergrenze, indem Modelle auf mehrere GPUs verteilt, Quantisierung genutzt oder CPU-Auslastung in Kauf genommen wird, wenn Gewichte und KV-Cache nicht ausreichen. NVIDIA spezifiziert die GB300-Desktop-Systeme mit mehreren hundert Gigabyte zusammenhängendem, vom Beschleuniger adressierbarem Speicher – eine ganz andere Größenordnung als bei den 96-GB-Karten, die den obigen Tabellen zugrunde liegen. Modellklassen, die aktuell einen Multi-GPU-Tower benötigen oder deren lokale Ausführung wir als unpraktisch einstufen, können nun mit einem einzigen System ausgeführt werden.
Noch keine der Angaben in den obigen Tabellen basiert auf GB300; als nächstes erfolgt die Dimensionierung anhand der WS300-Ergebnisse, und die Änderung wird im folgenden Protokoll vermerkt.
Wie wir diesen Leitfaden pflegen
Modellgrößen und die Liste beliebter Modelle ändern sich vierteljährlich, schneller als jeder Hardwarezyklus. Wir überprüfen die Größentabelle vierteljährlich anhand der offiziellen Veröffentlichungen und ergänzen die Laborbelege, sobald neue Systeme unsere Local AI-Tests bestanden haben. Änderungen werden im datierten Hinweis oben auf der Seite vermerkt. Als Schätzwerte gekennzeichnete Größenangaben basieren auf der veröffentlichten Gewichtsdatei zuzüglich gemessener KV-Cache-Kosten und des üblichen Laufzeit-Overheads; Herstellerangaben sind entsprechend gekennzeichnet.
Amazon