Aktualisiert am 19. August 2026: Erstveröffentlichung. Forschungsstand zum heutigen Datum.
Es gibt vier Gründe, ein Sprachmodell auf eigener Hardware statt in einem Browser-Tab auszuführen, und nur einer davon ist ideologischer Natur. Datenschutz: Ein Dokument, das Sie einem lokalen Modell übergeben, verlässt niemals den Rechner. Dies gilt insbesondere für Client-Code, Verträge, Patientendaten und noch nicht veröffentlichte Produkte. Kostenstruktur: Cloud-KI wird nutzungsabhängig abgerechnet, und agentenbasierte Workloads vervielfachen die Token-Anzahl so schnell, dass sich eine leistungsstarke Workstation amortisiert. Eigene Hardware hingegen verursacht lediglich Stromkosten. Verfügbarkeit: Keine Ratenbegrenzungen, keine Ausfälle, keine Benachrichtigungen über veraltete Funktionen, die Ihren Arbeitsablauf mitten im Dienstag durcheinanderbringen. Und Kontrolle: Das validierte Modell bleibt das Modell, das Sie verwenden, bis Sie es ändern.
Demgegenüber steht, dass moderne Cloud-Modelle weiterhin leistungsfähiger sind, und bei langfristigen, agentenbasierten Aufgaben ist der Unterschied deutlich spürbar. Lokale Modelle haben bei begrenzten Aufgaben – wie Chat, Zusammenfassung, Code in einer einzigen Datei und Dokumenten-Fragen und -Antworten – Parität erreicht. Genau das macht den Großteil der täglichen Arbeit der meisten Menschen aus. Wenn maximale Leistungsfähigkeit um jeden Preis entscheidend ist, nutzen Sie die Cloud. Wenn Datenschutz, Kosten oder Kontrolle für Sie im Vordergrund stehen, sind lokale Lösungen heute noch eine sinnvolle Option – und diese Seite zeigt Ihnen, wie Sie diese nutzen können.
Diese Rahmenbedingungen sollten Ihr Hardware-Budget bestimmen, denn der Speicherbedarf für lokale KI-Anwendungen hängt in erster Linie von allen anderen Faktoren ab. 16 GB VRAM oder 32 GB Arbeitsspeicher decken die 7- bis 8-Bit-Klasse ab, die die oben genannten begrenzten Aufgaben bewältigt. 24 bis 32 GB VRAM oder 48 GB Arbeitsspeicher ermöglichen die 30-Bit-Klasse, in der agentenbasierte Codierung nicht mehr nur eine Demo ist. 96 bis 128 GB Arbeitsspeicher ermöglichen die 100-Bit-Modelle und mehr, die sich der Spitzenklasse annähern. Zu viel Speicherplatz bietet Geschwindigkeitsvorteile, die Sie möglicherweise nicht bemerken; zu wenig Speicherplatz bedeutet, dass die gewünschte Modellklasse gar nicht erst geladen wird. Unsere Listen der besten Laptops und Desktop-PCs für lokale KI ordnen die Geräte nach Leistungsklassen. Auf dieser Seite erfahren Sie, welche Anwendungen darauf ausgeführt werden können.
Die Software hat sich nicht so reibungslos weiterentwickelt wie die Hardware. Rund ein Drittel der Tools, die heute in Suchergebnissen empfohlen werden, sind veraltet, und die meisten Seiten, die sie empfehlen, haben das noch nicht bemerkt.
Diese Seite dokumentiert, welche Tools auf welcher Hardware funktionieren (Stand: August 2026). Aktuell verwenden wir die GitHub-Sterne als Bewertungskriterium, da diese neutral und nachvollziehbar sind. Tools ohne Sternenanzahl werden entsprechend gekennzeichnet. Jeder Tool-Name in den Tabellen verlinkt zum offiziellen Download. Sobald wir die einzelnen Plattformen getestet haben, ergänzt die Spalte „Anleitung“ diese mit einer praktischen Einrichtungsanleitung und unseren eigenen Ergebnissen.
Für diese Seite gelten drei Regeln. Erstens unterscheiden wir zwischen einem lokalen Modell und einem lokalen Agenten . Einige Produkte laufen auf Ihrem Rechner, während jeder Inferenzaufruf an die Cloud eines Anbieters erfolgt. Dies dient dem Datenschutz und ist keine Offline-Funktion. Diese Tools werden separat am Ende der Seite aufgeführt, anstatt entfernt zu werden. Zweitens enthält jeder Eintrag realistische Mindestanforderungen an die Hardware, da die Angabe „läuft auf einem Laptop“ ohne Angabe des Arbeitsspeichers bedeutungslos ist. Drittens dokumentieren wir in den FAQs, welche Produkte nicht mehr verfügbar sind, inklusive Datum.
Die Auswahl
Beste lokale LLM-Laufzeit insgesamt: Ollama
Die Standardantwort, mit der die meisten anderen Tools arbeiten. MIT-lizenziert, ca. 179,000 GitHub-Sterne, und jetzt auch mit Desktop-GUI neben der CLI verfügbar. Modelle lassen sich mit einem einzigen Befehl abrufen, ein OpenAI-kompatibler Endpunkt wird auf localhost bereitgestellt, und seit Januar 2026 ist die Anthropic Messages API kompatibel, über die Claude Code nun auf lokale Modelle zugreift. Mindestanforderungen: 8 GB Arbeitsspeicher für ein 3B-Modell, 16 GB für 7-8B, 24 GB VRAM für die 30B-Klasse.
Am besten geeignet für Hardware-Benchmarking: LM Studio
Da es sich um Closed Source handelt, hat es keine Sternebewertung, ist aber dennoch empfehlenswert. LM Studio bündelt sowohl llama.cpp als auch MLX und stellt die relevanten Steuerelemente für die Messung eines Systems bereit, anstatt es selbst zu nutzen: GPU-Offload-Layer, Quantisierungsoptionen, Kontextlänge und Multi-GPU-Verhalten. Es ist seit Juli 2025 für die kommerzielle Nutzung kostenlos. Dieses Tool liefert die meisten Token-pro-Sekunde-Werte unserer Workstation- und Laptop-Boards. Mindestanforderungen: 16 GB RAM; 24 GB VRAM oder 32 GB Arbeitsspeicher für aussagekräftige Ergebnisse.
Beste zugrundeliegende Engine: llama.cpp
Nahezu alles andere auf dieser Seite basiert auf llama.cpp. Es ist unter der MIT-Lizenz veröffentlicht, hat rund 124,700 Sterne und täglich werden mehrere Builds mit Tags veröffentlicht. Für Hardware-Nutzer ist es aus einem bestimmten Grund relevant: Die Liste der unterstützten Backends ist enorm und umfasst CUDA, ROCm, Metal, Vulkan, SYCL, CANN und OpenCL. Entwickler von Herstellern tragen nun direkt Optimierungen dazu bei. Eine Verbesserung der Intel Arc-Vorverarbeitung in Build 8688 brachte etwa das Fünffache an Leistung, und jeder Ollama- und LM Studio-Nutzer erhielt sie ohne zusätzliche Installationen. Mindestanforderungen: Läuft nur auf der CPU; 8 GB RAM sind erforderlich.
Beste Desktop-App mit lokalem Fokus: Jan
Apache 2.0, ca. 44,100 Sterne, Version 0.8.4 (Stand: Juli 2026). Jan bringt llama.cpp mit, sodass keine weiteren Installationen nötig sind. Es funktioniert sogar ohne Netzwerkkabel. Das klingt zunächst nach wenig, bis man sieht, wie viele Anwendungen in dieser Kategorie Cloud-Clients mit einem Ollama-Feld sind. Dieses Programm eignet sich perfekt für Kollegen, die nie ein Terminal öffnen werden. Die Dokumenten-RAG-Formatierung ist seine Schwäche. Mindestanforderungen: 8 GB RAM.
Bestes lokales Dokument RAG: AnythingLLM
MIT-Lizenz, ca. 64,800 Sterne. Es enthält eine Vektordatenbank und übernimmt Chunking und Embedding ohne Konfiguration, was es zum unkompliziertesten Dokumenten-Chat-Tool für Desktop-Computer macht. Zwei wichtige Punkte: Eine Sicherheitslücke vom März 2026 (CVSS-Wert 9.6) ermöglichte die Ausführung von Remote-Code durch die gestreamte Antwort des Modells. Diese wurde in Version 1.11.2 behoben, daher unbedingt vor der Nutzung aktualisieren. Die Telemetrie ist standardmäßig aktiviert, obwohl die App als „lokal-primär“ beworben wird. Sie kann in den Einstellungen deaktiviert werden. Mindestanforderungen: 16 GB RAM für die Dokumentenbearbeitung.
Beste selbstgehostete Mehrbenutzerlösung: Open WebUI
Rund 149,000 Sterne und die umfassendsten Konfigurationsmöglichkeiten für den Abruf – Version 0.11.0 erscheint im Juli 2026. Es handelt sich um einen selbstgehosteten Server und nicht um eine Desktop-Anwendung; Docker ist daher der Einstiegspunkt. Wichtig zu wissen: Die Lizenz wurde im April 2025 von BSD-3 auf eine benutzerdefinierte, nicht OSI-konforme Lizenz umgestellt. Diese enthält eine Klausel, die das Entfernen des Open WebUI-Brandings untersagt, sowie eine Ausnahme für weniger als 50 Nutzer innerhalb von 30 Tagen. Bei unverändertem Betrieb in kleinem Umfang ändert sich nichts. Mindestanforderungen: separate Laufzeitumgebung und 4 GB Speicherplatz für den Container.
Bester lokaler Kodierungsagent: Cline
Apache 2.0, ca. 63,900 Sterne. Cline hat im Vergleich zu anderen Anbietern mehr Entwicklungsarbeit im lokalen Bereich geleistet, darunter eine kompakte Systemeingabeaufforderung speziell für Ollama und LM Studio sowie den nativen Aufruf von Tools pro Modellfamilie. Die eigene Dokumentation ist ungewöhnlich offen, was die Vorteile der Cloud betrifft. Mindestanforderungen: 24 GB VRAM oder 36 GB Arbeitsspeicher, Kontext auf 32 KB oder höher einstellen.
Beste Offline-Terminalcodierung: Aider
Apache 2.0, mit rund 48,300 Sternen, ist architektonisch gesehen die zuverlässigste lokale Option – und das aus gutem Grund. Aider verzichtet vollständig auf JSON-Tool-Aufrufe. Es analysiert Diff- und Dateibearbeitungsformate aus Klartext und umgeht so genau die Fehlerquelle, die die meisten Agenten auf lokalen Modellen zum Absturz bringt. Der Haken an der Sache ist die Wartung: 96 Prozent der Commits stammen von einem einzigen Autor, und die Release-Frequenz hat sich auf etwa eine stabile Version im Jahr 2026 reduziert. Mindestanforderungen: 24 GB VRAM oder 36 GB kombinierter Speicher.
Beste selbstgehostete Agentenplattform: OpenHands
MIT-Lizenz, ca. 84,500 Sterne. OpenHands dokumentiert lokale Modelle gut und zeigt vor allem an, wenn das Problem nicht an der Konfiguration liegt: Laut Dokumentation ist das Modell die limitierende Größe, wenn sich der Agent wie ein Chatbot verhält oder ständig Tools versagt. Es benötigt mindestens 22 Kontexte und empfiehlt 32. Mindestens 24 GB VRAM für quantisierte Modelle oder 64 GB einheitlicher Speicher.
Die beste kostenlose Offline-Überraschung: GitHub Copilot CLI
Seit April 2026 läuft die Copilot-CLI mit Ollama, vLLM und Foundry Local. Die GitHub-Authentifizierung ist optional, und ein Copilot-Abonnement ist nicht erforderlich. Die Einstellung COPILOT_OFFLINE deaktiviert jegliche Telemetrie und Netzwerkkommunikation, und die zugehörigen Subagenten übernehmen Ihren lokalen Provider. Die meisten Vergleichsartikel führen Copilot weiterhin als reine Cloud-Lösung auf. Beachten Sie die Aufteilung: Die IDE-Erweiterung sendet Inline-Vervollständigungen auch bei Verwendung eines eigenen Schlüssels (BYOK) weiterhin an die Cloud. Mindestanforderungen: ein Modell mit einem Kontextfenster von 128 KB, also 32 GB VRAM oder 64 GB Unified-Speicher.
Bester vom Anbieter unterstützter Server: Lemonade
Apache 2.0, mit rund 5,400 Sternen, ist das einzige herstellerunabhängige Tool, das wir aufgrund seiner Qualität und nicht aufgrund von Hardware-Loyalität empfehlen würden. Es wird von AMD-Ingenieuren betreut und läuft auf NVIDIA CUDA, Apple Metal, Vulkan und herkömmlichen CPUs sowie auf Radeon- und Ryzen-AI-NPUs. Es erscheint etwa alle zwei Wochen und die Desktop-Anwendung wurde im April 2026 von Electron auf Tauri umgestellt. Mindestanforderungen: 16 GB RAM; Ryzen-AI-Prozessor der 300er-Serie oder höher für die NPU-Nutzung.
Beste lokale RAG-Tabelle für das gesamte Dateisystem: Nexa AI Hyperlink
Closed Source und kostenlos. Es indiziert Ihr gesamtes Dateisystem auf dem Gerät und liefert Antworten mit Inline-Zitaten. Es ist in dieser Liste enthalten, da es das einzige neue lokale RAG-Tool mit veröffentlichten Beschleunigungswerten auf Consumer-Hardware ist: etwa dreimal schnellere Indizierung und doppelt so schnelle Inferenz auf einer RTX 5090, wobei die Indizierung eines 1-GB-Ordners von etwa fünfzehn Minuten auf vier bis fünf Minuten verkürzt wird. Mindestanforderungen: eine moderne RTX-Grafikkarte; 16 GB RAM.
Laufzeiten: Was führt das Modell tatsächlich aus?
Dies ist die Engine. Alles in den nächsten beiden Tabellen ist ein Frontend, das mit einer dieser Komponenten kommuniziert. Sortiert nach GitHub-Sternen.
| Laufzeit | Sterne | Lizenz | Minimale Hardware | BESCHLEUNIGUNG | Guide |
|---|---|---|---|---|---|
| Ollama | ~ 179,000 | MIT | 8 GB RAM (3B), 16 GB (7-8B), 24 GB VRAM (30B-Klasse) | CUDA, ROCm, Metal, Vulkan | In Vorbereitung |
| lama.cpp | ~ 124,700 | MIT | 8 GB RAM, nur CPU funktioniert | CUDA, ROCm, Metal, Vulkan, SYCL, CANN, OpenCL | In Vorbereitung |
| MLX / mlx-lm | ~ 27,500 | MIT | Apple Silicon, 16 GB Unified-Speicher | Metal; CUDA-Backend hinzugefügt 2026 | In Vorbereitung |
| LM Studio | Geschlossene Quelle | Eigentumsrechtlich geschützt, kostenlos für die kommerzielle Nutzung | 16 GB RAM; 24 GB VRAM oder 32 GB unified | Bundles llama.cpp und MLX | In Vorbereitung |
| vLLM | Produktion dient | Apache 2.0 | 24 GB VRAM realistischer Boden | CUDA, ROCm | In Vorbereitung |
Desktop-Apps und lokales RAG
Die Apps, die ein Leser installiert. Besonders die Spalte „Lokal zuerst“ sollte man aufmerksam lesen: Sie unterscheidet Software, die ein Modell auf dem eigenen Rechner ausführt, von Software, die ein Feld für eine Ollama-URL hinzugefügt hat.
| App | Sterne | Lizenz | Lokal zuerst | Minimale Hardware | Guide |
|---|---|---|---|---|---|
| WebUI öffnen | ~ 149,000 | Kundenspezifisch, nicht OSI-zugelassen | Geeignet für Server, nicht für Desktop-PCs. | Separate Laufzeitumgebung + 4 GB für Container | In Vorbereitung |
| Alles LLM | ~ 64,800 | MIT | Funktioniert; Telemetrie ist standardmäßig aktiviert. | 16GB RAM | In Vorbereitung |
| Januar | ~ 44,100 | Apache 2.0 | Ja, llama.cpp wird gebündelt. | 8GB RAM | In Vorbereitung |
| LM Studio | Geschlossene Quelle | Proprietäre | Ja | 16 GB RAM; 24 GB VRAM wären interessant. | In Vorbereitung |
| Msty | Geschlossene Quelle | Proprietäre, kostenlose Stufe | Ja, Bundles Ollama, MLX, llama.cpp | 8GB RAM | In Vorbereitung |
| Nexa AI Hyperlink | Geschlossene Quelle | Proprietär, kostenlos | Ja, Indizierung auf dem Gerät. | Moderne RTX-Grafikkarte, 16 GB RAM | In Vorbereitung |
Codierungs- und Agentenwerkzeuge
Dies sind die hardwareintensivsten Einträge auf der Seite, da agentenbasierte Prozesse ein großes Kontextfenster und lange Sitzungen erfordern. Ab 32 GB VRAM oder 64 GB Arbeitsspeicher ist dies kein Demo mehr.
| Werkzeug | Sterne | Lizenz | Lokaler Pfad | Minimale Hardware | Guide |
|---|---|---|---|---|---|
| OpenHands | ~ 84,500 | MIT | LM Studio, Ollama, vLLM, SGLang | 24 GB VRAM oder 64 GB integrierter Speicher; 32K Kontext | In Vorbereitung |
| Cline | ~ 63,900 | Apache 2.0 | Ollama, LM Studio, OpenAI-kompatibel | 24 GB VRAM oder 36 GB einheitlicher Speicher | In Vorbereitung |
| Gans | ~ 52,900 | Apache 2.0 | Ollama erstklassig; jetzt Linux Foundation | 24 GB VRAM oder 36 GB einheitlicher Speicher | In Vorbereitung |
| Hilfe | ~ 48,300 | Apache 2.0 | Ollama, OpenAI-kompatibel; kein Tool-Aufruf erforderlich | 24 GB VRAM oder 36 GB einheitlicher Speicher | In Vorbereitung |
| Zed | Version 1.0, April 2026 | Apache 2.0 | LM Studio, Ollama, llama.cpp | 24 GB VRAM oder 36 GB einheitlicher Speicher | In Vorbereitung |
| GitHub Copilot-CLI | Geschlossene Quelle | Proprietär, kein Abonnement erforderlich | Ollama, vLLM, Foundry Local | 32 GB VRAM oder 64 GB integrierter Speicher; 128K Kontext | In Vorbereitung |
Lieferanteninitiativen
Jeder Chip- und Betriebssystemhersteller bietet etwas für lokale KI an, und diese Kategorie verdient einen eigenen Eintrag, da die Namensgebung verwirrend ist und die Produktpalette häufig nicht weiterentwickelt wird. Der Trend bis 2026 ist einheitlich: Die Hersteller haben aufgehört, mit Drittanbieter-Technologien zu konkurrieren, und beginnen nun, diese zu unterstützen. NVIDIA hat seine beiden eigenen Produkte für lokale KI eingestellt und veröffentlicht jetzt Optimierungen für Ollama, llama.cpp und ComfyUI. AMD kooperiert mit LM Studio. Qualcomm hat seine NPU-Funktionalität durch die Portierung einer fremden Anwendung bereitgestellt.
Die einzige Funktion, die Herstellertools gegenüber Ollama und LM Studio bieten: Zugriff auf die NPU . llama.cpp verfügt über kein NPU-Backend, daher bleibt die neuronale Engine auf einem Snapdragon- oder Ryzen-KI-System bei diesen Tools ungenutzt. Wer für 40 bis 60 TOPS bezahlt hat, kann diese Leistung nur über die Herstellertools nutzen. Erwarten Sie jedoch nicht zu viel. NPUs erreichen derzeit maximal etwa 7-Bit-Modelle, und der Vorteil liegt eher in der Akkulaufzeit bei kontinuierlicher Nutzung kleiner Modelle als im Durchsatz. Eine dedizierte GPU ist der NPU in puncto Geschwindigkeit stets überlegen.
| Verkäufer | What It Is | Typ | Erforderliche Hardware | Status | Guide |
|---|---|---|---|---|---|
| AMD Limonade | Server, GUI und SDK; ~5,400 Sterne, Apache 2.0 | App + Server | 16 GB RAM; Ryzen AI 300+ für NPU. Läuft auch auf NVIDIA- und Apple-CPUs. | Aktiv, versendet ca. alle zwei Wochen | In Vorbereitung |
| Intel OpenVINO GenAI | Laufzeitumgebung und SDK; ~10,700 Sterne | SDK | Core Ultra, Arc A/B-Serie; 16 GB RAM | Aktiv, 2026.3 im August 2026 | In Vorbereitung |
| Apple Foundation Modelle | Vom Betriebssystem bereitgestellte On-Device-Modelle | OS-Framework | Apple Silicon; bereits installiert | Aktiv; offen für alle Anbieter auf der WWDC 2026 | In Vorbereitung |
| Microsoft Foundry Local | Lokales Inferenz-SDK und CLI; ~2,400 Sterne | SDK | Windows, macOS, Linux; NPU/GPU/CPU | GA April 2026; kuratierter Modellkatalog | In Vorbereitung |
| AMD GAIA | Lokale LLM-App für Ryzen AI; ca. 1,400 Sterne, MIT | App + SDK | Mindestens ein Prozessor der Ryzen AI 300-Serie; 16 GB RAM, 64 GB empfohlen | Aktiv, Version 0.20.0 Juni 2026 | In Vorbereitung |
| Intel AI-Spielplatz | Desktop-App; ~900 Sterne | App | Arc A-Serie 8GB+, Arc B-Serie, Core Ultra | Aktiv, aber nach zwei Jahren immer noch in der Beta-Phase. | In Vorbereitung |
| Qualcomm GenieX | On-Device GGUF-Laufzeitumgebung für Snapdragon NPU | Laufzeit | Snapdragon X / X Elite, 8 Elite | Entwicklervorschau, Juli 2026 | In Vorbereitung |
| NVIDIA-Projekt G-Assist | On-Device-Assistent 8B für die Systemsteuerung | App | RTX 20-Serie oder höher, 6 GB VRAM | Aktiv, aber noch als Vorabversion gekennzeichnet. | In Vorbereitung |
Eine Anmerkung zur Namensgebung: NVIDIAs „RTX AI Garage“ klingt zwar nach einem Produkt, ist aber keines; es handelt sich um eine Blogreihe. Microsofts Technologie-Stack wurde mehrfach umbenannt: Aus den Copilot Runtime APIs wurden die Windows AI APIs, aus Azure AI Foundry die Microsoft Foundry, und DirectML befindet sich aktuell im Wartungsmodus und erhält nur noch Sicherheitsupdates. Qualcomm AI Hub ist ein Cloud-Dienst, der physische Geräte remote bereitstellt und nicht lokal ausgeführt wird.
Was normalerweise kaputt geht
Die meisten Meldungen über „nicht funktionierende“ lokale Modelle beziehen sich auf Konfigurationsprobleme, nicht auf Modellprobleme. Vier Faktoren sind hierfür besonders häufig verantwortlich, und alle vier sollten Hardware-Anwender kennen, bevor sie den Chip verantwortlich machen.
1. Ollama verwendet standardmäßig einen Kontext mit 4,096 Token. Wird dieser Wert überschritten, wird kein Fehler ausgegeben. Der Kontext wird stillschweigend abgeschnitten, und eine automatische Endlosschleife wird beendet. Jedes ernstzunehmende Harness benötigt mehr: OpenHands benötigt mindestens 22 Token und empfiehlt 32, Codex benötigt 32, Copilot CLI benötigt 128 und Cline setzt 262,144 Token ein. Diese einzelne Einstellung ist wahrscheinlich die häufigste Ursache für die online zu findenden Fehlerberichte.
2. Die KV-Cache-Quantisierung beeinträchtigt insbesondere den Aufruf von Tools , und zwar bevor die allgemeine Ausgabequalität sichtbar leidet. Die Dokumentation von llama.cpp weist direkt darauf hin. Wenn Sie einen Agenten verwenden, deaktivieren Sie ihn.
3. Die Anzahl der verwendeten Tools ist nicht gleichmäßig, sondern sprunghaft ansteigend. Im obigen Beispiel sind etwa fünf bis sechs Tools relevant; einige Modelle stellen stillschweigend die Ausgabe gültiger JSON-Tool-Aufrufe ein und betten stattdessen XML in den Antworttext ein, was vom System als „kein Tool verwendet“ interpretiert wird. Ein weit verbreiteter Agent lieferte standardmäßig elf Tools aus und beeinträchtigte damit sein eigenes empfohlenes Modell bis Anfang 2026. Die praktische Konsequenz ist kontraintuitiv: Das Laden vieler MCP-Server wirkt sich bei lokalen Modellen aktiv schädlich aus, im Gegensatz zu Frontier-Modellen.
4. Q4_K_M ist die praktische Untergrenze. Darunter nimmt die Zuverlässigkeit der Werkzeugaufrufe schneller ab als die allgemeine Qualität, sodass das Modell zwar noch gut klingt, aber im Stillen nichts mehr bewirkt.
Speicher ist die Einschränkung
Bei allen Tools auf dieser Seite ist die entscheidende Frage für die Ausführung, wie viel Speicher der Beschleuniger erkennen kann. Dies sind die am häufigsten genannten Kombinationen für agentenbasierte Anwendungen, und diejenigen, die wir im Labor überprüfen wollen.
| Hardware | Modell | Fußabdruck | Gemeldeter Durchsatz |
|---|---|---|---|
| RTX 5090, 32 GB | Qwen3.6-35B-A3B Q4_K_M | ~ 21GB | 160–180 Token/s, 262K Kontext |
| RTX 5090, 32 GB | Qwen3-Coder-30B-A3B Q4_K_M | ~ 19GB | 50-90 kb/s auf 24-GB-Geräten |
| RTX 5090, 32 GB | Devstral Small 24B Q4_K_M | ~ 14GB | Speziell für den Werkzeugeinsatz entwickelt |
| RTX PRO 6000, 96 GB | GPT-OSS 120B MXFP4 | ~ 63GB | Die 100B-Klasse auf einer einzelnen Workstation-Karte; die GPU aus unserem Labortest |
| Laptop mit RTX PRO 5000, 24 GB GDDR7 | Qwen3-Coder-30B-A3B Q4_K_M | ~ 19GB | Die größte von uns getestete Laptop-GPU (ThinkPad P16 Gen 3); die 30-Bit-Klasse bietet ausreichend Platz und lässt keine Wünsche offen. |
| 96-128 GB einheitlicher Speicher, M-Serie | gpt-oss-120b Q6_K | ~ 93GB | 14–20 kJ/s; sauberste Tool-Aufruf-JSON-Daten aller Open-Weight-Modelle |
Wichtig zu erwähnen, da die Werbung dies verschweigt: Die größten Modelle mit freier Gewichtsverteilung sind keine Workstations. Die GLM-5.2 hat ungefähr die Parameter der 744B und benötigt in FP8, einem Rechenzentrumsknoten mit acht GPUs, etwa 744 GB Speicherplatz. Kimi K2 und DeepSeek V4 gehören zur selben Kategorie. Jede Anleitung, die empfiehlt, diese auf einem Desktop-PC zu betreiben, ist falsch.
Die oben genannten Durchsatzwerte stammen aus veröffentlichten Tests von Drittanbietern und Herstellerangaben und sind noch keine Laborergebnisse von StorageReview. Wir werden sie durch unsere eigenen Werte ersetzen, sobald die jeweilige Plattform den Guide-Prozess durchlaufen hat.
Cloud-First-Tools und warum sie hier nicht gelistet sind
Die meisten KI-Anwender kennen die gängigen und benutzerfreundlichen Online-KI-Tools. Ein lokaler Agent ist kein lokales Modell. Beide laufen auf Ihrem Rechner und senden jeden Inferenzaufruf an die Cloud des Anbieters.
| Werkzeug | Unterstützung lokaler Modelle | Hinweis |
|---|---|---|
| Cursor | Nein | Laut offizieller Dokumentation werden alle Anfragen über Cursor-Server geleitet; benutzerdefinierte Tasten funktionieren nur mit großen Cloud-Anbietern, und die Tab-Vervollständigung verwendet immer Cursor-Modelle. Übernahme durch SpaceX im Jahr 2026. |
| Devin Desktop (ehemals Windsurf) | Nein | Umbenannt im Juni 2026. Alle Modelle werden in der Cloud gehostet. |
| Google Antigravitation | Nein | Die Dokumentation gibt ausdrücklich an, dass weder Ollama, LM Studio noch ein benutzerdefinierter Endpunkt verwendet werden kann. |
| Gemini-Befehlszeilenschnittstelle | Nein | Lokale Unterstützung existiert nur in Community-Forks. |
| Qodo | Nein | „On-Premise“ bezieht sich auf selbstgehostete Infrastruktur, die weiterhin als Cloud-Modelle bezeichnet wird. |
| GitHub Copilot in der IDE | Teilweise | Der Chat kann lokale Modelle verwenden; Inline-Vervollständigungen bleiben auch unter BYOM-Nutzung in der Cloud erhalten. |
| ChatGPT | Nein | Die Desktop- und Mobilanwendungen sind Clients für die Cloud-Modelle von OpenAI. Die Open-Weight-GPT-OSS-Modelle von OpenAI laufen zwar lokal, jedoch über die oben genannten Laufzeitumgebungen und nicht über die ChatGPT-App. |
| Claude | Nein | Claude-Apps und Cowork laufen auf den Cloud-Modellen von Anthropic. Claude Code kann über die Anthropic-kompatible API von Ollama auf ein lokales Modell verweisen; dies funktioniert zwar, ist aber eine nicht unterstützte Konfiguration. |
| Allgemeine Agenturassistenten | Nein | Die in dieser Klasse enthaltenen Tools laufen auf Ihrem Rechner, basieren aber für die Schlussfolgerungen auf einem Cloud-Modell. |
Es gibt unzählige Anleitungen zum Verbinden von Cursor mit Ollama. Die Cursor-Dokumentation selbst widerspricht diesen jedoch. Wenn Offline-Betrieb für Sie erforderlich ist, ist dieser Unterschied von entscheidender Bedeutung.
Wie sieht es mit der Bild- und Videogenerierung aus?
Die lokale Bildgenerierung ist eine der größten Communities im Bereich der lokalen KI. Allein ComfyUI übertrifft die meisten der oben genannten Tools nach GitHub-Sternen, und die lokale Videogenerierung entwickelt sich zur speicherintensivsten Anwendung für Endverbraucher. Sie verdient eine eigene Rangliste und wird auch eine eigene erhalten, anstatt dieser hier eine vierte Kategorie hinzuzufügen. Bis dahin gilt die Hardwarelogik auf dieser Seite direkt: Bild- und Videoverarbeitung ist noch speicherintensiver als Sprachmodelle, und die gleichen Kategorien gelten.
So funktioniert diese Seite
Drei Regeln. Erstens: Die Rangliste basiert vorerst auf GitHub-Sternen. Das ist zwar nicht ideal, aber neutral, nachvollziehbar und erspart uns die Behauptung, wir hätten Dinge getestet, die wir nicht getestet haben. Closed-Source-Tools werden entsprechend gekennzeichnet und erhalten keine willkürliche Bewertung. Sobald unsere eigenen Tests klare Favoriten ergeben, wird sich die Reihenfolge entsprechend den Messergebnissen ändern, und wir werden dies bekanntgeben. Zweitens: Jeder Eintrag enthält einen Mindestspeicherbedarf, da dieser darüber entscheidet, ob ein Modell geladen werden kann. Drittens: Die Rubrik „Anleitung“ ist ein Versprechen: Jede Plattform erhält eine praktische Einrichtungsanleitung mit unseren Ergebnissen auf unserer Hardware. Der Link dazu erscheint hier, sobald die Anleitung veröffentlicht ist.
Häufig gestellte Fragen zu lokalen LLM-Tools
Mit welchem lokalen LLM-Tool sollte ich beginnen?
Ollama eignet sich für alle, die gerne im Terminal arbeiten, LM Studio für alle, die lieber ein Fenster mit Steuerelementen nutzen, und Jan für alle, die eine sofort einsatzbereite Lösung suchen, die keine zusätzlichen Installationen erfordert. Alle drei sind kostenlos, laufen komplett offline und basieren auf llama.cpp, sodass das Modellverhalten identisch ist. Der Unterschied liegt in der Benutzeroberfläche, nicht in der Geschwindigkeit.
Was geschah mit NVIDIA ChatRTX, GPT4All und Continue.dev?
Sie sind verschwunden, zusammen mit überraschend vielen vergleichbaren Programmen. Dies ist der wichtigste Hinweis, bevor man einer älteren Empfehlung folgt. NVIDIA ChatRTX wurde am 21. Januar 2026 eingestellt, das Repository archiviert und das Supportforum gesperrt. Ein Nachfolger wurde nicht benannt. GPT4All ist der schwierigste Fall: Seit zwölf Monaten gab es keine Commits mehr, die letzte Version erschien im Februar 2025. Das Repository ist jedoch nicht archiviert und weist noch immer viele Sterne auf, was darauf hindeutet, dass es noch aktiv ist. Es unterstützte nur eine begrenzte Anzahl von Quantisierungsformaten und kann die meisten aktuellen Modellversionen nicht laden. Continue.dev , zwei Jahre lang die Standardempfehlung für die Codierung lokaler Modelle, wurde von Cursor übernommen und im Juni 2026 eingestellt. Roo Code wurde im Mai 2026 abgeschaltet, Void im Juni 2026, Twinny im November 2025 und Reor im März 2026. Khoj stellte seinen gehosteten Dienst im April 2026 ein, die selbstgehostete Version ist jedoch weiterhin verfügbar. Auf Anbieterseite wurde Intel IPEX-LLM im Januar 2026 archiviert und aufgrund bekannter Sicherheitsprobleme ohne veröffentlichten Migrationspfad gekennzeichnet, und NVIDIA RTX AI Toolkit wurde im November 2025 als veraltet eingestuft.
Wie viel VRAM benötige ich, um einen lokalen LLM auszuführen?
Für Chat-Anwendungen läuft mit 8 GB Arbeitsspeicher ein 3-Bit-Modell, mit 16 GB ein 7- bis 8-Bit-Modell, das allein mit der CPU akzeptabel ist. Für optimale Geschwindigkeit empfiehlt sich das Modell im VRAM oder im integrierten Speicher: 16 GB bewältigen die 7- bis 14-Bit-Klasse, 24 GB erreichen im vierten Quartal die 30-Bit-Klasse, und ab 32 GB wird auch anspruchsvolles Programmieren nicht mehr frustrierend. Darüber hinaus ist die Speicherkapazität wichtiger als die Bandbreite. Deshalb laufen Systeme mit 96 bis 128 GB integriertem Speicher mit Modellen, die keine Grafikkarte für Endverbraucher bewältigen kann.
Nutzen die lokalen LLM-Tools meine NPU?
Normalerweise nicht. llama.cpp verfügt über kein NPU-Backend, daher nutzen Ollama und LM Studio auf Snapdragon- oder Ryzen-KI-Systemen die Neural Engine nur zu null Prozent und laufen stattdessen auf der CPU oder GPU. Um die NPU zu nutzen, ist derzeit ein bestimmter Hersteller erforderlich: Qualcomm GenieX, AMD Lemonade mit seiner NPU-Laufzeitumgebung, Intel OpenVINO oder Apples Neural Engine über die Betriebssystem-Frameworks. Der Vorteil liegt eher in der Akkulaufzeit und dem energiesparenden Dauerbetrieb als in der Geschwindigkeit. NPUs erreichen aktuell maximal etwa 7-Bit-Modelle, und eine dedizierte GPU ist in puncto Durchsatz stets überlegen.
Soll ich die lokale KI unter Windows oder Linux ausführen?
Für die Desktop-Anwendungen auf dieser Seite bieten Windows und macOS die reibungslosere Lösung. LM Studio, Jan, AnythingLLM und Ollama lassen sich nativ installieren, GPU-Treiber sind von den üblichen Quellen verfügbar, und es wird kein Terminal benötigt. Linux hat hier eine Stufe tiefer die Nase vorn: Die Produktions-Server-Engines vLLM und SGLang sind primär für Linux entwickelt, Multi-GPU-Server setzen dies praktisch voraus, und einige der neuesten Beschleunigungspfade sind zuerst für Linux verfügbar, darunter AMDs Ryzen AI NPU-Unterstützung, die unter Linux eingeführt wurde und einen sehr aktuellen Kernel voraussetzt. Die Unterschiede sind jedoch geringer als früher. AMD hat seine ROCm-Releases 2026 für Windows und Linux vereinheitlicht, und WSL2 deckt den Großteil der verbleibenden Kompatibilität ab. Dadurch laufen Docker-basierte Tools wie Open WebUI problemlos auf Windows-Rechnern. Die Faustregel lautet: Wenn Sie Anwendungen aus der Tabelle installieren, bleiben Sie bei Ihrem Betriebssystem; wenn Sie einen dedizierten Server einrichten oder alle Beschleunigungspfade nutzen möchten, verwenden Sie Linux.
Sind lokale Modelle ausreichend, um ein Cloud-Modell für die Codierung zu ersetzen?
Es hängt vollständig von der Aufgabe ab, und die Unterschiede sind deutlicher, als die meisten Berichte zugeben. Bei überschaubaren Aufgaben wie der Generierung von Einzeldateien, Unit-Tests, Boilerplate-Code und erklärendem Code sind aktuelle Open-Source-Modelle auf einer guten Workstation in etwa gleichwertig mit modernen Cloud-Modellen. Bei langfristigen, komplexen Aufgaben wie Refactoring mehrerer Dateien in einem großen Repository schneiden sie jedoch deutlich schlechter ab, und die Fehlerursachen sind unangenehm: unbemerkte, nicht ausgeführte Aktionen und fälschlicherweise gemeldete Arbeiten. Wenn Sie aus Gründen des Datenschutzes, der Trennung von Servern oder der Kosten lokal arbeiten möchten, ist dies aktuell eine sinnvolle Option. Wenn Sie hingegen Wert auf Leistung legen, ist dies noch nicht der Fall.
Ist die lokale Ausführung eines Modells sicherer als die Nutzung eines Cloud-Dienstes?
Für die Datenresidenz ist dies zwar wichtig, und das ist in der Regel der entscheidende Punkt. Für die Softwaresicherheit hingegen nicht automatisch. Eine lokale KI-Anwendung mit einem CVSS-Wert von 9.6 (Stand: März 2026) könnte durch die Ausgabe des Modells selbst dazu veranlasst werden, Code auf dem Host auszuführen, da die Desktop-Anwendung mit unsicheren Standardeinstellungen ausgeliefert wurde. Lokal bedeutet, dass Ihre Daten an ihrem ursprünglichen Ort bleiben. Das heißt aber nicht, dass die Software gehärtet ist, und in dieser Kategorie wird viel schnelllebiger Code ausgeliefert.
Was ist eine KI-Agenten-Sandbox und benötige ich eine für lokale KI?
Eine Sandbox ist eine isolierte Umgebung, üblicherweise ein Container oder eine schlanke virtuelle Maschine, in der ein KI-Agent die von ihm generierten Befehle und Codes ausführt. So kann ein Fehler oder eine schädliche Anweisung das Hostsystem nicht beeinträchtigen. Sandboxing ist notwendig, da Agenten nicht nur Fragen beantworten, sondern auch Shell-Befehle ausführen, Dateien bearbeiten und im Internet surfen. Jede dieser Aktionen basiert auf Modellausgaben, die manipuliert werden können. Die lokale Ausführung des Modells ändert daran nichts. Beim Sandboxing geht es darum, die Aktionen des Agenten zu isolieren, nicht den Speicherort des Modells. Die oben beschriebene Sicherheitslücke zur Codeausführung verdeutlichte genau diesen Punkt bei einer lokal ausgerichteten Anwendung. Einige der hier vorgestellten Tools verfügen über integriertes Sandboxing. Tools, die Agenten mit uneingeschränktem Hostzugriff ausführen, sollten genauer geprüft werden, bevor sie auf wichtigen Systemen eingesetzt werden. Mit zunehmender Verbreitung von Agenten im Unternehmensumfeld wird Sandboxing voraussichtlich zu einem zentralen Merkmal und nicht nur zu einer Randnotiz. Wir werden es daher künftig bei der Bewertung dieser Tools berücksichtigen.
Kann lokale Hardware agentenbasierte Workloads mit Dutzenden von Subagenten ausführen?
Dies ist die Grenze des Machbaren, und die ehrliche Antwort lautet: Eine einzelne Workstation stößt schnell an ihre Grenzen. Multiagenten-Workloads erzeugen Subagenten, die jeweils ihren eigenen Kontext verwalten. Auf der Inferenzseite bedeutet jeder aktive Kontext einen eigenen KV-Cache im Arbeitsspeicher, sodass der Speicherbedarf mit der Parallelität und nicht nur mit der Modellgröße skaliert. Wohin diese Caches wandern, wenn der Arbeitsspeicher nicht mehr ausreicht, ist ein eigenes technisches Problem. Unsere detaillierte Analyse des KV-Cache-Offloads auf Flash-Speicher , basierend auf Hardware von Dell und Solidigm, ist die beste Veröffentlichung zu diesem Thema. Ein Rechner, der problemlos eine Agentensitzung der 30-Byte-Klasse bedienen kann, kann typischerweise einige parallele Sitzungen über einen Batch-Server verarbeiten, bevor die Latenz steigt. Dutzende parallele Subagenten erfordern einen Server mit ausreichend Arbeitsspeicher für viele aktive Kontexte und einer Server-Engine wie vLLM, die für kontinuierliches Batching ausgelegt ist. Es gibt auch eine Qualitätsgrenze: Lokale Modelle verlieren bereits an Zuverlässigkeit mit zunehmender Anzahl an Tools, und die Orchestrierung vervielfacht die Anzahl der Tools und Übergaben. Wir vertreten die Auffassung, dass die Arbeit mit einem oder wenigen Agenten heutzutage eine legitime Aufgabe für einzelne Arbeitsstationen darstellt, während große Flotten von Subagenten eine Infrastrukturaufgabe sind. Diese Grenze und die dafür benötigte Hardware wollen wir noch genauer untersuchen.
Amazon