Diese Kategorie umfasst die Software, die auf den Geräten unserer Endbenutzertests läuft. Derzeit liegt der Fokus auf lokalen LLM-Tools: Desktop-Anwendungen und Laufzeitumgebungen wie Jan, LM Studio und Ollama, die ein Open-Weight-Modell herunterladen und es über die GPU eines Laptops oder einer Workstation bereitstellen. Jeder Praxistest installiert das Tool von Grund auf auf der Testhardware, führt den Modell-Download, die GPU-Auslagerung und die relevanten Einstellungen durch und misst den Dekodierungsdurchsatz, um die Ergebnisse verschiedener Tools auf demselben System vergleichen zu können. Die Kategorie enthält außerdem die von uns im Laufe der Jahre veröffentlichten Laufwerks-Utilities und Anleitungen für Heimlabore, von Samsung Magician und dem Solidigm Synergy Toolkit bis hin zu Proxmox- und pfSense-Konfigurationen.
Wenn Sie ein Tool auswählen, beginnen Sie mit unserer Rangliste der besten lokalen LLM-Tools. Diese listet Laufzeitumgebungen, Desktop-Anwendungen und Agenten-Frameworks auf und verlinkt die jeweiligen Anleitungen, sobald diese veröffentlicht werden. Im Hardwarebereich bieten die Seiten „ Beste Laptops für lokale KI“ und „Beste Desktop-PCs für lokale KI“ eine Rangliste der Systeme anhand der gemessenen Modellleistung. Unser Leitfaden zur Dimensionierung von Agenten-KI-Hardware erklärt Ihnen vor dem Kauf, wie viel VRAM, RAM und Speicherplatz ein bestimmtes Modell benötigt.