Ta kategoria obejmuje oprogramowanie działające na maszynach, które zostały omówione w naszych recenzjach użytkowników końcowych, ze szczególnym uwzględnieniem lokalnych narzędzi LLM: aplikacji desktopowych i środowisk uruchomieniowych, takich jak Jan, LM Studio i Ollama, które pobierają model w wersji open-weight i obsługują go z laptopa lub stacji roboczej z procesorem graficznym (GPU). Każdy z nich instaluje narzędzie od podstaw na sprzęcie laboratoryjnym, przechodzi przez proces pobierania modelu, odciążania procesora graficznego (GPU) i konfigurowania odpowiednich ustawień, a także mierzy przepustowość dekodowania, aby umożliwić porównywanie wyników między narzędziami w tym samym systemie. W tej kategorii znajdują się również narzędzia dyskowe i poradniki dotyczące laboratoriów domowych, które publikowaliśmy przez lata, od Samsung Magician i zestawu narzędzi Solidigm Synergy po kompilacje Proxmox i pfSense.
Jeśli wybierasz narzędzie, zacznij od naszej tabeli najlepszych lokalnych narzędzi LLM , która klasyfikuje środowiska wykonawcze, aplikacje desktopowe i frameworki agentów, a także linkuje do każdego przewodnika praktycznego w miarę jego publikacji. Jeśli chodzi o sprzęt, strony „ Najlepsze laptopy dla lokalnej sztucznej inteligencji” i „ Najlepsze komputery stacjonarne dla lokalnej sztucznej inteligencji ” klasyfikują systemy na podstawie mierzonej wydajności modelu, a nasz przewodnik po rozmiarach sprzętu dla sztucznej inteligencji agentowej omawia, ile pamięci VRAM, RAM i pamięci masowej potrzebuje dany model przed zakupem.