В этой категории рассматривается программное обеспечение, работающее на машинах, которые мы тестируем для конечных пользователей, с текущим акцентом на локальные инструменты LLM: настольные приложения и среды выполнения, такие как Jan, LM Studio и Ollama, которые загружают модель с открытыми весами и запускают её с графического процессора ноутбука или рабочей станции. В каждом практическом руководстве инструмент устанавливается с нуля на лабораторном оборудовании, проверяется загрузка модели, разгрузка графического процессора и необходимые настройки, а также измеряется пропускная способность декодирования, чтобы результаты можно было сравнивать между инструментами на одной и той же системе. В этой категории также представлены утилиты для работы с дисками и руководства для домашних лабораторий, которые мы публиковали на протяжении многих лет, от Samsung Magician и набора инструментов Solidigm Synergy до сборок Proxmox и pfSense.
Если вы выбираете инструмент, начните с нашего рейтинга лучших инструментов для локального ИИ , в котором ранжируются среды выполнения, настольные приложения и агентские фреймворки, а также приводятся ссылки на соответствующие практические руководства по мере их публикации. Что касается оборудования, то на страницах «Лучшие ноутбуки для локального ИИ» и «Лучшие настольные компьютеры для локального ИИ» системы ранжируются по измеренной производительности моделей, а наше руководство по выбору оборудования для агентного ИИ расскажет, сколько видеопамяти, оперативной памяти и хранилища требуется для конкретной модели, прежде чем вы ее купите.
Amazon