Ollama 0.40.11 为 Windows 用户提供了一个桌面聊天应用程序和一个用于其他软件的本地模型运行时环境。Ollama 也超越了其最初的命令行界面,新增了可搜索的模型选择器、图像附件以及指向编码工具的链接。我们测试所需的一些控件仍然保留在 PowerShell 和模型配置文件中。我们安装了 Ollama。
本类别涵盖了我们最终用户评测中机器上运行的软件,目前重点关注本地LLM工具:例如Jan、LM Studio和Ollama等桌面应用程序和运行时环境,它们可以下载开放权重模型并从笔记本电脑或工作站的GPU提供该模型。每篇实操评测都会在实验室硬件上从零开始安装工具,完成模型下载、GPU卸载和关键设置,并测量解码吞吐量,以便在同一系统上比较不同工具的结果。本类别还包含我们多年来发布的驱动程序实用程序和家庭实验室指南,从三星Magician和Solidigm Synergy工具包到Proxmox和pfSense构建。
如果您正在选择工具,不妨先看看我们的“最佳本地LLM工具排行榜”,该排行榜对运行时环境、桌面应用程序和代理框架进行排名,并在每篇指南发布后提供链接。硬件方面,“最佳本地AI笔记本电脑”和“最佳本地AI台式机”页面根据模型性能对系统进行排名,而我们的代理AI硬件配置指南则涵盖了购买前特定模型所需的显存、内存和存储空间。
Ollama 0.40.11 为 Windows 用户提供了一个桌面聊天应用程序和一个用于其他软件的本地模型运行时环境。Ollama 也超越了其最初的命令行界面,新增了可搜索的模型选择器、图像附件以及指向编码工具的链接。我们测试所需的一些控件仍然保留在 PowerShell 和模型配置文件中。我们安装了 Ollama。
Open WebUI 将聊天、模型管理、文件管理、网页搜索、工具调用、图像支持、知识特征和 API 访问集成到一个本地 AI 界面中。本次上手评测,我们重点关注 Windows 桌面版本,并使用了与之前 1 月份 v0.8.6 版本测试相同的硬件和模型文件,以便对两个版本进行比较。
过去几年,在本地运行大型语言模型变得容易得多,但下载模型和拥有一个好用的桌面环境之间仍然存在差距。Jan 自称是 ChatGPT 的替代方案,它提供了一个开源的桌面应用程序,拥有熟悉的聊天式界面,并将大部分设置操作都隐藏在应用程序内部。
OSNexus QuantaStor 社区版允许以最少的限制使用,每个节点最多支持 80 个节点,XNUMXTB。
Solidigm Synergy 2.0 是该公司推出的免费新一代软件套件,用户可以通过它解锁新功能并管理固态硬盘 (SSD)。Solidigm 旨在通过优化用户体验,使您的电脑与 SSD 更好地协同工作。我们今天看到的仅仅是这一全新软件战略的第一阶段。该公司计划……
ULINK DA 硬盘分析器是一款面向 QNAP 用户的应用程序,它利用人工智能技术,能够准确预测系统中安装的硬盘。与其他市面上的智能监控器不同,ULINK 利用机器学习技术,从超过 1000 台硬盘中获取数据,从而实现对硬盘性能的精准预测。
我们最近决定推出一个关于家庭实验室环境经济型服务器的系列文章。在本文中,我们将介绍如何在之前购买的 HP EliteDesk 服务器上配置 Hyper-V。Windows Hyper-V 是 Windows Server 以及 Windows 10 专业版、企业版和教育版内置的虚拟环境。
对于学习或搭建家庭实验室组件而言,eBay 或 NewEgg 上那些被戏称为“技术垃圾堆”的翻新产品简直是宝藏。去年,我们撰写了一篇关于 VMware 服务器搭建的文章,为此我们入手了一台 HP EliteDesk 800 G1 SFF 台式机。它配备了固态硬盘 (SSD) 和受支持的 VMware 驱动程序。
我们最近在TikTok账号上发布了一段关于联想ThinkEdge SE50的视频,反响非常好。我们收到了许多关于将SE50用作pfSense路由器的评论。考虑到SE50的价格(起价约为2500美元),这种想法显然不太实际。但该系统确实有很多优点。