存儲評論網

QNAP推出面向私有LLM和生成式AI工作負載的QAI-h1290FX邊緣AI儲存伺服器

企業  ◇  中型 NAS

QNAP Systems 推出了 QAI-h1290FX,這是一款邊緣 AI 儲存伺服器,專為希望在自有基礎架構上運行大型語言模型、檢索增強型產生搜尋和其他生成式 AI 工作負載的企業而設計。該系統旨在幫助企業在採用 AI 技術的同時,兼顧資料隱私、低延遲、治理和維運控制等需求,使團隊能夠在本地部署 AI 應用,而無需將敏感資料傳送到公有雲平台。

QNAP QAI h1290FX 前面板

企業可以利用 QAI-h1290FX 部署內部 AI 助手,用於員工培訓、政策諮詢和知識查詢,並將底層資料保留在企業內部。法務、財務、人力資源和營運團隊可以建立私有的 RAG 管道,用於搜尋合約、報告和內部記錄,提供比傳統關鍵字搜尋更豐富的上下文資訊。創意團隊可以運行 Stable Diffusion 或 ComfyUI 等影像生成工具,用於設計和內容工作流程。而 IT 團隊則可以使用 n8n 等自動化工具來觸發推理任務、產生內容或在業務系統中路由警報。

QNAP QAI-h1290FX 組件、擴展和 I/O

QAI-h1290FX 採用 AMD EPYC 7302P 處理器和 12 個 U.2 NVMe/SATA SSD 插槽,將伺服器級運算能力與專為需要快速資料存取的 AI 工作負載量身定制的全快閃儲存設計相結合。這款 16 核心 32 執行緒處理器支援推理、虛擬化和平行工作負載。同時,SSD 架構專為頻繁的模型執行、高速資料流傳輸以及對資料集、嵌入、文件和生成內容的快速存取而設計。

該系統還支援選購的 NVIDIA RTX PRO 6000 Blackwell Max-Q 工作站 GPU 加速,可提供高達 96GB 的 GPU 顯存,以滿足更嚴苛的本地 AI 工作負載需求。對 CUDA、TensorRT 和 Transformer Engine 加速的支持,使團隊無需從頭開始構建獨立的 GPU 工作站,即可在本地運行大型語言模型推理、圖像生成和深度學習應用程式。

QNAP QAI h1290FX 後面板

QAI-h1290FX 提供內建高速網絡,配備兩個 25GbE SFP28 SmartNIC 連接埠和兩個 2.5GbE 端口,並透過 2.5GbE 連接埠支援網路喚醒 (Wake-on-LAN) 功能。擴充方面,它包含四個 PCIe 插槽,其中三個為 PCIe Gen 4 x16 插槽,一個為 PCIe Gen 4 x8 插槽,可用於添加更高速的網路、GPU 或其他相容的擴充卡。其他 I/O 介麵包括三個 USB 3.2 Gen 1 連接埠、巨型幀支援、SR-IOV、GPU 直通,並且其十二個硬碟位元相容 2.5 吋 SATA SSD 和 U.2 NVMe PCIe Gen4 x4 SSD。

威聯通 QAI-h1290FX 規格

規格 QNAP QAI-h1290FX
概述
型號 AI-h1290FX-7302P-128G
處理器和內存
中央處理器 AMD EPYC™ 7302P 16核心/32執行緒處理器,最高主頻達3.3 GHz
CPU架構 64 位 x86
加密引擎  (AES-NI)
系統內存 128 GB RDIMM DDR4 ECC
最大內存 1TB (8x128GB)
內存插槽 8 個 RDIMM DDR4
閃存 8GB(雙啟動操作系統保護)
儲存
驅動灣 12 x 2.5 英寸 U.2 PCIe NVMe / SATA 6Gbps
該系統出廠時未配備固態硬碟。
如需查看 SSD 相容性列表,請訪問 https://www.qnap.com/compatibility/
驅動器兼容性 2.5 英寸托架:
2.5英寸SATA固態硬盤
2.5 英寸 U.2 NVMe PCIe Gen4 x4 固態硬盤
支持熱插拔 可以
SSD緩存加速支持 可以
GPU和虛擬化
GPU直通 可以
SR-IOV 可以
網路相關
2.5 千兆以太網端口 (2.5G/1G/100M) 2 (2.5G/1G/100M/10M)
25 個千兆以太網端口 2 個 25GbE SFP28 智能網卡端口
局域網喚醒 (WOL) 只有 2.5GbE 端口
巨型框架 可以
擴充和連接埠
PCIe 插槽 4
插槽 1:PCIe Gen 4 x16
插槽 2:PCIe Gen 4 x16
插槽 3:PCIe Gen 4 x8
插槽 4:PCIe Gen 4 x16
PCIe 插槽 1 和插槽 2 的卡片尺寸:185 x 111.15 x 18.76 mm / 7.28 x 4.38 x 0.74 吋。
PCIe 插槽 3 和插槽 4 的卡片尺寸:280 x 111.15 x 18.76 mm / 11.02 x 4.38 x 0.74 吋。
如果不使用下一個 PCIe 插槽,可以安裝更寬的卡。
USB 3.2 Gen 1端口 3
物理設計
外形
LED指示燈 電源/狀態、LAN、USB、SSD1-12
液晶顯示/按鈕 可以
鈕扣 電源、重置、USB 自動複製
外形尺寸(高x寬x) 150×368×362毫米
尺寸不包含腳墊(腳墊高度可能高達 10 毫米/0.39 英寸,具體取決於型號)。
重量(淨重) 10.4克
重量(毛重) 11.3克
環境與電力
工作溫度 0 – 40°C (32°F – 104°F)
儲藏溫度 -20 – 70°C(-4°F – 158°F)
相對濕度 5-95% 相對濕度,無冷凝,濕球溫度:27°C (80.6°F)
供電單元 750W,100-240V
Fan 2 x 92 毫米,12VDC
系統警告 蜂鳴器
Kensington 安全鎖 可以
保固和連接
標準保修 5
最大限度。 並發連接數 (CIFS) – 最大。 記憶 10000

基於快速儲存、GPU加速和本地控制構建

QAI-h1290FX 搭載 QNAP 基於 ZFS 的 QuTS hero 作業系統,具備企業級儲存功能,例如資料完整性保護、強大的快照支援和線上重複資料刪除。這些功能對於人工智慧部署至關重要,因為企業通常需要處理大量重複或相關的文件、嵌入、模型文件、訓練材料和產生輸出資料。

開發人員和 IT 團隊可透過 QNAP Container Station 在容器化環境中執行 AI 工具,並可直接存取 GPU。同時,Virtualization Station 支援虛擬機器的 GPU 直通。這使得企業能夠更好地控制運算資源的分配方式,無論是將工作負載部署在容器中以提高速度和可移植性,還是部署在虛擬機器中以實現隔離、測試和管理控制。

QAI-h1290FX 也預先安裝了 AnythingLLM、OpenWebUI 和 Ollama 等 AI 工具,讓團隊能夠更快地設定私人 LLM 工作流程和本地聊天介面。此外,我們還在整合其他應用程式(包括 Stable Diffusion、ComfyUI、n8n 和 vLLM),以支援在同一本地平台上進行文字生成、圖像創建、工作流程自動化和推理等應用場景。

企業人工智慧團隊的本地基礎設施選項

QNAP 表示,該平台可以減少建置本地 AI 基礎設施通常所需的人工操作,例如組裝 GPU 工作站、安裝 AI 工具和配置獨立環境。使用者可以直接在系統上部署受支援的 AI 模型和應用程序,同時保持對資料的控制權,避免依賴雲端服務。

它還相容於 QNAP JBOD 擴充櫃,為企業提供了一種隨著 AI 資料集、內部知識庫、模型檔案和生成內容的不斷增長而擴展儲存容量的途徑。

QNAP QAI-h1290FX 產品頁面

參與 StorageReview

電子報| YouTube | PodcastiTunes / Spotify | Instagram | Twitter | TikTok | RSS訂閱

萊爾·史密斯

Lyle 是 StorageReview 的撰稿人,文章涵蓋了廣泛的終端使用者和企業 IT 主題。