Společnost QNAP je známá svým hardwarovým designem a také tím, že do svého hardwarového designu vkládá více výkonu, možností rozšíření a flexibility než kdokoli jiný v této kategorii. Nedávno jsme recenzovali TS-h1290FX , 12NVMe NAS s procesorem AMD EPYC 7302P (16C/32T), 256GB DRAM, integrovaným 25GbE a spoustou PCI slotů. Co se stane, když s veškerou tou nahromaděnou energií a aplikacemi na desce přidáme grafickou kartu a uvidíme, jak daleko můžeme tento NAS posunout, pokud jde o provozování umělé inteligence, jako je soukromý ChatGPT?
Potenciál úložiště NAS pro umělou inteligenci
QNAP TS-h1290FX má co nabídnout firmám, které chtějí proniknout do světa umělé inteligence. NAS nabízí jedinečnou výhodu v tom, že může podporovat interní grafickou kartu (GPU) a má potenciál pro masivní úložnou kapacitu. Velké modely s umělou inteligencí vyžadují značné množství dat, která je nutné efektivně ukládat a přistupovat k nim. To může být náročné pro úložné platformy, které používají pevné disky, ale TS-h1290FX s podporou U.2 NVMe má vše potřebné.
Když se řekne NAS s velkou kapacitou, první myšlenkou jsou platformy s 3.5″ HDD s podporou disků až do velikosti 24 TB. To zní velkolepě, ale není to nic ve srovnání s tím, co najdete u SSD disků QLC U.2. Společnost QNAP nedávno přidala podporu pro řadu Solidigm P5336 , která dosahuje neuvěřitelné kapacity 61.44 TB na disk. U 12pozicového modelu, jako je TS-h1290FX, získají zákazníci až 737 TB úložného prostoru, než dojde k redukci dat. Pro kompaktní NAS s rozměry pro stolní počítače existuje jen velmi málo systémů, které by s tím mohly konkurovat.
Vzhledem k tomu, že firmy rychle zavádějí umělou inteligenci, je obrovskou výhodou mít systém, který dokáže poskytnout úložnou kapacitu pro pracovní postupy umělé inteligence a spouštět modely. Působivým výkonem však je, že tento QNAP NAS dokáže tyto pracovní postupy umělé inteligence spouštět a zároveň plnit své primární povinnosti sdílení úložiště v prostředí malých a středních podniků.
Je také třeba říci, že umělá inteligence není monolitická věc. Různé projekty umělé inteligence vyžadují pro svou podporu různé typy úložišť. Zatímco se zde zaměřujeme na stolní počítače, QNAP má spoustu dalších systémů NAS, které podporují vysokorychlostní flash a síťové připojení, což jsou klíčové prvky pro podporu ambicióznějších potřeb umělé inteligence, než jaké jsme zde popsali.
Jak QNAP podporuje GPU?
Společnost QNAP podporuje grafické karty (GPU) v mnoha svých systémech NAS. Mají také několik aplikací, které také podporují GPU. V tomto článku se na GPU podíváme především optikou Virtualization Station. Virtualization Station je hypervizor pro QNAP NAS, který uživatelům umožňuje vytvářet různé virtuální počítače. Virtualization Station má také rozsáhlou sadu funkcí, které v kontextu tohoto článku podporují zálohování virtuálních počítačů, snapshoty, klony a především průchod GPU.
Uvnitř našeho testovacího zařízení je QNAP TS-h1290FX vybaven typickou serverovou základní deskou s několika dostupnými sloty PCIe pro rozšíření. QNAP také dodává potřebné napájecí kabely pro grafickou kartu uvnitř šasi, takže s kartami, které potřebují více než jen napájení z PCIe slotu, není třeba nic dělat. Zjistili jsme, že jednoslotová NVIDIA RTX A4000 se perfektně hodí a má dostatek prostoru pro chlazení. V této platformě je preferována grafická karta s aktivním chladičem. Výběr grafické karty bude určen pracovním zatížením a tím, co NAS fyzicky dokáže zvládnout a chladit.
Konfigurace QNAP pro umělou inteligenci
Nastavení virtuálního počítače (VM) s GPU passthrough na zařízení QNAP NAS zahrnuje několik kroků. Vyžaduje QNAP NAS, který podporuje virtualizaci a má potřebné hardwarové funkce. Níže je uveden návod, jak jsme nastavili a nakonfigurovali QNAP NAS s GPU passthrough.
1. Ověřte kompatibilitu hardwaru
Ujistěte se, že váš QNAP NAS podporuje Virtualization Station, což je virtualizační aplikace od společnosti QNAP.
- Ověřte, zda má NAS volný slot PCIe pro grafickou kartu a zda grafická karta podporuje průchozí přenos dat. Seznamy kompatibility jsou často k dispozici na webových stránkách QNAP. I když aktuální seznam kompatibility oficiálně nepodporuje NVIDIA A4000, s funkčností jsme neměli žádné problémy.
2. Nainstalujte grafickou kartu
- Vypněte NAS a odpojte jej od napájení. Otevřete skříň a vložte grafickou kartu do volného slotu PCIe. Připojte k grafické kartě všechny potřebné napájecí kabely. Zavřete skříň, znovu připojte napájení a zapněte NAS.
3. Aktualizujte firmware a software svého QNAP
Ujistěte se, že váš QNAP NAS používá nejnovější verzi QTS (operačního systému QNAP). Použili jsme Virtualization Station 4, což je otevřená beta verze QNAP, která poskytuje lepší podporu a výkon pro práci s GPU. Virtualization Station 4 je samoinstalační balíček, na rozdíl od jiných, které se instalují přímo prostřednictvím Centra aplikací QNAP.
4. Nainstalujte operační systém na virtuální počítač
Po instalaci virtualizační stanice QNAP na váš NAS můžete přejít do rozhraní pro správu a nasadit virtuální počítač (VM). Po kliknutí na tlačítko „Vytvořit“ se zobrazí okno s výzvou k zadání názvu virtuálního počítače a výběru umístění na NAS, kde bude virtuální počítač spuštěn. Ve většině případů budete možná muset provést drobné úpravy informací o operačním systému a verzi.
Dále upravte zdroje a typ kompatibility CPU, které virtuální počítač uvidí na úrovni hostujícího operačního systému. V našem případě jsme virtuálnímu počítači dali 64 GB paměti a 8 CPU. Pro daný model jsme zvolili typ CPU s průchozím rozhraním a změnili BIOS na UEFI.
Chcete-li spustit a nainstalovat operační systém, musíte nahrát a připojit soubor ISO jako virtuální jednotku CD/DVD. Po dokončení instalace povolte správu protokolem RDP, než budete pokračovat k dalšímu kroku. Funkce správy virtuálních počítačů QNAP se změní po povolení průchodu GPU a protokol RDP tento proces výrazně zjednoduší. V tomto okamžiku virtuální počítač vypněte.
5. Konfigurace průchodu GPU
Ve virtualizační stanici:
- S vypnutým stávajícím virtuálním počítačem jej upravte.
- V nabídce nastavení virtuálního počítače vyhledejte kartu fyzická zařízení. Zde vyberte PCIe. Zobrazí se vám dostupné zařízení pro průchod. V našem případě to byla NVIDIA RTX A4000. Použijte tuto změnu.
- Pokud potřebujete pro svůj virtuální počítač alokovat další zdroje, jako jsou jádra procesoru, RAM a úložiště, je to ta správná chvíle.
- Znovu zapněte virtuální počítač.
6. Nainstalujte ovladače GPU do virtuálního počítače
Jakmile se vrátíte do virtuálního počítače pomocí RDP s připojenou grafickou kartou, stáhněte a nainstalujte příslušné ovladače pro vaši grafickou kartu ve virtuálním počítači. Tento krok je klíčový pro správné fungování grafické karty a dosažení očekávaného zlepšení výkonu.
7. Ověřte funkčnost průchodu GPU
Po instalaci ovladačů ověřte, zda je grafická karta rozpoznána a zda správně funguje ve virtuálním počítači. Stav grafické karty můžete zkontrolovat pomocí Správce zařízení ve Windows nebo příslušných nástrojů příkazového řádku v Linuxu.
Odstraňování problémů a tipy
- Kompatibilita: Zkontrolujte webové stránky výrobců QNAP a GPU, zda neobsahují konkrétní poznámky k kompatibilitě nebo aktualizace firmwaru, které by mohly ovlivnit funkčnost průchodu.
- Výkon: Sledujte výkon virtuálního počítače a v případě potřeby upravujte alokaci zdrojů. Zajistěte, aby váš NAS měl dostatek prostoru pro chlazení, zejména po přidání vysoce výkonné grafické karty.
- Sítě a úložiště: Optimalizujte nastavení sítě a konfigurace úložiště, abyste se vyhnuli úzkým místům, která by mohla ovlivnit výkon aplikací virtuálních strojů.
Chat NVIDIA s RTX – Soukromý chat GPT
I když je snadné zde skončit (vytvoření virtuálního počítače s Windows s přístupem k GPU), v tomto experimentu jsme šli ještě dál, abychom firmám poskytli jedinečný způsob, jak bezpečně a spolehlivě využít výhod umělé inteligence, a to s využitím výkonu NAS úložiště založeného na NVMe. V našem případě virtuální počítač využíval úložiště chráněné RAID5, které nabízelo výkon 9.4 GB/s pro čtení a 2.1 GB/s pro zápis.
Společnost NVIDIA nedávno uvedla na trh softwarový balíček s názvem Chat with RTX . Chat with RTX přináší revoluci v interakci s umělou inteligencí tím, že poskytuje přizpůsobený zážitek prostřednictvím integrace modelu velkého jazyka (LLM) založeného na GPT s lokální, jedinečnou datovou sadou. To zahrnuje možnost zpracovávat dokumenty, poznámky, multimédia, videa z YouTube, playlisty a další.
Tato aplikace na klíč využívá sílu generování s rozšířeným vyhledáváním (RAG) v kombinaci s efektivitou LLM optimalizovaného pro TensorRT a vysokorychlostními možnostmi akcelerace RTX. To vše poskytuje kontextově orientované odpovědi, které jsou rychlé a vysoce relevantní. Toto nastavení, které funguje přímo na vašem počítači nebo pracovní stanici s Windows RTX, zajišťuje rychlý přístup k informacím a vysoký stupeň soukromí a zabezpečení, protože veškeré zpracování je řešeno lokálně.
Implementace LLM s funkcemi RAG nabízí vynikající řešení pro obchodní profesionály a pokročilé uživatele, kteří upřednostňují soukromí, bezpečnost a personalizovanou efektivitu. Na rozdíl od veřejných modelů, jako je ChatGPT, které zpracovávají dotazy přes internet, lokální LLM funguje výhradně v rámci vašeho QNAP NAS.
Tato offline funkce zajišťuje, že veškeré interakce zůstanou soukromé a zabezpečené. To uživatelům umožňuje přizpůsobit znalostní bázi umělé inteligence svým specifickým potřebám, ať už se jedná o důvěrné firemní dokumenty, specializované databáze nebo osobní poznámky. Tento přístup výrazně zvyšuje relevanci a rychlost reakcí umělé inteligence, což z ní činí neocenitelný nástroj pro ty, kteří vyžadují okamžité, kontextově orientované poznatky, aniž by bylo ohroženo soukromí nebo zabezpečení dat.
Za zmínku také stojí, a to je možná zřejmé, že přidání grafické karty do NAS přímo zjednodušuje propojení mezi firemními daty a LLM. Pro využití výhod tohoto konkrétního modelu není nutné přesouvat data a proces je stejně jednoduchý a nákladově efektivní jako instalace středně velké grafické karty do NAS. V tuto chvíli je navíc veškerý tento software zdarma, což výrazně demokratizuje potenciál umělé inteligence pro malé organizace.
Chat with RTX je stále beta program a v době psaní tohoto článku jsme používali verzi 0.2. Snadná instalace a spuštění webového rozhraní byla ale osvěžující. Každý, kdo ví, jak stáhnout a nainstalovat aplikaci, nyní může spustit lokální LLM s RAG jen několika kliknutími.
Povolení vzdáleného přístupu k chatu s RTX prostřednictvím univerzálně dostupné adresy URL
Náš scénář jsme posunuli na další úroveň a zpřístupnili ho celé kanceláři.
Krok 1: Vyhledejte konfigurační soubor
Začněte tím, že přejdete do složky s konfiguračním souborem:
- Cesta k souboru:
C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py
Krok 2: Aktualizace spouštěcího kódu
Otevřete user_interface.py soubor a Ctrl-F pro interface.launch Vyhledejte správný segment, který se ve výchozím nastavení zobrazí takto:
interface.launch(
favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
show_api=False,
server_port=port
)Chcete-li povolit přístup k síti, musíte přidat share=True takto:
interface.launch(
favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
show_api=False,
share=True,
server_port=port
)Uložte úpravy do user_interface.py soubor. Poté spusťte Chat with RTX přes nabídku Start, čímž se otevře okno příkazového řádku a aktivuje se rozhraní.
Krok 3: Nalezení veřejné adresy URL
V okně příkazového řádku se zobrazí lokální i veřejná URL adresa. Chcete-li vytvořit funkční veřejnou URL adresu přístupnou z jakéhokoli zařízení, sloučte prvky z obou URL adres. Nejlepší by bylo, kdybyste vzali veřejnou URL adresu a na její konec přidali informace o lokálních souborech cookie:
- Veřejná URL adresa:
https://62e1db9de99021560f.gradio.live - Lokální URL s parametry:
http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark
Vaše kombinovaná URL adresa by měla vypadat takto, s příponou ?cookie připojenou k veřejné URL adrese:
https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark
Tato URL adresa umožňuje přístup k aplikaci Chat with RTX z jakéhokoli zařízení ve vaší síti, čímž rozšiřuje její použitelnost nad rámec místních omezení.
Závěrečné myšlenky
Již dlouho jsme fanoušky vedoucí pozice společnosti QNAP v oblasti návrhu hardwaru pro NAS, ale pro zákazníky QNAP je k dispozici mnohem více hodnot, než si pravděpodobně uvědomují. Virtualization Station je upřímně řečeno skvělým výchozím bodem, ale proč to neposunout na další úroveň a nevyzkoušet GPU Passthrough? Organizace mohou dodat špičkový virtuální stroj s grafickým procesorem, aniž by musely zřizovat samostatnou pracovní stanici. Existují také zjevné výhody virtuálního stroje umístěného vedle masivního interního úložného fondu s nativním výkonem. V tomto případě jsme měli sdílený úložný výkon téměř 10 GB/s, aniž bychom se museli starat o jediné 100GbE připojení nebo přepínač, a to vše proto, že virtuální stroj s akcelerací GPU se nacházel uvnitř samotného NAS.
Proč nejít ještě o krok dál a nerealizovat výhody umělé inteligence pro organizaci? Ukázali jsme, že přidání slušné grafické karty do QNAP NAS je relativně snadné a levné. Nasadili jsme do práce A4000 a s pouliční cenou kolem 1050 dolarů to není špatné, když vezmete v úvahu, že Virtualization Station je zdarma a NVIDIA Chat s RTX je k dispozici zdarma. Možnost bezpečně nasměrovat tento výkonný LLM na soukromá data společnosti by měla přinést užitečné poznatky a zároveň zvýšit dynamiku společnosti.
Další možností, kterou je třeba zvážit, je úložiště souborů pro modely, které mohou být externí vůči samotnému systému QNAP. To je ideální pro malé firmy, které potřebují rychlé místo pro ukládání svých pracovních dat. Díky pokročilým síťovým funkcím byste mohli NAS využít jako místo pro ukládání dat pro práci RAG na větším GPU serveru, což by umožnilo snadno sdílet úložiště dat, ze kterého lze odvodit informace.
Toto je jen jeden příklad umělé inteligence. Toto odvětví se rychle vyvíjí, takže nástroje budou i nadále k dispozici. Inteligentní podniky se musí naučit využívat umělou inteligenci a tato jednoduchá funkce od QNAP je skvělým způsobem, jak začít.
Amazon