Kör en privat RAG ChatGPT på QNAP NAS

QNAP NAS-plattformar har de mest unika och kapabla hårdvarudesignerna i sin klass. Så vi lade till en GPU till en och testade AI-funktionerna.

QNAP är känt för sin hårdvarudesign, såväl som att slå in mer kraft, expansion och flexibilitet i sina hårdvarudesigner än någon annan i kategorin. Nyligen granskade vi TS-h1290FX, en 12 NVMe NAS med en AMD EPYC 7302P CPU (16C/32T), 256 GB DRAM, 25 GbE ombord och massor av PCI-platser. Med all den uppdämda kraften och appar ombord, vad händer om vi släpper in en GPU och ser hur långt vi kan driva denna NAS när det kommer till att köra AI, som en privat ChatGPT?

NAS-lagringspotential för AI

QNAP TS-h1290FX har mycket att erbjuda företag som vill bryta sig in i AI. NAS erbjuder en unik fördel genom att den kan stödja en intern GPU och har potential för ett enormt lagringsutrymme. Stora AI-modeller kräver en betydande mängd data, som måste lagras och nås effektivt. Detta kan vara utmanande för lagringsplattformar som använder hårddiskar, men TS-h1290FX med U.2 NVMe-stöd har allt täckt.

När du tänker på NAS med stor kapacitet är den första tanken på 3.5-tums hårddiskplattformar med stöd för enheter så stora som 24TB. Det låter stort, men det är ingenting jämfört med vad du kan hitta med QLC U.2 SSD:er. QNAP lade nyligen till stöd för Solidigm P5336 familj, som går upp till otroliga 61.44 TB per enhetskapacitet. För en modell med 12 fack som TS-h1290FX får kunderna upp till 737 TB rålagringsutrymme innan dataminskningen sätter igång. För en kompakt NAS för stationär fotavtryck finns det väldigt få system som skulle kunna konkurrera med det.

Eftersom företag snabbt tar till sig AI är det en stor fördel att ha ett system som kan tillhandahålla lagringskapacitet för AI-arbetsflöden och köra modeller. Den imponerande bedriften är dock att denna QNAP NAS kan köra dessa AI-arbetsflöden samtidigt som de hanterar sina primära uppgifter att dela lagring över SMB- eller SME-miljön.

Det ska också sägas att AI inte är en monolitisk sak. Olika AI-projekt kräver olika typer av lagring för att stödja dem. Medan vi är fokuserade på den stationära enheten här, har QNAP massor av andra NAS-system som har stöd för höghastighetsblixt och nätverk, kritiska element för att stödja ett mer ambitiöst AI-behov än vad vi har täckt här.

Hur stöder QNAP GPU:er?

QNAP stöder GPU:er i många av deras NAS-system. De har också några appar som stöder GPU också. För den här artikeln tittar vi i första hand på GPU:n genom objektivet på Virtualization Station. Virtualization Station är en hypervisor för QNAP NAS, som låter användare skapa en mängd olika virtuella maskiner. Virtualization Station har också en djup funktionsuppsättning som stöder VM-säkerhetskopior, ögonblicksbilder, kloner och, viktigast av allt, GPU-genomföring för sammanhanget i denna artikel.

Inuti vår testenhet är QNAP TS-h1290FX utrustad med ett typiskt serverkort med flera tillgängliga PCIe-platser för expansion. QNAP tillhandahåller också de nödvändiga GPU-strömkablarna inuti chassit, så inga roliga affärer krävs för kort som behöver mer än PCIe Slot-kraft. Vi fann att NVIDIA RTX A4000 med en plats passade perfekt med tillräckligt med utrymme för kylning. I denna plattform är en GPU med en aktiv kylare att föredra. Ditt val av GPU kommer att avgöras av arbetsbelastningen och vad NAS:en fysiskt kan stödja och kyla.

Konfigurera QNAP för AI

Att ställa in en virtuell maskin (VM) med GPU-passthrough på en QNAP NAS-enhet innefattar flera steg. Det kräver en QNAP NAS som stöder virtualisering och har de nödvändiga hårdvarufunktionerna. Nedan finns en guide om hur vi ställer in och konfigurerar QNAP NAS med GPU-passthrough.

1. Verifiera maskinvarukompatibilitet

Se till att din QNAP NAS stöder Virtualization Station, som är QNAP:s virtualiseringsapplikation.

• Kontrollera att NAS-enheten har en tillgänglig PCIe-plats för en GPU och att GPU:n stöder passthrough. Kompatibilitetslistor är ofta tillgängliga på QNAP-webbplatsen. Även om den nuvarande kompatibilitetslistan inte officiellt stöder NVIDIA A4000, hade vi inga problem med funktionaliteten.

2. Installera GPU:n

• Stäng av NAS:en och koppla bort den från strömmen. Öppna höljet och sätt in GPU:n i en ledig PCIe-plats. Anslut alla nödvändiga strömkablar till GPU:n. Stäng höljet, anslut strömmen igen och sätt på NAS:en.

3. Uppdatera din QNAP-firmware och programvara

Se till att din QNAP NAS kör den senaste versionen av QTS (QNAP:s operativsystem). Vi använde Virtualization Station 4, som är en QNAP öppen beta, för att ge bättre stöd och prestanda för GPU-arbete. Virtualization Station 4 är ett självinstallationspaket, till skillnad från andra som installeras direkt via QNAP App Center.

4. Installera operativsystemet på den virtuella datorn

Efter att ha installerat QNAP:s Virtualization Station på din NAS kan du gå till hanteringsgränssnittet för att distribuera din virtuella maskin (VM). När du klickar på "Skapa" visas ett fönster där du kan ange VM-namnet och välja platsen på NAS:en där den virtuella datorn ska köras. Du kan behöva göra några mindre justeringar av OS och versionsinformation i de flesta fall.

Justera sedan resurserna och CPU-kompatibilitetstypen som den virtuella datorn kommer att se på gäst-OS-nivå. I vårt fall gav vi vår VM 64 GB minne och 8 processorer. Vi valde passthrough CPU-typen för modellen och ändrade BIOS till UEFI.

För att starta och installera operativsystemet måste du ladda upp och montera en ISO-fil som en virtuell CD/DVD-enhet. När installationsprocessen är klar, aktivera RDP för hantering innan du fortsätter till nästa steg. QNAP VM-hanteringsfunktionaliteten ändras när GPU-passthrough är aktiverad, och RDP förenklar denna process avsevärt. Stäng nu av den virtuella datorn.

5. Konfigurera GPU Passthrough

Inom Virtualization Station:

1. Med den befintliga virtuella datorn avstängd, redigera din virtuella dator.
2. Leta efter fliken fysiska enheter i menyn VM-inställningar. Härifrån väljer du PCIe. Du kommer att se en tillgänglig enhet för passthrough. I vårt fall var det NVIDIA RTX A4000. Tillämpa denna ändring.
3. Om du behöver allokera andra resurser för din virtuella dator, såsom CPU-kärnor, RAM och lagring, är det här dags att göra det.
4. Slå på den virtuella datorn igen.

6. Installera GPU-drivrutiner i den virtuella datorn

När du är tillbaka i den virtuella datorn med RDP med grafikprocessorn ansluten, ladda ner och installera lämpliga drivrutiner för din grafikprocessor i den virtuella datorn. Detta steg är avgörande för att GPU:n ska fungera korrekt och ge de förväntade prestandaförbättringarna.

7. Verifiera GPU-genomföringsfunktionen

När du har installerat drivrutinerna, kontrollera att GPU:n känns igen och fungerar korrekt i den virtuella datorn. Du kan använda enhetshanteraren i Windows eller relevanta kommandoradsverktyg i Linux för att kontrollera GPU-statusen.

Felsökning och tips

• Kompatibilitet: Kontrollera QNAP- och GPU-tillverkarens webbplatser för specifika kompatibilitetsanmärkningar eller firmwareuppdateringar som kan påverka genomkopplingsfunktionalitet.
• Prestanda: Övervaka prestandan för din virtuella dator och justera resurstilldelningen vid behov. Se till att din NAS har tillräckligt med utrymme för kylning, särskilt efter att ha lagt till en högpresterande GPU.
• Nätverk och lagring: Optimera nätverksinställningar och lagringskonfigurationer för att undvika flaskhalsar som kan påverka prestandan för virtuella applikationer.

NVIDIA Chatta med RTX – Privat ChatGPT

Även om det är lätt att sluta här (att skapa en Windows VM med GPU-åtkomst), har vi drivit vidare i detta experiment för att ge företag ett unikt sätt att dra fördel av AI på ett säkert och säkert sätt, genom att utnyttja prestandan hos den NVMe-baserade NAS:en. I vårt fall utnyttjade den virtuella datorn RAID5-skyddad lagring som erbjöd prestanda på 9.4 GB/s läsning och 2.1 GB/s skrivning.

NVIDIA har nyligen lanserat ett mjukvarupaket med namnet Chatta med RTX. Chatta med RTX revolutionerar AI-interaktion genom att tillhandahålla en skräddarsydd upplevelse genom integrationen av en GPT-baserad storspråksmodell (LLM) med en lokal, unik datauppsättning. Detta inkluderar möjligheten att bearbeta dokument, anteckningar, multimedia, YouTube-videor, spellistor och mer.

Denna nyckelfärdiga applikation utnyttjar kraften i retrieval-augmented generation (RAG), kombinerat med effektiviteten hos TensorRT-optimerad LLM och höghastighetskapaciteten hos RTX-acceleration. Dessa ger sammanhangsmedvetna svar som är både snabba och mycket relevanta. Den här installationen fungerar direkt på din Windows RTX-skrivbord eller arbetsstation och säkerställer snabb åtkomst till information och en hög grad av integritet och säkerhet, eftersom all bearbetning hanteras lokalt.

Att implementera ett LLM med RAG-funktioner erbjuder en utmärkt lösning för affärsmän och avancerade användare som prioriterar integritet, säkerhet och personlig effektivitet. Till skillnad från offentliga modeller som ChatGPT, som bearbetar frågor över Internet, fungerar en lokal LLM helt inom gränserna för din QNAP NAS.

Denna offlinefunktion säkerställer att alla interaktioner hålls privata och säkra. Detta tillåter användare att anpassa AI:s kunskapsbas till deras specifika behov, oavsett om det är konfidentiella företagsdokument, specialiserade databaser eller personliga anteckningar. Detta tillvägagångssätt förbättrar relevansen och hastigheten av AI:s svar avsevärt, vilket gör det till ett ovärderligt verktyg för dem som behöver omedelbara, kontextmedvetna insikter utan att kompromissa med integritet eller datasäkerhet.

Också värt att notera, och detta kan vara uppenbart, att lägga till en GPU till NAS direkt förenklar kopplingen mellan ett företags data och LLM. Det finns inget behov av att flytta runt data för att dra fördel av just den här modellen, och processen är lika enkel och kostnadseffektiv som att släppa en mellanregister-GPU i NAS:en. Dessutom är all denna programvara gratis vid denna tidpunkt, vilket i hög grad demokratiserar potentialen för AI för små organisationer.

Chatta med RTX är fortfarande ett betaprogram, och i skrivande stund använde vi version 0.2. Men lättheten att installera och få igång webbgränssnittet var uppfriskande. Alla som vet hur man laddar ner och installerar en applikation kan nu få en lokal LLM med RAG igång med bara några klick.

Aktivera fjärråtkomst till chatt med RTX via en universellt tillgänglig URL

Vi tog vårt scenario till nästa nivå och gjorde det tillgängligt för hela kontoret.

Steg 1: Leta upp konfigurationsfilen

Börja med att gå till mappen med konfigurationsfilen:

• Sökväg: C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py

Steg 2: Uppdatera startkoden

Öppna user_interface.py fil och Ctrl-F för interface.launch Leta reda på rätt segment, som som standard kommer att visas enligt följande:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    server_port=port
)

För att aktivera nätverksåtkomst måste du lägga till share=True såhär:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    share=True,
    server_port=port
)

Spara ändringarna i user_interface.py fil. Starta sedan Chatta med RTX via Start-menyn, vilket kommer att initiera ett kommandotolksfönster och aktivera gränssnittet.

Steg 3: Hitta den offentliga webbadressen

Kommandotolksfönstret visar både en lokal och en offentlig URL. För att skapa en fungerande offentlig webbadress som är tillgänglig från vilken enhet som helst, slå samman element från båda webbadresserna. Det skulle vara bäst om du tog den offentliga webbadressen och lade till den lokala cookieinformationen i slutet av den:

• Offentlig webbadress: https://62e1db9de99021560f.gradio.live
• Lokal URL med parametrar: http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Din kombinerade webbadress ska se ut så här, med ?cookien bifogad till den offentliga webbadressen:

https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Denna URL ger åtkomst till Chatta med RTX från vilken enhet som helst i ditt nätverk, vilket utökar dess användbarhet bortom lokala begränsningar.

Avslutande tankar

Vi har varit fans av QNAP:s ledarskap inom NAS-hårdvarudesign under lång tid, men det finns så mycket mer värde tillgängligt för QNAP-kunder än de antagligen vet. Ärligt talat är Virtualization Station en bra utgångspunkt, men varför inte ta det till nästa nivå och prova GPU Passthrough? Om inte annat kan organisationer leverera en avancerad GPU-driven virtuell dator till organisationen utan att behöva konfigurera en dedikerad arbetsstation. Det finns också de uppenbara fördelarna med en virtuell dator som sitter bredvid en massiv intern lagringspool med inbyggda prestandanivåer. I det här fallet hade vi delad lagringsprestanda på nästan 10 GB/s, utan att oroa oss för en enda 100GbE-anslutning eller switch, allt eftersom den GPU-accelererade virtuella datorn satt inuti själva NAS:en.

Varför inte gå ännu ett steg längre för att inse fördelarna med AI för organisationen? Vi har visat att det är relativt enkelt och billigt att lägga till en anständig GPU till en QNAP NAS. Vi satte en A4000 igång, och med ett gatupris på cirka 1050 XNUMX $ är det inte illa när man betänker att Virtualization Station är gratis och NVIDIA Chat med RTX är tillgänglig utan kostnad. Att på ett säkert sätt kunna rikta denna kraftfulla LLM mot ett företags privata data bör ge handlingsbara insikter samtidigt som företaget blir mer dynamiskt.

En annan lins att överväga här är en filbutik för modeller som kan vara externa till själva QNAP-systemet. Detta är idealiskt för små företag som behöver en snabb plats för att lagra sina arbetsdata. Med de avancerade nätverksfunktionerna kan du tänka dig att använda NAS:en som en plats för att hålla data för RAG-arbete på en större GPU-server, vilket möjliggör ett enkelt delat datalager att dra slutsatser från.

Detta är bara ett exempel på AI. Branschen går snabbt, så verktyg kommer att fortsätta att göras tillgängliga. Intelligenta företag måste lära sig att utnyttja AI, och denna enkla funktion från QNAP är ett bra sätt att komma igång.

QNAP Virtualization Station

Engagera dig med StorageReview

Nyhetsbrev | Youtube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Rssflöde