Voer een privé RAG ChatGPT uit op QNAP NAS

QNAP NAS-platforms hebben de meest unieke en capabele hardware-ontwerpen in hun klasse. Daarom hebben we er een GPU aan toegevoegd en de AI-mogelijkheden getest.

QNAP staat bekend om zijn hardware-ontwerp en heeft meer kracht, uitbreidingsmogelijkheden en flexibiliteit in zijn hardware-ontwerpen gestopt dan wie dan ook in deze categorie. Onlangs hebben wij de TS-h1290FX, een 12 NVMe NAS met een AMD EPYC 7302P CPU (16C/32T), 256GB DRAM, 25GbE aan boord en voldoende PCI-slots. Met al die opgekropte kracht en apps aan boordWat gebeurt er als we een GPU inzetten en kijken hoe ver we deze NAS kunnen pushen als het gaat om het uitvoeren van AI, zoals een privé ChatGPT?

QNAP TS-h1290FX Voorkant afbeelding

Het is een feit dat u zich geen zorgen hoeft te maken.

NAS-opslagpotentieel voor AI

De QNAP TS-h1290FX heeft veel te bieden aan bedrijven die willen inbreken in AI. De NAS biedt een uniek voordeel omdat hij een interne GPU kan ondersteunen en het potentieel heeft voor een enorme opslagvoetafdruk. Grote AI-modellen vereisen een aanzienlijke hoeveelheid gegevens, die efficiënt moeten worden opgeslagen en toegankelijk. Dit kan een uitdaging zijn voor opslagplatforms die harde schijven gebruiken, maar de TS-h1290FX met U.2 NVMe-ondersteuning heeft alles gedekt.

Als u denkt aan NAS-systemen met grote capaciteit, denkt u eerst aan 3.5″ HDD-platforms met ondersteuning voor schijven tot 24TB. Dat klinkt groots, maar het is niets vergeleken met wat je kunt vinden bij QLC U.2 SSD's. QNAP heeft onlangs ondersteuning toegevoegd voor de Solidigma P5336 familie, met een ongelooflijke capaciteit van 61.44 TB per schijf. Voor een model met 12 sleuven, zoals de TS-h1290FX, krijgen klanten tot 737 TB ruwe opslag voordat de gegevensreductie begint. Voor een compacte NAS met desktopvoetafdruk zijn er maar heel weinig systemen die daarmee kunnen concurreren.

Nu bedrijven AI snel adopteren, is het een enorm voordeel om te beschikken over een systeem dat opslagcapaciteit kan bieden voor AI-workflows en uitvoeringsmodellen. De indrukwekkende prestatie is echter dat deze QNAP NAS deze AI-workflows kan uitvoeren terwijl hij nog steeds zijn primaire taken vervult, namelijk het delen van opslag binnen de MKB- of MKB-omgeving.

Het moet ook gezegd worden dat AI geen monolithisch iets is. Verschillende AI-projecten vereisen verschillende soorten opslag om ze te ondersteunen. Hoewel we ons hier concentreren op de desktop-eenheid, heeft QNAP nog tal van andere NAS-systemen die ondersteuning bieden voor snelle flash en netwerken, cruciale elementen bij het ondersteunen van een ambitieuzere AI-behoefte dan wat we hier hebben besproken.

Hoe ondersteunt QNAP GPU's?

QNAP ondersteunt GPU's in veel van hun NAS-systemen. Ze hebben ook een paar apps die ook GPU's ondersteunen. Voor dit artikel kijken we vooral naar de GPU door de lens van Virtualization Station. Virtualization Station is een hypervisor voor de QNAP NAS, waarmee gebruikers een verscheidenheid aan virtuele machines kunnen creëren. Virtualization Station heeft ook een uitgebreide functieset die VM-back-ups, snapshots, klonen en, belangrijker nog, GPU-passthrough ondersteunt voor de context van dit artikel.

In onze testunit is de QNAP TS-h1290FX uitgerust met een typisch serverbord met verschillende beschikbare PCIe-slots voor uitbreiding. QNAP levert ook de benodigde GPU-stroomkabels in het chassis, zodat er geen gekke dingen nodig zijn voor kaarten die meer dan PCIe-slotvoeding nodig hebben. We vonden dat de NVIDIA RTX A4000 met één slot perfect paste met voldoende ruimte voor koeling. Bij dit platform heeft een GPU met actieve koeler de voorkeur. Jouw GPU-keuze wordt bepaald door de werklast en wat de NAS fysiek kan ondersteunen en koelen.

Configureren van QNAP voor AI

Het instellen van een virtuele machine (VM) met GPU-passthrough op een QNAP NAS-apparaat omvat verschillende stappen. Het vereist een QNAP NAS die virtualisatie ondersteunt en beschikt over de nodige hardwaremogelijkheden. Hieronder vindt u een gids over hoe we de QNAP NAS met GPU-passthrough instellen en configureren.

1. Controleer de hardwarecompatibiliteit

Zorg ervoor dat uw QNAP NAS Virtualization Station ondersteunt, de virtualisatietoepassing van QNAP.

Controleer of de NAS een beschikbaar PCIe-slot voor een GPU heeft en of de GPU passthrough ondersteunt. Compatibiliteitslijsten zijn vaak beschikbaar op de website van QNAP. Hoewel de huidige compatibiliteitslijst de NVIDIA A4000 officieel niet ondersteunt, hadden we geen problemen met de functionaliteit.

2. Installeer de GPU

Schakel de NAS uit en koppel deze los van de voeding. Open de behuizing en plaats de GPU in een beschikbaar PCIe-slot. Sluit eventuele benodigde stroomkabels aan op de GPU. Sluit de behuizing, sluit de stroom weer aan en schakel de NAS in.

3. Update uw QNAP-firmware en -software

Zorg ervoor dat uw QNAP NAS de nieuwste versie van QTS (het besturingssysteem van QNAP) gebruikt. We gebruikten Virtualization Station 4, een open bèta van QNAP, om betere ondersteuning en prestaties te bieden voor GPU-werk. Virtualization Station 4 is een pakket dat u zelf kunt installeren, in tegenstelling tot andere pakketten die rechtstreeks via het QNAP App Center worden geïnstalleerd.

4. Installeer het besturingssysteem op de VM

Na het installeren van QNAP's Virtualization Station op uw NAS kunt u naar de beheerinterface gaan om uw virtuele machine (VM) in te zetten. Wanneer u op “Create” klikt, verschijnt er een promptvenster waarin u de VM-naam kunt opgeven en de locatie op de NAS kunt selecteren waar de VM zal draaien. In de meeste gevallen moet u mogelijk enkele kleine aanpassingen aanbrengen in het besturingssysteem en de versie-informatie.

Pas vervolgens de bronnen en het CPU-compatibiliteitstype aan dat de VM op gastbesturingssysteemniveau ziet. In ons geval hebben we onze VM 64 GB geheugen en 8 CPU's gegeven. We hebben het passthrough-CPU-type voor het model geselecteerd en het BIOS gewijzigd in UEFI.

Om het besturingssysteem op te starten en te installeren, moet u een ISO-bestand uploaden en koppelen als een virtueel cd/dvd-station. Zodra het installatieproces is voltooid, schakelt u RDP in voor beheer voordat u doorgaat naar de volgende stap. De QNAP VM-beheerfunctionaliteit verandert zodra GPU-passthrough is ingeschakeld, en RDP vereenvoudigt dit proces aanzienlijk. Schakel nu de VM uit.

5. Configureer GPU-doorvoer

Binnen Virtualisatie Station:

Terwijl de bestaande VM is uitgeschakeld, bewerkt u uw VM.
Zoek in het menu VM-instellingen naar het tabblad fysieke apparaten. Selecteer hier PCIe. U ziet een beschikbaar apparaat voor de passthrough. In ons geval was het de NVIDIA RTX A4000. Pas deze wijziging toe.
Als u andere bronnen voor uw VM moet toewijzen, zoals CPU-kernen, RAM en opslag, is dit het moment om dat te doen.
Schakel de virtuele machine weer in.

6. Installeer GPU-stuurprogramma's in de VM

Zodra u weer in de VM bent en RDP gebruikt terwijl de GPU is aangesloten, downloadt en installeert u de juiste stuurprogramma's voor uw GPU binnen de VM. Deze stap is cruciaal voor het correct functioneren van de GPU en het leveren van de verwachte prestatieverbeteringen.

7. Controleer de GPU-passthrough-functionaliteit

Controleer na het installeren van de stuurprogramma's of de GPU wordt herkend en correct functioneert binnen de VM. U kunt Apparaatbeheer in Windows of relevante opdrachtregelprogramma's in Linux gebruiken om de GPU-status te controleren.

Problemen oplossen en tips

Toepasbaar op: Controleer de websites van QNAP en GPU-fabrikanten voor specifieke compatibiliteitsopmerkingen of firmware-updates die de passthrough-functionaliteit kunnen beïnvloeden.
prestaties: Bewaak de prestaties van uw VM en pas de toewijzing van resources indien nodig aan. Zorg ervoor dat uw NAS voldoende ruimte heeft voor koeling, vooral na het toevoegen van een krachtige GPU.
Netwerken en opslag: Optimaliseer netwerkinstellingen en opslagconfiguraties om knelpunten te voorkomen die de prestaties van VM-applicaties kunnen beïnvloeden.

NVIDIA-chat met RTX – privéchatGPT

Hoewel het gemakkelijk is om hier te stoppen (het creëren van een Windows VM met GPU-toegang), hebben we in dit experiment een stap verder gezet om bedrijven een unieke manier te bieden om veilig te profiteren van AI, waarbij gebruik wordt gemaakt van de prestaties van de NVMe-gebaseerde NAS. In ons geval maakte de VM gebruik van RAID5-beveiligde opslag die prestaties bood van 9.4 GB/s lezen en 2.1 GB/s schrijven.

NVIDIA heeft onlangs een softwarepakket gelanceerd met de naam Chat met RTX. Chatten met RTX zorgt voor een revolutie in AI-interactie door een ervaring op maat te bieden via de integratie van een op GPT gebaseerd groottaalmodel (LLM) met een lokale, unieke dataset. Dit omvat de mogelijkheid om documenten, notities, multimedia, YouTube-video's, afspeellijsten en meer te verwerken.

Deze kant-en-klare applicatie maakt gebruik van de kracht van Retrieval-Augmented Generation (RAG), gecombineerd met de efficiëntie van TensorRT-geoptimaliseerde LLM en de snelle mogelijkheden van RTX-versnelling. Deze leveren contextbewuste reacties op die zowel snel als zeer relevant zijn. Deze opstelling werkt rechtstreeks op uw Windows RTX-desktop of -werkstation en zorgt voor snelle toegang tot informatie en een hoge mate van privacy en veiligheid, omdat alle verwerking lokaal wordt afgehandeld.

Het implementeren van een LLM met RAG-mogelijkheden biedt een uitstekende oplossing voor zakelijke professionals en ervaren gebruikers die prioriteit geven aan privacy, beveiliging en persoonlijke efficiëntie. In tegenstelling tot openbare modellen zoals ChatGPT, die zoekopdrachten via internet verwerken, opereert een lokale LLM volledig binnen de grenzen van uw QNAP NAS.

Deze offline functie zorgt ervoor dat alle interacties privé en veilig blijven. Hierdoor kunnen gebruikers de kennisbank van de AI aanpassen aan hun specifieke behoeften, of het nu gaat om vertrouwelijke bedrijfsdocumenten, gespecialiseerde databases of persoonlijke notities. Deze aanpak vergroot de relevantie en snelheid van de reacties van de AI aanzienlijk, waardoor het een instrument van onschatbare waarde wordt voor degenen die onmiddellijke, contextueel bewuste inzichten nodig hebben zonder de privacy of gegevensbeveiliging in gevaar te brengen.

Ook vermeldenswaard, en dit moge duidelijk zijn, vereenvoudigt het toevoegen van een GPU aan de NAS direct de koppeling tussen de gegevens van een bedrijf en de LLM. Het is niet nodig om gegevens te verplaatsen om van dit specifieke model te profiteren, en het proces is net zo eenvoudig en kosteneffectief als het plaatsen van een middenklasse GPU in de NAS. Bovendien is al deze software op dit moment gratis, waardoor het potentieel van AI voor kleine organisaties enorm wordt gedemocratiseerd.

Chatten met RTX is nog een bètaprogramma en op het moment van schrijven gebruikten we versie 0.2. Maar het gemak waarmee het werd geïnstalleerd en de webinterface operationeel werd, was verfrissend. Iedereen die weet hoe hij een applicatie moet downloaden en installeren, kan nu met slechts een paar klikken een lokale LLM krijgen waarop RAG draait.

Externe toegang mogelijk maken om te chatten met RTX via een universeel toegankelijke URL

We hebben ons scenario naar een hoger niveau getild en beschikbaar gemaakt voor het hele kantoor.

Stap 1: Zoek het configuratiebestand

Begin door naar de map met het configuratiebestand te gaan:

Bestandspad: C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py

Stap 2: Update de startcode

Open de user_interface.py bestand en Ctrl-F voor interface.launch Zoek het juiste segment, dat standaard als volgt verschijnt:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    server_port=port
)

Om netwerktoegang in te schakelen, moet u toevoegen share=True zoals zo:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    share=True,
    server_port=port
)

Sla de wijzigingen op in het user_interface.py bestand. Start vervolgens Chat met RTX via het Startmenu, dat een opdrachtpromptvenster opent en de interface activeert.

Stap 3: Het vinden van de openbare URL

Het opdrachtpromptvenster geeft zowel een lokale als een openbare URL weer. Om een functionele openbare URL te maken die toegankelijk is vanaf elk apparaat, voegt u elementen van beide URL's samen. Het zou het beste zijn als u de openbare URL zou nemen en de lokale cookie-informatie aan het einde ervan zou toevoegen:

Openbare URL: https://62e1db9de99021560f.gradio.live
Lokale URL met parameters: http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Uw gecombineerde URL zou er als volgt uit moeten zien, met de ?cookie toegevoegd aan de openbare URL:

https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Deze URL geeft toegang tot Chat met RTX vanaf elk apparaat in uw netwerk, waardoor de bruikbaarheid ervan wordt uitgebreid tot buiten lokale beperkingen.

Conclusie

We zijn al lange tijd fan van QNAP's leiderschap op het gebied van NAS-hardwareontwerp, maar er is zoveel meer waarde beschikbaar voor QNAP-klanten dan ze waarschijnlijk weten. Eerlijk gezegd is Virtualization Station een goed startpunt, maar waarom zou je het niet naar een hoger niveau tillen en GPU Passthrough proberen? Als er niets anders is, kunnen organisaties een hoogwaardige GPU-aangedreven VM aan de organisatie leveren zonder dat ze een speciaal werkstation hoeven in te richten. Er zijn ook de duidelijke voordelen van een VM naast een enorme interne opslagpool met native prestatieniveaus. In dit geval hadden we gedeelde opslagprestaties van bijna 10 GB/s, zonder ons zorgen te hoeven maken over een enkele 100GbE-verbinding of switch, allemaal omdat de GPU-versnelde VM in de NAS zelf zat.

Waarom niet nog een stap verder gaan om de voordelen van AI voor de organisatie te realiseren? We hebben laten zien dat het toevoegen van een fatsoenlijke GPU aan een QNAP NAS relatief eenvoudig en goedkoop is. We hebben een A4000 aan het werk gezet, en met een straatprijs van ongeveer $ 1050 is dat niet slecht als je bedenkt dat Virtualization Station gratis is en NVIDIA Chat met RTX gratis beschikbaar is. Het veilig kunnen richten van deze krachtige LLM op de privégegevens van een bedrijf zou bruikbare inzichten moeten opleveren en het bedrijf dynamischer moeten maken.

Een andere lens die hier in overweging moet worden genomen is een bestandsopslag voor modellen die zich mogelijk buiten het QNAP-systeem zelf bevinden. Dit is ideaal voor kleine bedrijven die een snelle plek nodig hebben om hun werkgegevens op te slaan. Met de geavanceerde netwerkmogelijkheden zou u de NAS mogelijk kunnen gebruiken als een plaats om gegevens op te slaan voor RAG-werk op een grotere GPU-server, waardoor een gemakkelijk deelbare gegevensopslag mogelijk is waaruit u kunt afleiden.

Dit is slechts één AI-voorbeeld. De sector ontwikkelt zich snel, dus er zullen nog steeds hulpmiddelen beschikbaar komen. Intelligente bedrijven moeten leren gebruik te maken van AI, en deze eenvoudige functie van QNAP is een geweldige manier om aan de slag te gaan.

QNAP Virtualisatiestation

Neem contact op met StorageReview