Eseguire una RAG ChatGPT privata su QNAP NAS

Le piattaforme NAS QNAP hanno i design hardware più unici e capaci della loro categoria. Quindi, abbiamo aggiunto una GPU a una e testato le capacità di intelligenza artificiale.

QNAP è noto per il suo design hardware, oltre a fornire maggiore potenza, espansione e flessibilità nei suoi design hardware rispetto a chiunque altro nella categoria. Recentemente, abbiamo esaminato il TS-h1290FX, un NAS 12 NVMe con CPU AMD EPYC 7302P (16C/32T), DRAM da 256 GB, 25 GbE integrato e numerosi slot PCI. Con tutto quel potere represso e... app a bordo, cosa succede se inseriamo una GPU e vediamo fino a che punto possiamo spingere questo NAS quando si tratta di eseguire l'intelligenza artificiale, come un ChatGPT privato?

Potenziale di archiviazione NAS per l'intelligenza artificiale

Il QNAP TS-h1290FX ha molto da offrire alle aziende che desiderano entrare nel mondo dell’intelligenza artificiale. Il NAS offre un vantaggio unico in quanto può supportare una GPU interna e ha il potenziale per un enorme ingombro di archiviazione. I grandi modelli di intelligenza artificiale richiedono una quantità significativa di dati, che devono essere archiviati e accessibili in modo efficiente. Questo può essere complicato per le piattaforme di archiviazione che utilizzano dischi rigidi, ma il TS-h1290FX con supporto U.2 NVMe ha tutto coperto.

Quando si pensa a un NAS di grande capacità, il primo pensiero è quello delle piattaforme HDD da 3.5″ con supporto per unità fino a 24TB. Sembra una cifra enorme, ma non è niente in confronto a ciò che puoi trovare con gli SSD QLC U.2. QNAP ha recentemente aggiunto il supporto per Solidig P5336 famiglia, che arriva fino all'incredibile capacità di 61.44 TB per unità. Per un modello a 12 alloggiamenti come TS-h1290FX, i clienti ottengono fino a 737 TB di spazio di archiviazione grezzo prima che entri in azione la riduzione dei dati. Per un NAS desktop compatto, ci sono pochissimi sistemi che potrebbero competere con questo.

Poiché le aziende adottano rapidamente l’intelligenza artificiale, disporre di un sistema in grado di fornire capacità di archiviazione per flussi di lavoro e modelli di esecuzione dell’intelligenza artificiale rappresenta un enorme vantaggio. L'impresa impressionante, tuttavia, è che questo QNAP NAS può eseguire tali flussi di lavoro AI pur continuando a gestire i suoi compiti principali di condivisione dello spazio di archiviazione nell'ambiente PMI o PMI.

Va anche detto che l’intelligenza artificiale non è una cosa monolitica. Diversi progetti di intelligenza artificiale richiedono diversi tipi di archiviazione per supportarli. Anche se qui ci concentriamo sull'unità desktop, QNAP ha molti altri sistemi NAS che supportano flash e rete ad alta velocità, elementi critici nel supportare un'esigenza di intelligenza artificiale più ambiziosa di quella che abbiamo trattato qui.

In che modo QNAP supporta le GPU?

QNAP supporta le GPU in molti dei suoi sistemi NAS. Hanno anche alcune app che supportano anche le GPU. In questo articolo esamineremo principalmente la GPU attraverso la lente di Virtualization Station. Virtualization Station è un hypervisor per QNAP NAS, che consente agli utenti di creare una varietà di macchine virtuali. Virtualization Station dispone inoltre di un ampio set di funzionalità che supporta backup, snapshot, cloni di VM e, soprattutto, passthrough GPU per il contesto di questo articolo.

All'interno della nostra unità di prova, il QNAP TS-h1290FX è dotato di una tipica scheda server con diversi slot PCIe disponibili per l'espansione. QNAP fornisce anche i cavi di alimentazione GPU necessari all'interno dello chassis, quindi non è necessario fare affari strani per le schede che richiedono più potenza dello slot PCIe. Abbiamo riscontrato che la NVIDIA RTX A4000 a slot singolo si adattava perfettamente con uno spazio adeguato per il raffreddamento. In questa piattaforma è preferibile una GPU con dissipatore attivo. La scelta della GPU sarà determinata dal carico di lavoro e da ciò che il NAS può supportare e raffreddare fisicamente.

Configurazione di QNAP per AI

La configurazione di una macchina virtuale (VM) con passthrough GPU su un dispositivo QNAP NAS prevede diversi passaggi. Richiede un QNAP NAS che supporta la virtualizzazione e dispone delle funzionalità hardware necessarie. Di seguito è riportata una guida su come impostare e configurare il QNAP NAS con passthrough GPU.

1. Verificare la compatibilità hardware

Assicurati che il tuo QNAP NAS supporti Virtualization Station, che è l'applicazione di virtualizzazione di QNAP.

• Verificare che il NAS disponga di uno slot PCIe disponibile per una GPU e che la GPU supporti il ​​passthrough. Gli elenchi di compatibilità sono spesso disponibili sul sito Web QNAP. Sebbene l'attuale elenco di compatibilità non supporti ufficialmente la NVIDIA A4000, non abbiamo avuto problemi con la funzionalità.

2. Installa la GPU

• Spegnere il NAS e scollegarlo dall'alimentazione. Apri il case e inserisci la GPU in uno slot PCIe disponibile. Collega tutti i cavi di alimentazione necessari alla GPU. Chiudere la custodia, ricollegare l'alimentazione e accendere il NAS.

3. Aggiorna firmware e software QNAP

Assicurati che il tuo QNAP NAS esegua la versione più recente di QTS (il sistema operativo di QNAP). Abbiamo utilizzato Virtualization Station 4, che è una beta aperta di QNAP, per fornire supporto e prestazioni migliori per il lavoro della GPU. Virtualization Station 4 è un pacchetto autoinstallante, a differenza di altri che vengono installati direttamente tramite QNAP App Center.

4. Installare il sistema operativo sulla VM

Dopo aver installato Virtualization Station di QNAP sul NAS, è possibile accedere all'interfaccia di gestione per distribuire la macchina virtuale (VM). Quando si fa clic su "Crea", verrà visualizzata una finestra di richiesta in cui è necessario fornire il nome della VM e selezionare la posizione sul NAS in cui verrà eseguita la VM. Nella maggior parte dei casi potrebbe essere necessario apportare alcune piccole modifiche al sistema operativo e alle informazioni sulla versione.

Successivamente, regola le risorse e il tipo di compatibilità della CPU che la VM vedrà a livello del sistema operativo guest. Nel nostro caso, abbiamo fornito alla nostra VM 64 GB di memoria e 8 CPU. Abbiamo selezionato il tipo di CPU passthrough per il modello e abbiamo modificato il BIOS in UEFI.

Per avviare e installare il sistema operativo, è necessario caricare e montare un file ISO come unità CD/DVD virtuale. Una volta completato il processo di installazione, abilitare RDP per la gestione prima di procedere al passaggio successivo. La funzionalità di gestione delle VM QNAP cambia una volta abilitato il passthrough GPU e RDP semplifica notevolmente questo processo. A questo punto spegni la VM.

5. Configura il passthrough GPU

All'interno di Virtualization Station:

1. Con la VM esistente disattivata, modifica la tua VM.
2. Nel menu delle impostazioni della VM, cerca la scheda dei dispositivi fisici. Da qui, seleziona PCIe. Vedrai un dispositivo disponibile per il passthrough. Nel nostro caso si trattava della NVIDIA RTX A4000. Applica questa modifica.
3. Se devi allocare altre risorse per la tua VM, come core della CPU, RAM e spazio di archiviazione, questo è il momento di farlo.
4. Riaccendi la VM.

6. Installa i driver GPU nella VM

Una volta tornato nella VM utilizzando RDP con la GPU collegata, scarica e installa i driver appropriati per la tua GPU all'interno della VM. Questo passaggio è fondamentale affinché la GPU funzioni correttamente e fornisca i miglioramenti delle prestazioni previsti.

7. Verificare la funzionalità passthrough della GPU

Dopo aver installato i driver, verificare che la GPU venga riconosciuta e funzioni correttamente all'interno della VM. Puoi utilizzare Gestione dispositivi in ​​Windows o gli strumenti da riga di comando pertinenti in Linux per verificare lo stato della GPU.

Risoluzione dei problemi e suggerimenti

• Compatibilità: Controllare i siti Web dei produttori QNAP e GPU per eventuali note di compatibilità specifiche o aggiornamenti firmware che potrebbero influire sulla funzionalità passthrough.
• Performance: Monitora le prestazioni della tua VM e modifica l'allocazione delle risorse secondo necessità. Assicurati che il tuo NAS disponga di spazio sufficiente per il raffreddamento, soprattutto dopo aver aggiunto una GPU ad alte prestazioni.
• Rete e archiviazione: Ottimizza le impostazioni di rete e le configurazioni di storage per evitare colli di bottiglia che potrebbero influire sulle prestazioni delle applicazioni VM.

Chatta NVIDIA con RTX – Chat privataGPT

Sebbene sia facile fermarsi qui (creando una macchina virtuale Windows con accesso GPU), ci siamo spinti oltre in questo esperimento per fornire alle aziende un modo unico per sfruttare l'intelligenza artificiale in modo sicuro e protetto, sfruttando le prestazioni del NAS basato su NVMe. Nel nostro caso, la VM ha attinto allo storage protetto da RAID5 che offriva prestazioni di 9.4 GB/s in lettura e 2.1 GB/s in scrittura.

NVIDIA ha recentemente lanciato un pacchetto software denominato Chatta con RTX. Chat con RTX rivoluziona l'interazione con l'intelligenza artificiale fornendo un'esperienza personalizzata attraverso l'integrazione di un modello linguistico di grandi dimensioni (LLM) basato su GPT con un set di dati locale e unico. Ciò include la possibilità di elaborare documenti, note, contenuti multimediali, video di YouTube, playlist e altro ancora.

Questa applicazione chiavi in ​​mano sfrutta la potenza della generazione aumentata di recupero (RAG), combinata con l'efficienza dell'LLM ottimizzato per TensorRT e le capacità ad alta velocità dell'accelerazione RTX. Questi forniscono risposte consapevoli del contesto che sono rapide e altamente pertinenti. Operando direttamente sul desktop o sulla workstation Windows RTX, questa configurazione garantisce un rapido accesso alle informazioni e un elevato livello di privacy e sicurezza, poiché tutta l'elaborazione viene gestita localmente.

L'implementazione di un LLM con funzionalità RAG offre una soluzione eccellente per i professionisti aziendali e gli utenti esperti che danno priorità alla privacy, alla sicurezza e all'efficienza personalizzata. A differenza dei modelli pubblici come ChatGPT, che elaborano le query su Internet, un LLM locale opera interamente entro i confini del QNAP NAS.

Questa funzionalità offline garantisce che tutte le interazioni siano mantenute private e sicure. Ciò consente agli utenti di personalizzare la base di conoscenza dell'IA in base alle loro esigenze specifiche, che si tratti di documenti aziendali riservati, database specializzati o note personali. Questo approccio migliora significativamente la pertinenza e la velocità delle risposte dell'intelligenza artificiale, rendendola uno strumento prezioso per coloro che necessitano di approfondimenti immediati e contestualmente consapevoli senza compromettere la privacy o la sicurezza dei dati.

Vale anche la pena notare, e questo potrebbe essere ovvio, che l'aggiunta di una GPU al NAS semplifica direttamente il collegamento tra i dati di un'azienda e l'LLM. Non è necessario spostare i dati per sfruttare questo particolare modello e il processo è semplice ed economico come inserire una GPU di fascia media nel NAS. Inoltre, a questo punto, tutto questo software è gratuito, democratizzando notevolmente il potenziale dell’intelligenza artificiale per le piccole organizzazioni.

Chat con RTX è ancora un programma beta e al momento in cui scrivo abbiamo utilizzato la versione 0.2. Ma la facilità di installazione e di messa in funzione dell'interfaccia web è stata piacevole. Chiunque sappia come scaricare e installare un'applicazione può ora ottenere un LLM locale con RAG in esecuzione con pochi clic.

Abilitazione dell'accesso remoto alla chat con RTX tramite un URL universalmente accessibile

Abbiamo portato il nostro scenario a un livello superiore e lo abbiamo reso disponibile per l'intero ufficio.

Passaggio 1: individuare il file di configurazione

Inizia andando alla cartella con il file di configurazione:

• Percorso del file: C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py

Passaggio 2: aggiorna il codice di avvio

Aprire il user_interface.py file e Ctrl-F per interface.launch Individua il segmento corretto, che per impostazione predefinita apparirà come segue:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    server_port=port
)

Per abilitare l'accesso alla rete, devi aggiungere share=True così:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    share=True,
    server_port=port
)

Salva le modifiche al file user_interface.py file. Quindi, avvia Chat con RTX tramite il menu Start, che avvierà una finestra del prompt dei comandi e attiverà l'interfaccia.

Passaggio 3: ricerca dell'URL pubblico

La finestra del prompt dei comandi visualizzerà sia un URL locale che uno pubblico. Per creare un URL pubblico funzionale accessibile da qualsiasi dispositivo, unisci gli elementi di entrambi gli URL. Sarebbe meglio se prendessi l'URL pubblico e aggiungessi le informazioni sui cookie locali alla fine:

• URL pubblico: https://62e1db9de99021560f.gradio.live
• URL locale con parametri: http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Il tuo URL combinato dovrebbe assomigliare a questo, con il cookie aggiunto all'URL pubblico:

https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Questo URL garantisce l'accesso a Chat con RTX da qualsiasi dispositivo sulla tua rete, estendendone l'usabilità oltre i vincoli locali.

Considerazioni finali

Siamo sostenitori della leadership di QNAP nella progettazione hardware NAS da molto tempo, ma c'è molto più valore a disposizione dei clienti QNAP di quanto probabilmente sappiano. A dire il vero, Virtualization Station è un ottimo punto di partenza, ma perché non portarlo al livello successivo e provare GPU Passthrough? Se non altro, le organizzazioni possono fornire all'organizzazione una VM di fascia alta basata su GPU senza dover configurare una workstation dedicata. Ci sono anche gli evidenti vantaggi di una VM posizionata accanto a un enorme pool di archiviazione interno con livelli di prestazioni nativi. In questo caso, abbiamo ottenuto prestazioni di archiviazione condivisa di quasi 10 GB/s, senza preoccuparci di una singola connessione o switch da 100 GbE, tutto perché la VM con accelerazione GPU si trovava all'interno del NAS stesso.

Perché non fare ancora un ulteriore passo avanti per realizzare i vantaggi dell’intelligenza artificiale per l’organizzazione? Abbiamo dimostrato che aggiungere una GPU decente a un NAS QNAP è relativamente semplice ed economico. Abbiamo messo in funzione un A4000 e, con un prezzo al dettaglio di circa $ 1050, non è male se si considera che Virtualization Station è gratuita e NVIDIA Chat con RTX è disponibile gratuitamente. Essere in grado di indirizzare in modo sicuro questo potente LLM verso i dati privati ​​di un'azienda dovrebbe fornire informazioni fruibili rendendo l'azienda più dinamica.

Un altro obiettivo da considerare qui è un archivio di file per modelli che potrebbero essere esterni al sistema QNAP stesso. Questo è l'ideale per le piccole imprese che necessitano di un posto rapido in cui archiviare i propri dati di lavoro. Con le funzionalità di rete avanzate, potresti plausibilmente utilizzare il NAS come luogo in cui conservare i dati per il lavoro RAG su un server GPU più grande, consentendo un archivio dati facilmente condivisibile da cui dedurre.

Questo è solo un esempio di intelligenza artificiale. Il settore si sta muovendo rapidamente, quindi gli strumenti continueranno a essere resi disponibili. Le aziende intelligenti devono imparare a sfruttare l'intelligenza artificiale e questa semplice funzionalità di QNAP è un ottimo modo per iniziare.

Stazione di virtualizzazione QNAP

Interagisci con StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed