Les plates-formes NAS QNAP possèdent les conceptions matérielles les plus uniques et les plus performantes de leur catégorie. Nous avons donc ajouté un GPU à l’un d’entre eux et testé les capacités de l’IA.
QNAP est connu pour sa conception matérielle, ainsi que pour l'apport de plus de puissance, d'extension et de flexibilité dans ses conceptions matérielles que quiconque dans la catégorie. Récemment, nous avons examiné le TS-h1290FX, un NAS 12 NVMe avec un processeur AMD EPYC 7302P (16C/32T), 256 Go de DRAM, 25 GbE intégré et de nombreux emplacements PCI. Avec toute cette puissance refoulée et applications à bord, que se passe-t-il si nous ajoutons un GPU et voyons jusqu'où nous pouvons pousser ce NAS en matière d'exécution de l'IA, comme un ChatGPT privé ?
Le QNAP TS-h1290FX a beaucoup à offrir aux entreprises qui cherchent à se lancer dans l’IA. Le NAS offre un avantage unique dans la mesure où il peut prendre en charge un GPU interne et offre le potentiel d'une empreinte de stockage massive. Les grands modèles d’IA nécessitent une quantité importante de données, qui doivent être stockées et accessibles efficacement. Cela peut être difficile pour les plates-formes de stockage qui utilisent des disques durs, mais le TS-h1290FX avec prise en charge U.2 NVMe couvre tout.
Lorsque l’on pense aux NAS de grande capacité, la première pensée est celle des plates-formes HDD de 3.5″ prenant en charge des disques allant jusqu’à 24 To. Cela semble énorme, mais ce n'est rien comparé à ce que l'on peut trouver avec les SSD QLC U.2. QNAP a récemment ajouté la prise en charge du Solidigme P5336 famille, qui atteint une incroyable capacité de 61.44 To par disque. Pour un modèle à 12 baies tel que le TS-h1290FX, les clients obtiennent jusqu'à 737 To de stockage brut avant que la réduction des données n'intervienne. Pour un NAS de bureau compact, il existe très peu de systèmes qui pourraient rivaliser avec cela.
Alors que les entreprises adoptent rapidement l’IA, disposer d’un système capable de fournir une capacité de stockage pour les flux de travail d’IA et d’exécuter des modèles constitue un énorme avantage. L'exploit impressionnant, cependant, est que ce NAS QNAP peut exécuter ces flux de travail d'IA tout en s'acquittant de ses tâches principales de partage du stockage dans l'environnement PME.
Il faut également dire que l’IA n’est pas une chose monolithique. Différents projets d'IA nécessitent différents types de stockage pour les prendre en charge. Bien que nous nous concentrions ici sur l'unité de bureau, QNAP propose de nombreux autres systèmes NAS prenant en charge le flash et la mise en réseau à haute vitesse, des éléments essentiels pour répondre à un besoin d'IA plus ambitieux que ce que nous avons couvert ici.
QNAP prend en charge les GPU dans bon nombre de leurs systèmes NAS. Ils proposent également quelques applications prenant également en charge les GPU. Pour cet article, nous examinons principalement le GPU à travers le prisme de Virtualization Station. Virtualization Station est un hyperviseur pour le NAS QNAP, qui permet aux utilisateurs de créer une variété de machines virtuelles. Virtualization Station dispose également d'un ensemble de fonctionnalités approfondies qui prennent en charge les sauvegardes de VM, les instantanés, les clones et, plus important encore, le relais GPU dans le contexte de cet article.
À l'intérieur de notre unité de test, le QNAP TS-h1290FX est équipé d'une carte serveur typique avec plusieurs emplacements PCIe disponibles pour l'extension. QNAP fournit également les câbles d'alimentation GPU nécessaires à l'intérieur du châssis, donc aucune affaire amusante n'est requise pour les cartes qui nécessitent plus que l'alimentation du slot PCIe. Nous avons trouvé que le NVIDIA RTX A4000 à emplacement unique s'adaptait parfaitement avec suffisamment d'espace pour le refroidissement. Sur cette plateforme, un GPU avec un refroidisseur actif est préféré. Votre choix de GPU sera déterminé par la charge de travail et par ce que le NAS peut physiquement prendre en charge et refroidir.
La configuration d'une machine virtuelle (VM) avec relais GPU sur un périphérique NAS QNAP implique plusieurs étapes. Cela nécessite un QNAP NAS prenant en charge la virtualisation et dispose des capacités matérielles nécessaires. Vous trouverez ci-dessous un guide sur la façon dont nous avons installé et configuré le NAS QNAP avec passthrough GPU.
Assurez-vous que votre NAS QNAP prend en charge Virtualization Station, qui est l'application de virtualisation de QNAP.
Assurez-vous que votre NAS QNAP exécute la dernière version de QTS (le système d'exploitation de QNAP). Nous avons utilisé Virtualization Station 4, qui est une version bêta ouverte de QNAP, pour offrir une meilleure prise en charge et de meilleures performances pour le travail GPU. Virtualization Station 4 est un package à installation automatique, contrairement à d'autres qui sont installés directement via QNAP App Center.
Après avoir installé la Virtualization Station de QNAP sur votre NAS, vous pouvez accéder à l'interface de gestion pour déployer votre machine virtuelle (VM). Lorsque vous cliquez sur « Créer », une fenêtre d'invite apparaîtra pour vous permettre de fournir le nom de la VM et de sélectionner l'emplacement sur le NAS où la VM s'exécutera. Dans la plupart des cas, vous devrez peut-être apporter quelques ajustements mineurs aux informations sur le système d'exploitation et la version.
Ensuite, ajustez les ressources et le type de compatibilité du processeur que la VM verra au niveau du système d'exploitation invité. Dans notre cas, nous avons donné à notre VM 64 Go de mémoire et 8 processeurs. Nous avons sélectionné le type de processeur passthrough pour le modèle et modifié le BIOS en UEFI.
Pour démarrer et installer le système d'exploitation, vous devez télécharger et monter un fichier ISO en tant que lecteur de CD/DVD virtuel. Une fois le processus d'installation terminé, activez RDP pour la gestion avant de passer à l'étape suivante. La fonctionnalité de gestion des machines virtuelles QNAP change une fois le relais GPU activé, et RDP simplifie considérablement ce processus. À ce stade, éteignez la VM.
Dans Virtualization Station :
Une fois de retour dans la VM en utilisant RDP avec le GPU connecté, téléchargez et installez les pilotes appropriés pour votre GPU dans la VM. Cette étape est cruciale pour que le GPU fonctionne correctement et fournisse les améliorations de performances attendues.
Après avoir installé les pilotes, vérifiez que le GPU est reconnu et fonctionne correctement au sein de la VM. Vous pouvez utiliser le gestionnaire de périphériques sous Windows ou les outils de ligne de commande pertinents sous Linux pour vérifier l'état du GPU.
Bien qu'il soit facile de s'arrêter là (créer une machine virtuelle Windows avec accès GPU), nous avons poussé plus loin dans cette expérience pour offrir aux entreprises un moyen unique de tirer parti de l'IA en toute sécurité, en exploitant les performances du NAS basé sur NVMe. Dans notre cas, la VM exploitait un stockage protégé par RAID5 qui offrait des performances de 9.4 Go/s en lecture et 2.1 Go/s en écriture.
NVIDIA a récemment lancé un progiciel nommé Discutez avec RTX. Chat avec RTX révolutionne l'interaction avec l'IA en offrant une expérience personnalisée grâce à l'intégration d'un modèle de langage étendu (LLM) basé sur GPT avec un ensemble de données local et unique. Cela inclut la possibilité de traiter des documents, des notes, du multimédia, des vidéos YouTube, des listes de lecture, etc.
Cette application clé en main exploite la puissance de la génération augmentée par récupération (RAG), combinée à l'efficacité du LLM optimisé par TensorRT et aux capacités à grande vitesse de l'accélération RTX. Ceux-ci fournissent des réponses contextuelles, à la fois rapides et très pertinentes. Fonctionnant directement sur votre bureau ou poste de travail Windows RTX, cette configuration garantit un accès rapide aux informations et un haut degré de confidentialité et de sécurité, car tous les traitements sont gérés localement.
La mise en œuvre d'un LLM avec les capacités RAG offre une excellente solution pour les professionnels et les utilisateurs expérimentés qui donnent la priorité à la confidentialité, à la sécurité et à l'efficacité personnalisée. Contrairement aux modèles publics tels que ChatGPT, qui traitent les requêtes sur Internet, un LLM local fonctionne entièrement dans les limites de votre NAS QNAP.
Cette fonctionnalité hors ligne garantit que toutes les interactions restent privées et sécurisées. Cela permet aux utilisateurs de personnaliser la base de connaissances de l'IA en fonction de leurs besoins spécifiques, qu'il s'agisse de documents d'entreprise confidentiels, de bases de données spécialisées ou de notes personnelles. Cette approche améliore considérablement la pertinence et la rapidité des réponses de l'IA, ce qui en fait un outil précieux pour ceux qui ont besoin d'informations immédiates et contextuelles sans compromettre la confidentialité ou la sécurité des données.
A noter également, et cela peut paraître évident, l'ajout d'un GPU au NAS simplifie directement le lien entre les données d'une entreprise et le LLM. Il n'est pas nécessaire de déplacer les données pour profiter de ce modèle particulier, et le processus est aussi simple et rentable que d'installer un GPU de milieu de gamme dans le NAS. De plus, à l’heure actuelle, tous ces logiciels sont gratuits, ce qui démocratise grandement le potentiel de l’IA pour les petites organisations.
Chat avec RTX est encore un programme bêta et au moment de la rédaction, nous utilisions la version 0.2. Mais la facilité de l’installer et de faire fonctionner l’interface Web était rafraîchissante. Quiconque sait comment télécharger et installer une application peut désormais obtenir un LLM local avec RAG en quelques clics.
Nous avons fait passer notre scénario au niveau supérieur et l'avons rendu disponible pour l'ensemble du bureau.
Commencez par vous diriger vers le dossier contenant le fichier de configuration :
C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py
Ouvrez le user_interface.py
fichier et Ctrl-F pour interface.launch
Localisez le segment correct, qui apparaîtra par défaut comme suit :
interface.launch(
favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
show_api=False,
server_port=port
)
Pour activer l'accès au réseau, vous devez ajouter share=True
ainsi:
interface.launch(
favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
show_api=False,
share=True,
server_port=port
)
Enregistrez les modifications dans le user_interface.py
déposer. Ensuite, lancez Chat with RTX via le menu Démarrer, qui ouvrira une fenêtre d'invite de commande et activera l'interface.
La fenêtre d'invite de commande affichera à la fois une URL locale et publique. Pour créer une URL publique fonctionnelle accessible depuis n'importe quel appareil, fusionnez les éléments des deux URL. Il serait préférable que vous preniez l'URL publique et que vous ajoutiez les informations du cookie local à la fin :
https://62e1db9de99021560f.gradio.live
http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark
Votre URL combinée devrait ressembler à ceci, avec le ?cookie ajouté à l'URL publique :
https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark
Cette URL permet d'accéder à Chat avec RTX depuis n'importe quel appareil de votre réseau, étendant ainsi sa convivialité au-delà des contraintes locales.
Nous sommes fans du leadership de QNAP en matière de conception de matériel NAS depuis longtemps, mais les clients de QNAP ont bien plus de valeur à leur disposition qu'ils ne le pensent probablement. À vrai dire, Virtualization Station est un excellent point de départ, mais pourquoi ne pas passer au niveau supérieur et essayer GPU Passthrough ? À tout le moins, les organisations peuvent fournir une machine virtuelle haut de gamme alimentée par GPU sans avoir à configurer un poste de travail dédié. Il existe également les avantages apparents d’une VM placée à côté d’un énorme pool de stockage interne avec des niveaux de performances natifs. Dans ce cas, nous avions partagé des performances de stockage de près de 10 Go/s, sans nous soucier d’une seule connexion ou d’un seul commutateur 100 GbE, tout cela parce que la VM accélérée par GPU se trouvait à l’intérieur du NAS lui-même.
Pourquoi ne pas aller encore plus loin pour réaliser les avantages de l’IA pour l’organisation ? Nous avons montré qu'ajouter un GPU décent à un NAS QNAP est relativement simple et peu coûteux. Nous avons mis un A4000 au travail, et avec un prix public d'environ 1050 XNUMX $, ce n'est pas mal si l'on considère que Virtualization Station est gratuit et que NVIDIA Chat avec RTX est disponible gratuitement. Être capable d'orienter en toute sécurité ce puissant LLM vers les données privées d'une entreprise devrait fournir des informations exploitables tout en rendant l'entreprise plus dynamique.
Un autre objectif à considérer ici est un magasin de fichiers pour les modèles qui peuvent être externes au système QNAP lui-même. C'est idéal pour les petites entreprises qui ont besoin d'un endroit rapide pour stocker leurs données de travail. Avec les capacités réseau avancées, vous pourriez éventuellement utiliser le NAS comme lieu de stockage des données pour le travail RAG sur un serveur GPU plus grand, permettant ainsi un magasin de données facilement partageable à partir duquel déduire.
Ceci n’est qu’un exemple d’IA. L'industrie évolue rapidement, des outils continueront donc d'être mis à disposition. Les entreprises intelligentes doivent apprendre à tirer parti de l’IA, et cette fonctionnalité simple de QNAP est un excellent moyen de commencer.
Station de virtualisation QNAP
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
Le HPE DL145 Gen11 est une plateforme edge compacte qui offre un équilibre entre évolutivité, efficacité énergétique et gestion robuste.…
L'AMD Ryzen 7 9800X3D représente un bond en avant pour AMD et peut valoir largement le prix par rapport au…
La station de travail Supermicro AS-2115HV-TNRT est un outil puissant pour l'apprentissage en profondeur, la formation de modèles d'IA et d'autres applications gourmandes en calculs. (suite…)
Après une expérience pratique avec la série Ubiquiti G5, il est clair qu'ils ont développé une gamme de caméras adaptées à divers…
Le HP ZBook Studio 16 G11 est une plate-forme impressionnante pour les professionnels de la création : ses processeurs Core Ultra peuvent alimenter…
Le Samsung 990 EVO Plus est un choix solide pour ceux qui cherchent à mettre à niveau leur stockage, surtout si vous avez besoin…