QNAP NAS でプライベート RAG ChatGPT を実行する

QNAP NAS プラットフォームは、クラスで最もユニークで有能なハードウェア設計を備えています。そこで、GPU を 1 台追加して AI 機能をテストしました。

QNAP は、そのハードウェア設計だけでなく、このカテゴリの他のどこよりも多くのパワー、拡張性、柔軟性をハードウェア設計に組み込んでいることで知られています。最近、私たちは TS-h1290FX、AMD EPYC 12P CPU (7302C/16T)、32GB DRAM、256GbE オンボード、および多数の PCI スロットを搭載した 25 NVMe NAS。その溜まったパワーをすべて使って、搭載アプリGPU を追加して、プライベート ChatGPT などの AI の実行に関してこの NAS をどこまで拡張できるかを確認するとどうなるでしょうか?

QNAP TS-h1290FX 正面画像

これに加えて、あなたはそれについてもっと知る必要があります。

AI に対する NAS ストレージの可能性

QNAP TS-h1290FX AI への参入を検討している企業に提供できるものがたくさんあります。 NAS には、内部 GPU をサポートでき、大規模なストレージ占有面積を実現できる可能性があるという独自の利点があります。大規模な AI モデルには大量のデータが必要であり、効率的に保存してアクセスする必要があります。これは、ハードドライブを使用するストレージプラットフォームにとっては困難な場合がありますが、U.1290 NVMe サポートを備えた TS-h2FX はすべてをカバーします。

大容量 NAS について考えるとき、最初に思い浮かぶのは、3.5TB ものドライブをサポートする 24 インチ HDD プラットフォームです。それは大きく聞こえますが、QLC U.2 SSD に比べれば何でもありません。 QNAP は最近、次のサポートを追加しました。ソリッドジム P5336 このファミリーは、ドライブあたり最大 61.44TB という驚異的な容量に達します。 TS-h12FX などの 1290 ベイモデルの場合、データ削減が開始される前に、顧客は最大 737 TB の raw ストレージを利用できます。コンパクトなデスクトップ設置面積の NAS の場合、これに匹敵するシステムはほとんどありません。

企業が AI を急速に導入するにつれて、AI ワークフローにストレージ容量を提供し、モデルを実行できるシステムを持つことは大きな利点となります。ただし、印象的な偉業は、この QNAP NAS が、SMB または SME 環境全体でストレージを共有するという主な役割を果たしながら、これらの AI ワークフローを実行できることです。

AI は一枚岩ではないということも言っておかなければなりません。 AI プロジェクトが異なれば、それをサポートするために異なるタイプのストレージが必要になります。ここではデスクトップユニットに焦点を当てていますが、QNAP は、ここで取り上げたものよりも野心的な AI ニーズをサポートする上で重要な要素である高速フラッシュとネットワーキングをサポートする他の NAS システムを多数持っています。

QNAP はどのように GPU をサポートしていますか?

QNAP は、多くの NAS システムで GPU をサポートしています。 GPU をサポートするアプリもいくつかあります。この記事では、主に Virtualization Station のレンズを通して GPU を見ていきます。 Virtualization Station は QNAP NAS のハイパーバイザーであり、ユーザーはさまざまな仮想マシンを作成できます。 Virtualization Station には、VM のバックアップ、スナップショット、クローン、そして最も重要なことに、この記事の文脈では GPU パススルーをサポートする高度な機能セットもあります。

当社のテストユニットの内部では、QNAP TS-h1290FX には、拡張用に利用可能な PCIe スロットをいくつか備えた一般的なサーバーボードが装備されています。 QNAP はシャーシ内に必要な GPU 電源ケーブルも提供するため、PCIe スロット以上の電力を必要とするカードに面倒な作業は必要ありません。シングルスロットの NVIDIA RTX A4000 は、十分な冷却スペースを備えて完全に適合していることがわかりました。このプラットフォームでは、アクティブクーラーを備えた GPU が推奨されます。 GPU の選択は、ワークロードと、NAS が物理的にサポートおよび冷却できるものによって決まります。

AI 用の QNAP の構成

QNAP NAS デバイス上で GPU パススルーを使用して仮想マシン (VM) をセットアップするには、いくつかの手順が必要です。 QNAPが必要です仮想化対応NAS 必要なハードウェア機能を備えています。以下は、GPU パススルーを使用して QNAP NAS をセットアップおよび構成する方法に関するガイドです。

1. ハードウェアの互換性を確認する

QNAP NAS が QNAP の仮想化アプリケーションである Virtualization Station をサポートしていることを確認してください。

NAS に GPU 用に使用可能な PCIe スロットがあること、および GPU がパススルーをサポートしていることを確認します。互換性リストは、多くの場合、QNAP Web サイトで入手できます。現在の互換性リストは NVIDIA A4000 を正式にサポートしていませんが、機能的には問題ありませんでした。

2. GPUをインストールする

NAS の電源を切り、電源から切断します。ケースを開け、GPU を空いている PCIe スロットに挿入します。必要な電源ケーブルを GPU に接続します。ケースを閉じ、電源を再接続し、NAS の電源をオンにします。

3. QNAP ファームウェアとソフトウェアを更新します

QNAP NAS が最新バージョンの QTS (QNAP のオペレーティングシステム) を実行していることを確認してください。 QNAP オープンベータ版である Virtualization Station 4 を使用して、GPU 作業のサポートとパフォーマンスを向上させました。 Virtualization Station 4 は、QNAP App Center を通じて直接インストールされる他のパッケージとは異なり、自己インストールパッケージです。

4. VM にオペレーティングシステムをインストールする

QNAP の Virtualization Station を NAS にインストールした後、管理インターフェイスに移動して仮想マシン (VM) を展開できます。 [作成] をクリックすると、VM 名を入力し、VM を実行する NAS 上の場所を選択するためのプロンプトウィンドウが表示されます。ほとんどの場合、OS とバージョン情報に若干の調整が必要になる場合があります。

次に、ゲスト OS レベルで VM に表示されるリソースと CPU 互換性タイプを調整します。私たちの場合、VM に 64 GB のメモリと 8 つの CPU を与えました。このモデルではパススルー CPU タイプを選択し、BIOS を UEFI に変更しました。

OS を起動してインストールするには、ISO ファイルをアップロードして仮想 CD/DVD ドライブとしてマウントする必要があります。インストールプロセスが完了したら、次の手順に進む前に、管理用に RDP を有効にします。 GPU パススルーが有効になると QNAP VM 管理機能が変更され、RDP によってこのプロセスが大幅に簡素化されます。この時点で、VM をオフにします。

5. GPU パススルーの構成

仮想化ステーション内:

既存の VM の電源をオフにした状態で、VM を編集します。
VM 設定メニューで、物理デバイスタブを探します。ここから、PCIeを選択します。パススルーに使用可能なデバイスが表示されます。私たちの場合は、NVIDIA RTX A4000 でした。この変更を適用します。
CPU コア、RAM、ストレージなどの他のリソースを VM に割り当てる必要がある場合は、この時点で割り当ててください。
VM を再びオンにします。

6. VM に GPU ドライバーをインストールする

GPU が接続された RDP を使用して VM に戻ったら、GPU に適切なドライバーをダウンロードして VM 内にインストールします。この手順は、GPU が正しく機能し、期待されるパフォーマンスの向上を実現するために重要です。

7. GPU パススルー機能を確認する

ドライバーをインストールした後、GPU が VM 内で認識され、正しく機能していることを確認します。 Windows のデバイスマネージャーまたは Linux の関連コマンドラインツールを使用して、GPU のステータスを確認できます。

トラブルシューティングとヒント

互換性： パススルー機能に影響を与える可能性のある特定の互換性に関する注意事項やファームウェアのアップデートについては、QNAP および GPU の製造元の Web サイトを確認してください。
パフォーマンス： VM のパフォーマンスを監視し、必要に応じてリソース割り当てを調整します。特に高性能 GPU を追加した後は、NAS に十分な冷却スペースがあることを確認してください。
ネットワーキングとストレージ: ネットワーク設定とストレージ構成を最適化して、VM アプリケーションのパフォーマンスに影響を与える可能性のあるボトルネックを回避します。

NVIDIA チャット with RTX – プライベート ChatGPT

ここ (GPU アクセスを備えた Windows VM の作成) で終わるのは簡単ですが、私たちはこの実験をさらに推し進め、NVMe ベースの NAS のパフォーマンスを活用して、安全かつ確実に AI を活用する独自の方法を企業に提供しました。この例では、VM は RAID5 で保護されたストレージを利用し、読み取り 9.4 GB/秒、書き込み 2.1 GB/秒のパフォーマンスを実現しました。

NVIDIA は最近、という名前のソフトウェアパッケージを発売しました。 RTX とチャットする。 Chat with RTX は、GPT ベースの大規模言語モデル (LLM) とローカルの固有のデータセットの統合を通じてカスタマイズされたエクスペリエンスを提供することで、AI インタラクションに革命をもたらします。これには、ドキュメント、メモ、マルチメディア、YouTube ビデオ、プレイリストなどを処理する機能が含まれます。

このターンキーアプリケーションは、TensorRT に最適化された LLM の効率と RTX アクセラレーションの高速機能と組み合わせた、検索拡張生成 (RAG) の力を利用します。これらは、迅速かつ関連性の高いコンテキスト認識型の応答を提供します。 Windows RTX デスクトップまたはワークステーション上で直接動作するこのセットアップでは、すべての処理がローカルで処理されるため、情報への迅速なアクセスと高度なプライバシーとセキュリティが保証されます。

RAG 機能を備えた LLM の実装は、プライバシー、セキュリティ、個人化された効率を優先するビジネスプロフェッショナルやパワーユーザーに優れたソリューションを提供します。インターネット経由でクエリを処理する ChatGPT などのパブリックモデルとは異なり、ローカル LLM は完全に QNAP NAS の範囲内で動作します。

このオフライン機能により、すべてのやり取りがプライベートかつ安全に保たれます。これにより、ユーザーは、企業の機密文書、特殊なデータベース、個人的なメモなど、特定のニーズに合わせて AI のナレッジベースをカスタマイズできます。このアプローチにより、AI の応答の関連性と速度が大幅に向上し、プライバシーやデータセキュリティを損なうことなく、状況に応じた即時的な洞察を必要とするユーザーにとって、AI は非常に貴重なツールになります。

また、これは明らかかもしれませんが、NAS に GPU を追加すると、企業のデータと LLM の間のリンクが直接簡素化されることにも注目してください。この特定のモデルを活用するためにデータを移動する必要はなく、プロセスはミッドレンジ GPU を NAS にドロップするのと同じくらいシンプルでコスト効率が高くなります。また、現時点では、このソフトウェアはすべて無料であり、小規模組織にとって AI の可能性が大幅に民主化されます。

Chat with RTX はまだベータ版プログラムであり、この記事の執筆時点ではバージョン 0.2 を使用していました。しかし、インストールと Web インターフェイスの立ち上げと実行の容易さは新鮮でした。アプリケーションをダウンロードしてインストールする方法を知っている人なら誰でも、数回クリックするだけで RAG を実行するローカル LLM を取得できるようになりました。

ユニバーサルにアクセス可能な URL を介してリモートアクセスを有効にして RTX とチャットする

私たちはシナリオを次のレベルに引き上げ、オフィス全体で利用できるようにしました。

ステップ 1: 構成ファイルを見つける

まず、構成ファイルのあるフォルダーに移動します。

ファイルパス： C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py

ステップ 2: 起動コードを更新する

Video Cloud Studioで user_interface.py ファイルと Ctrl-F interface.launch 正しいセグメントを見つけます。デフォルトでは次のように表示されます。

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    server_port=port
)

ネットワークアクセスを有効にするには、以下を追加する必要があります share=True そのようです：

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    share=True,
    server_port=port
)

変更内容を user_interface.py ファイル。次に、[スタート] メニューから Chat with RTX を起動します。これにより、コマンドプロンプトウィンドウが開始され、インターフェイスがアクティブになります。

ステップ 3: パブリック URL を見つける

コマンドプロンプトウィンドウには、ローカル URL とパブリック URL の両方が表示されます。任意のデバイスからアクセスできる機能的なパブリック URL を作成するには、両方の URL の要素をマージします。パブリック URL を取得し、その末尾にローカル Cookie 情報を追加するのが最善です。

公開URL: https://62e1db9de99021560f.gradio.live
パラメータ付きのローカル URL: http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

結合された URL は次のようになり、パブリック URL に ?cookie が追加されます。

https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

この URL により、ネットワーク上の任意のデバイスから Chat with RTX へのアクセスが許可され、ローカルの制約を超えてその使いやすさが拡張されます。

最終的な考え

私たちは長い間、NAS ハードウェア設計における QNAP のリーダーシップのファンでしたが、QNAP の顧客が利用できる価値は、おそらく彼らが知っている以上にたくさんあります。正直なところ、Virtualization Station は優れた出発点ですが、次のレベルに引き上げて GPU パススルーを試してみてはいかがでしょうか?さらに言えば、組織は専用のワークステーションをセットアップすることなく、ハイエンドの GPU を搭載した VM を組織に提供できます。また、ネイティブパフォーマンスレベルの大規模な内部ストレージプールの隣に VM を配置することには明らかな利点もあります。この場合、単一の 10GbE 接続やスイッチを気にすることなく、ほぼ 100GB/秒の共有ストレージパフォーマンスを得ることができました。これはすべて、GPU アクセラレートされた VM が NAS 自体の内部に存在していたためです。

組織にとっての AI のメリットを実現するために、さらに一歩進んでみてはいかがでしょうか? QNAP NAS に適切な GPU を追加するのは比較的簡単で安価であることがわかりました。私たちは A4000 を実際に動作させましたが、実売価格は約 1050 ドルですが、Virtualization Station が無料で、NVIDIA Chat with RTX が無料で利用できることを考えると、悪くありません。この強力な LLM を企業のプライベートデータに安全に向けることができれば、企業をよりダイナミックにしながら、実用的な洞察が得られるはずです。

ここで考慮すべきもう 1 つのレンズは、QNAP システム自体の外部にある可能性があるモデルのファイルストアです。これは、作業データを保存するための迅速な場所が必要な中小企業に最適です。高度なネットワーク機能を使用すると、より大規模な GPU サーバー上で RAG 作業用のデータを保持する場所として NAS を使用し、簡単に共有可能なデータストアから推論できるようにすることができます。

これは AI の一例にすぎません。業界は急速に変化しているため、ツールは今後も利用可能になります。インテリジェントな企業は AI の活用方法を学ぶ必要があり、QNAP のこのシンプルな機能は、始めるための優れた方法です。

QNAP仮想化ステーション

StorageReview と連携する