Führen Sie einen privaten RAG-ChatGPT auf dem QNAP NAS aus

QNAP NAS-Plattformen verfügen über die einzigartigsten und leistungsfähigsten Hardwaredesigns ihrer Klasse. Also haben wir einem eine GPU hinzugefügt und die KI-Fähigkeiten getestet.

QNAP ist für sein Hardware-Design bekannt und bietet mehr Leistung, Erweiterung und Flexibilität als jeder andere in dieser Kategorie. Kürzlich haben wir die überprüft TS-h1290FX, ein 12 NVMe NAS mit einer AMD EPYC 7302P CPU (16C/32T), 256 GB DRAM, 25 GbE onboard und zahlreichen PCI-Steckplätzen. Mit all dieser aufgestauten Kraft und Apps an Bord, was passiert, wenn wir eine GPU einbauen und sehen, wie weit wir dieses NAS in Bezug auf die Ausführung von KI bringen können, wie ein privates ChatGPT?

NAS-Speicherpotenzial für KI

Der QNAP TS-h1290FX hat Unternehmen, die in die KI einsteigen möchten, viel zu bieten. Das NAS bietet den einzigartigen Vorteil, dass es eine interne GPU unterstützen kann und das Potenzial für einen enormen Speicherbedarf hat. Große KI-Modelle erfordern eine erhebliche Datenmenge, die effizient gespeichert und abgerufen werden muss. Dies kann für Speicherplattformen, die Festplatten verwenden, eine Herausforderung sein, aber das TS-h1290FX mit U.2-NVMe-Unterstützung deckt alles ab.

Wenn Sie an NAS mit großer Kapazität denken, denken Sie zuerst an 3.5-Zoll-HDD-Plattformen mit Unterstützung für Laufwerke mit einer Größe von bis zu 24 TB. Das hört sich groß an, ist aber nichts im Vergleich zu dem, was man bei QLC U.2 SSDs finden kann. QNAP hat kürzlich Unterstützung für hinzugefügt Solidigm P5336 Familie, die bis zu einer unglaublichen Kapazität von 61.44 TB pro Laufwerk reicht. Bei einem 12-Bay-Modell wie dem TS-h1290FX erhalten Kunden bis zu 737 TB Rohspeicher, bevor die Datenreduzierung einsetzt. Bei einem kompakten Desktop-NAS gibt es nur sehr wenige Systeme, die damit mithalten können.

Da Unternehmen KI schnell einführen, ist es ein großer Vorteil, über ein System zu verfügen, das Speicherkapazität für KI-Workflows bereitstellen und Modelle ausführen kann. Die beeindruckende Leistung besteht jedoch darin, dass dieses QNAP NAS diese KI-Workflows ausführen kann und gleichzeitig seine Hauptaufgaben, die gemeinsame Nutzung von Speicher in der KMU- oder KMU-Umgebung, weiterhin übernimmt.

Es sollte auch gesagt werden, dass KI keine monolithische Sache ist. Verschiedene KI-Projekte erfordern zu ihrer Unterstützung unterschiedliche Arten von Speicher. Während wir uns hier auf das Desktop-Gerät konzentrieren, verfügt QNAP über zahlreiche andere NAS-Systeme, die Hochgeschwindigkeits-Flash und Netzwerk unterstützen – entscheidende Elemente zur Unterstützung eines ehrgeizigeren KI-Anforderungen als dem, was wir hier behandelt haben.

Wie unterstützt QNAP GPUs?

QNAP unterstützt GPUs in vielen seiner NAS-Systeme. Es gibt auch einige Apps, die GPUs unterstützen. In diesem Artikel betrachten wir die GPU hauptsächlich durch die Linse der Virtualization Station. Virtualization Station ist ein Hypervisor für das QNAP NAS, mit dem Benutzer eine Vielzahl virtueller Maschinen erstellen können. Virtualization Station verfügt außerdem über einen umfangreichen Funktionsumfang, der VM-Backups, Snapshots, Klone und, was am wichtigsten ist, GPU-Passthrough für den Kontext dieses Artikels unterstützt.

Im Inneren unseres Testgeräts ist das QNAP TS-h1290FX mit einem typischen Serverboard mit mehreren verfügbaren PCIe-Steckplätzen zur Erweiterung ausgestattet. QNAP stellt auch die notwendigen GPU-Stromkabel im Gehäuse zur Verfügung, so dass für Karten, die mehr als nur PCIe-Steckplatz-Strom benötigen, keine unnötigen Geschäfte erforderlich sind. Wir fanden, dass die Single-Slot-NVIDIA RTX A4000 perfekt passt und ausreichend Platz für die Kühlung bietet. Bei dieser Plattform wird eine GPU mit aktivem Kühler bevorzugt. Ihre Wahl der GPU hängt von der Arbeitslast ab und davon, was das NAS physisch unterstützen und kühlen kann.

Konfigurieren des QNAP für AI

Das Einrichten einer virtuellen Maschine (VM) mit GPU-Passthrough auf einem QNAP NAS-Gerät umfasst mehrere Schritte. Es erfordert einen QNAP NAS, das Virtualisierung unterstützt und verfügt über die notwendigen Hardware-Fähigkeiten. Nachfolgend finden Sie eine Anleitung zur Einrichtung und Konfiguration des QNAP NAS mit GPU-Passthrough.

1. Überprüfen Sie die Hardwarekompatibilität

Stellen Sie sicher, dass Ihr QNAP NAS Virtualization Station unterstützt, die Virtualisierungsanwendung von QNAP.

• Stellen Sie sicher, dass das NAS über einen freien PCIe-Steckplatz für eine GPU verfügt und dass die GPU Passthrough unterstützt. Kompatibilitätslisten sind häufig auf der QNAP-Website verfügbar. Obwohl die aktuelle Kompatibilitätsliste den NVIDIA A4000 nicht offiziell unterstützt, hatten wir keine Probleme mit der Funktionalität.

2. Installieren Sie die GPU

• Schalten Sie das NAS aus und trennen Sie es vom Stromnetz. Öffnen Sie das Gehäuse und stecken Sie die GPU in einen freien PCIe-Steckplatz. Schließen Sie alle erforderlichen Stromkabel an die GPU an. Schließen Sie das Gehäuse, schließen Sie die Stromversorgung wieder an und schalten Sie das NAS ein.

3. Aktualisieren Sie Ihre QNAP-Firmware und -Software

Stellen Sie sicher, dass auf Ihrem QNAP NAS die neueste Version von QTS (QNAPs Betriebssystem) läuft. Wir haben Virtualization Station 4 verwendet, eine offene Betaversion von QNAP, um eine bessere Unterstützung und Leistung für GPU-Arbeit zu bieten. Virtualization Station 4 ist ein selbstinstallierendes Paket, im Gegensatz zu anderen, die direkt über das QNAP App Center installiert werden.

4. Installieren Sie das Betriebssystem auf der VM

Nachdem Sie die Virtualization Station von QNAP auf Ihrem NAS installiert haben, können Sie zur Verwaltungsoberfläche gehen, um Ihre virtuelle Maschine (VM) bereitzustellen. Wenn Sie auf „Erstellen“ klicken, erscheint ein Eingabeaufforderungsfenster, in dem Sie den VM-Namen angeben und den Speicherort auf dem NAS auswählen können, an dem die VM ausgeführt werden soll. In den meisten Fällen müssen Sie möglicherweise einige geringfügige Anpassungen an den Betriebssystem- und Versionsinformationen vornehmen.

Passen Sie als Nächstes die Ressourcen und den CPU-Kompatibilitätstyp an, die die VM auf der Ebene des Gastbetriebssystems sehen soll. In unserem Fall haben wir unserer VM 64 GB Arbeitsspeicher und 8 CPUs gegeben. Wir haben den Passthrough-CPU-Typ für das Modell ausgewählt und das BIOS auf UEFI geändert.

Um das Betriebssystem zu starten und zu installieren, müssen Sie eine ISO-Datei hochladen und als virtuelles CD/DVD-Laufwerk bereitstellen. Sobald der Installationsvorgang abgeschlossen ist, aktivieren Sie RDP für die Verwaltung, bevor Sie mit dem nächsten Schritt fortfahren. Die VM-Verwaltungsfunktionalität von QNAP ändert sich, sobald GPU-Passthrough aktiviert ist, und RDP vereinfacht diesen Prozess erheblich. Schalten Sie an dieser Stelle die VM aus.

5. Konfigurieren Sie GPU-Passthrough

Innerhalb der Virtualisierungsstation:

1. Bearbeiten Sie Ihre VM, während die vorhandene VM ausgeschaltet ist.
2. Suchen Sie im VM-Einstellungsmenü nach der Registerkarte „Physische Geräte“. Wählen Sie hier PCIe aus. Sie sehen ein verfügbares Gerät für den Passthrough. In unserem Fall war es die NVIDIA RTX A4000. Wenden Sie diese Änderung an.
3. Wenn Sie Ihrer VM weitere Ressourcen wie CPU-Kerne, RAM und Speicher zuweisen müssen, ist jetzt der richtige Zeitpunkt dafür.
4. Schalten Sie die VM wieder ein.

6. Installieren Sie GPU-Treiber in der VM

Sobald Sie wieder in der VM sind und RDP verwenden und die GPU angeschlossen ist, laden Sie die entsprechenden Treiber für Ihre GPU herunter und installieren Sie sie in der VM. Dieser Schritt ist entscheidend für die ordnungsgemäße Funktion der GPU und die erwarteten Leistungsverbesserungen.

7. Überprüfen Sie die GPU-Passthrough-Funktionalität

Überprüfen Sie nach der Installation der Treiber, ob die GPU in der VM erkannt wird und ordnungsgemäß funktioniert. Sie können den Geräte-Manager in Windows oder entsprechende Befehlszeilentools in Linux verwenden, um den GPU-Status zu überprüfen.

Fehlerbehebung und Tipps

• Kompatibilität: Suchen Sie auf den Websites der QNAP- und GPU-Hersteller nach spezifischen Kompatibilitätshinweisen oder Firmware-Updates, die sich möglicherweise auf die Passthrough-Funktionalität auswirken.
• Eigenschaften: Überwachen Sie die Leistung Ihrer VM und passen Sie die Ressourcenzuweisungen bei Bedarf an. Stellen Sie sicher, dass Ihr NAS über ausreichend Platz zum Kühlen verfügt, insbesondere nach dem Hinzufügen einer Hochleistungs-GPU.
• Netzwerk und Speicher: Optimieren Sie Netzwerkeinstellungen und Speicherkonfigurationen, um Engpässe zu vermeiden, die sich auf die Leistung von VM-Anwendungen auswirken könnten.

NVIDIA-Chat mit RTX – Privater ChatGPT

Auch wenn es einfach ist, hier aufzuhören (Erstellung einer Windows-VM mit GPU-Zugriff), haben wir in diesem Experiment noch einen Schritt weiter gemacht, um Unternehmen eine einzigartige Möglichkeit zu bieten, die Vorteile von KI sicher zu nutzen und die Leistung des NVMe-basierten NAS zu nutzen. In unserem Fall nutzte die VM einen RAID5-geschützten Speicher, der eine Lesegeschwindigkeit von 9.4 GB/s und eine Schreibgeschwindigkeit von 2.1 GB/s bot.

NVIDIA hat kürzlich ein Softwarepaket mit dem Namen auf den Markt gebracht Chatten Sie mit RTX. Chat mit RTX revolutioniert die KI-Interaktion, indem es durch die Integration eines GPT-basierten Large Language Model (LLM) mit einem lokalen, einzigartigen Datensatz ein individuelles Erlebnis bietet. Dazu gehört die Möglichkeit, Dokumente, Notizen, Multimedia, YouTube-Videos, Playlists und mehr zu verarbeiten.

Diese schlüsselfertige Anwendung nutzt die Leistungsfähigkeit der Retrieval-Augmented Generation (RAG), kombiniert mit der Effizienz des TensorRT-optimierten LLM und den Hochgeschwindigkeitsfähigkeiten der RTX-Beschleunigung. Diese liefern kontextbezogene Antworten, die sowohl schnell als auch äußerst relevant sind. Dieses Setup läuft direkt auf Ihrem Windows RTX-Desktop oder Ihrer Workstation und gewährleistet einen schnellen Zugriff auf Informationen sowie ein hohes Maß an Privatsphäre und Sicherheit, da die gesamte Verarbeitung lokal erfolgt.

Die Implementierung eines LLM mit RAG-Funktionen bietet eine hervorragende Lösung für Geschäftsleute und Power-User, die Wert auf Datenschutz, Sicherheit und personalisierte Effizienz legen. Im Gegensatz zu öffentlichen Modellen wie ChatGPT, die Anfragen über das Internet verarbeiten, agiert ein lokales LLM vollständig innerhalb der Grenzen Ihres QNAP NAS.

Diese Offline-Funktion stellt sicher, dass alle Interaktionen privat und sicher bleiben. Dadurch können Benutzer die Wissensdatenbank der KI an ihre spezifischen Bedürfnisse anpassen, unabhängig davon, ob es sich um vertrauliche Unternehmensdokumente, spezielle Datenbanken oder persönliche Notizen handelt. Dieser Ansatz erhöht die Relevanz und Geschwindigkeit der Antworten der KI erheblich und macht sie zu einem unschätzbar wertvollen Werkzeug für diejenigen, die sofortige, kontextbezogene Erkenntnisse benötigen, ohne den Datenschutz oder die Datensicherheit zu beeinträchtigen.

Erwähnenswert ist auch, und das mag offensichtlich sein, dass das Hinzufügen einer GPU zum NAS die Verknüpfung zwischen den Daten eines Unternehmens und dem LLM direkt vereinfacht. Es ist nicht erforderlich, Daten zu verschieben, um die Vorteile dieses speziellen Modells zu nutzen, und der Vorgang ist so einfach und kostengünstig wie der Einbau einer GPU der Mittelklasse in das NAS. Außerdem ist die gesamte Software derzeit kostenlos, was das Potenzial der KI für kleine Unternehmen erheblich demokratisiert.

Chat with RTX ist noch ein Beta-Programm und zum Zeitpunkt des Schreibens verwendeten wir Version 0.2. Aber die einfache Installation und Inbetriebnahme der Weboberfläche war erfrischend. Jeder, der weiß, wie man eine Anwendung herunterlädt und installiert, kann jetzt mit nur wenigen Klicks ein lokales LLM mit RAG zum Laufen bringen.

Ermöglichen des Fernzugriffs zum Chatten mit RTX über eine allgemein zugängliche URL

Wir haben unser Szenario auf die nächste Stufe gehoben und es für das gesamte Büro verfügbar gemacht.

Schritt 1: Suchen Sie die Konfigurationsdatei

Gehen Sie zunächst zum Ordner mit der Konfigurationsdatei:

• Dateipfad: C:\Users\{YourUserDir}\AppData\Local\NVIDIA\ChatWithRTX\RAG\trt-llm-rag-windows-main\ui\user_interface.py

Schritt 2: Aktualisieren Sie den Startcode

Öffnen Sie den Microsoft Store auf Ihrem Windows-PC. user_interface.py Datei und Strg-F für interface.launch Suchen Sie das richtige Segment, das standardmäßig wie folgt aussieht:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    server_port=port
)

Um den Netzwerkzugriff zu ermöglichen, müssen Sie hinzufügen share=True so:

interface.launch(
    favicon_path=os.path.join(os.path.dirname(__file__), 'assets/nvidia_logo.png'),
    show_api=False,
    share=True,
    server_port=port
)

Speichern Sie die Änderungen an der user_interface.py Datei. Starten Sie dann Chat with RTX über das Startmenü, wodurch ein Eingabeaufforderungsfenster geöffnet und die Schnittstelle aktiviert wird.

Schritt 3: Finden der öffentlichen URL

Das Eingabeaufforderungsfenster zeigt sowohl eine lokale als auch eine öffentliche URL an. Um eine funktionierende öffentliche URL zu erstellen, auf die von jedem Gerät aus zugegriffen werden kann, führen Sie Elemente beider URLs zusammen. Am besten nehmen Sie die öffentliche URL und fügen am Ende die lokalen Cookie-Informationen hinzu:

• Öffentliche URL: https://62e1db9de99021560f.gradio.live
• Lokale URL mit Parametern: http://127.0.0.1:16852?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Ihre kombinierte URL sollte wie folgt aussehen, wobei das „?cookie“ an die öffentliche URL angehängt ist:

https://62e1db9de99021560f.gradio.live?cookie=4a56dd55-72a1-49c1-a6de-453fc5dba8f3&__theme=dark

Diese URL gewährt Zugriff auf Chat with RTX von jedem Gerät in Ihrem Netzwerk und erweitert so die Benutzerfreundlichkeit über lokale Einschränkungen hinaus.

Abschließende Überlegungen

Wir sind seit langem Befürworter der Führungsrolle von QNAP im NAS-Hardware-Design, aber für QNAP-Kunden gibt es noch viel mehr Mehrwert, als ihnen wahrscheinlich bewusst ist. Ehrlich gesagt ist Virtualization Station ein guter Ausgangspunkt, aber warum nicht auf die nächste Stufe heben und GPU Passthrough ausprobieren? Nicht zuletzt können Unternehmen dem Unternehmen eine High-End-VM mit GPU-Unterstützung bereitstellen, ohne eine dedizierte Workstation einrichten zu müssen. Es gibt auch offensichtliche Vorteile, wenn eine VM neben einem riesigen internen Speicherpool mit nativen Leistungsniveaus sitzt. In diesem Fall hatten wir eine gemeinsame Speicherleistung von fast 10 GB/s, ohne uns um eine einzige 100-GbE-Verbindung oder einen einzigen XNUMX-GbE-Switch kümmern zu müssen, und das alles, weil sich die GPU-beschleunigte VM im NAS selbst befand.

Warum nicht noch einen Schritt weiter gehen, um die Vorteile von KI für das Unternehmen zu erkennen? Wir haben gezeigt, dass das Hinzufügen einer guten GPU zu einem QNAP NAS relativ einfach und kostengünstig ist. Wir haben einen A4000 zum Einsatz gebracht, und bei einem Straßenpreis von etwa 1050 US-Dollar ist das nicht schlecht, wenn man bedenkt, dass Virtualization Station kostenlos ist und NVIDIA Chat mit RTX kostenlos verfügbar ist. Die Möglichkeit, dieses leistungsstarke LLM sicher auf die privaten Daten eines Unternehmens zu verweisen, sollte umsetzbare Erkenntnisse liefern und gleichzeitig das Unternehmen dynamischer machen.

Ein weiterer hier zu berücksichtigender Aspekt ist ein Dateispeicher für Modelle, die möglicherweise außerhalb des QNAP-Systems selbst liegen. Dies ist ideal für kleine Unternehmen, die einen schnellen Ort zum Speichern ihrer Arbeitsdaten benötigen. Mit den erweiterten Netzwerkfunktionen könnten Sie das NAS möglicherweise als Ort zum Speichern von Daten für RAG-Arbeiten auf einem größeren GPU-Server verwenden, was einen leicht gemeinsam nutzbaren Datenspeicher ermöglicht, aus dem Rückschlüsse gezogen werden können.

Dies ist nur ein KI-Beispiel. Die Branche entwickelt sich rasant, daher werden weiterhin Werkzeuge zur Verfügung gestellt. Intelligente Unternehmen müssen lernen, KI zu nutzen, und diese einfache Funktion von QNAP ist ein guter Einstieg.

QNAP Virtualisierungsstation

Beteiligen Sie sich an StorageReview

Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed