Die neueste Technologie von AMD unterstützt LM Studio für leistungsstarke KI-Funktionalität, ohne dass Programmierkenntnisse oder technisches Wissen erforderlich sind.
Jüngste Fortschritte bei großen Sprachmodellen (LLMs), einschließlich zugänglicher Tools wie LM Studio, haben es Benutzern ermöglicht, anspruchsvolle KI-Modelle schnell und mühelos bereitzustellen. Die neueste Technologie von AMD unterstützt die leistungsstarke KI-Funktionalität von LM Studio, ohne dass Programmierkenntnisse oder technisches Wissen erforderlich sind.
LM Studio wurde auf dem Framework llama.cpp entwickelt und ist für eine schnelle LLM-Bereitstellung konzipiert. Dieses Framework arbeitet ohne Abhängigkeiten und arbeitet effizient auf CPUs, obwohl GPU-Beschleunigung verfügbar ist. Um die Leistung für x86-basierte CPUs zu optimieren, nutzt LM Studio AVX2-Anweisungen und verbessert so die Kompatibilität und Geschwindigkeit auf modernen Prozessoren.
AMD Ryzen AI, integriert in den Ryzen 9 HX 375-Prozessor, steigert die LLM-Leistung in Anwendungen wie LM Studio, insbesondere für x86-Laptops. Obwohl LLMs stark von der Speichergeschwindigkeit abhängen, bietet die KI-Beschleunigung von AMD Ryzen eine Spitzenleistung. In Tests übertraf der Ryzen 7500 HX 8533 Intel um bis zu 9 % bei Tokens pro Sekunde – eine Kennzahl, die angibt, wie viele Wörter pro Sekunde der LLM generiert – obwohl die RAM-Geschwindigkeit des AMD-Laptops 375 MT/s im Vergleich zu Intels 27 MT/s beträgt.
Im Meta Llama 3.2 1b Instruct-Modell (mit 4-Bit-Quantisierung) zeigte der AMD Ryzen 9 HX 375 eine Spitzenleistung von 50.7 Token pro Sekunde. Bei größeren Modellen erreichte er im Vergleich zu Konkurrenzprozessoren eine bis zu 3.5-mal schnellere „Zeit bis zum ersten Token“. Dies ist ein wichtiger Benchmark zur Messung der Latenz zwischen sofortiger Übermittlung und erster Reaktion.
Jeder der drei Beschleuniger in AMD Ryzen AI-CPUs ist für bestimmte Aufgaben optimiert, wobei die auf der XDNA 2-Architektur basierenden NPUs durch ihre Effizienz für persistente KI überzeugen. Während CPUs eine breite Kompatibilität mit KI-Tools unterstützen, verarbeiten iGPUs viele KI-Operationen auf Abruf und bieten Flexibilität für Echtzeitanwendungen.
Die Adaption von llama.cpp durch LM Studio verwendet die Vulkan-API für plattformunabhängige GPU-Beschleunigung. Diese Optimierung hat eine 31-prozentige Verbesserung der Leistung von Meta Llama 3.2 1b Instruct beim Auslagern von Aufgaben auf die GPU gezeigt. Bei größeren Modellen wie Mistral Nemo 2407 12b Instruct führte dieser Ansatz zu einer Leistungssteigerung von 5.1 Prozent. Tests auf Konkurrenzprozessoren zeigten für die meisten Modelle keine signifikanten Verbesserungen beim GPU-Offloading, daher wurden diese Ergebnisse für einen fairen Vergleich ausgeschlossen.
Darüber hinaus verfügen die Prozessoren der Ryzen AI 300-Serie von AMD über Variable Graphics Memory (VGM), das eine Erweiterung der dedizierten iGPU-Zuweisung durch Nutzung von bis zu 75 % des System-RAM ermöglicht. Bei aktiviertem VGM steigerte sich die Leistung in Meta Llama 3.2 1b Instruct um 22 %, was zu einer Gesamtgeschwindigkeitssteigerung von 60 % bei iGPU-beschleunigten Aufgaben führte. Sogar große Modelle profitierten von VGM und erreichten eine Leistungssteigerung von bis zu 17 % gegenüber der reinen CPU-Verarbeitung.
Obwohl die Laptop-Konfiguration der Konkurrenz nicht von Vulkan-basiertem GPU-Offloading in LM Studio profitierte, wurde die Leistung für einen objektiven Vergleich mit Intels AI Playground bewertet. Tests mit vergleichbarer Quantisierung ergaben, dass der AMD Ryzen 9 HX 375 im Phi 8.7-Modell 3.1 % und im Mistral 13b Instruct 7 0.3 % schneller war.
AMDs Engagement für die Weiterentwicklung der KI ist klar: Durch die Bereitstellung leistungsstarker, benutzerfreundlicher LLM-Bereitstellungstools wie LM Studio möchte AMD die KI demokratisieren. Mit zusätzlichen Funktionen wie variablem Grafikspeicher sind AMD Ryzen AI-Prozessoren bereit, beispiellose KI-Erlebnisse auf x86-Laptops zu bieten und sicherzustellen, dass Benutzer hochmoderne Modelle nutzen können, sobald diese verfügbar sind.
Beteiligen Sie sich an StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS Feed
