I recenti progressi nei modelli di linguaggio di grandi dimensioni (LLM), tra cui strumenti accessibili come LM Studio, hanno consentito agli utenti di distribuire modelli AI sofisticati in modo rapido e senza sforzo. L'ultima tecnologia di AMD supporta la funzionalità AI ad alte prestazioni di LM Studio senza richiedere competenze di codifica o conoscenze tecniche.
Sviluppato sul framework llama.cpp, LM Studio è progettato per una distribuzione LLM rapida. Questo framework funziona senza dipendenze e funziona in modo efficiente sulle CPU, sebbene sia disponibile l'accelerazione GPU. Per ottimizzare le prestazioni per le CPU basate su x86, LM Studio sfrutta le istruzioni AVX2, migliorando la compatibilità e la velocità sui processori moderni.
AMD Ryzen AI, integrato nel processore Ryzen 9 HX 375, aumenta le prestazioni LLM in applicazioni come LM Studio, in particolare per laptop x86. Sebbene gli LLM dipendano in modo significativo dalla velocità della memoria, l'accelerazione AI di AMD Ryzen offre prestazioni di leadership. Nei test, nonostante la velocità della RAM del laptop AMD fosse di 7500 MT/s rispetto agli 8533 MT/s di Intel, Ryzen 9 HX 375 ha superato Intel fino al 27% in token al secondo, una metrica che indica quante parole al secondo genera LLM.
Nel modello Meta Llama 3.2 1b Instruct (utilizzando la quantizzazione a 4 bit), l'AMD Ryzen 9 HX 375 ha dimostrato un output di picco di 50.7 token al secondo. Per modelli più grandi, ha raggiunto un "tempo per il primo token" fino a 3.5 volte più veloce rispetto ai processori concorrenti. Si tratta di un benchmark significativo che misura la latenza tra l'invio rapido e la risposta iniziale.
Ciascuno dei tre acceleratori nelle CPU AMD Ryzen AI è ottimizzato per attività specifiche, con le NPU basate sull'architettura XDNA 2 che eccellono in efficienza per l'AI persistente. Mentre le CPU supportano un'ampia compatibilità tra gli strumenti AI, le iGPU gestiscono molte operazioni AI on-demand, offrendo flessibilità per le applicazioni in tempo reale.
L'adattamento di llama.cpp di LM Studio utilizza l'API Vulkan per l'accelerazione GPU indipendente dalla piattaforma. Questa ottimizzazione ha mostrato un miglioramento del 31% nelle prestazioni di Meta Llama 3.2 1b Instruct quando si scaricano le attività sulla GPU. Nei modelli più grandi, come Mistral Nemo 2407 12b Instruct, questo approccio ha portato a un aumento delle prestazioni del 5.1%. I test sui processori della concorrenza non hanno mostrato guadagni significativi nello scaricamento della GPU per la maggior parte dei modelli, quindi questi risultati sono stati esclusi per un confronto equo.
Inoltre, i processori Ryzen AI 300 Series di AMD sono dotati di Variable Graphics Memory (VGM), che consente di estendere l'allocazione dedicata dell'iGPU utilizzando fino al 75% della RAM di sistema. Quando VGM è stato abilitato, le prestazioni in Meta Llama 3.2 1b Instruct sono aumentate del 22%, con un conseguente guadagno di velocità totale del 60% nelle attività accelerate dall'iGPU. Anche i modelli di grandi dimensioni hanno beneficiato di VGM, ottenendo prestazioni migliorate fino al 17% rispetto all'elaborazione basata solo sulla CPU.
Sebbene la configurazione del laptop della concorrenza non abbia beneficiato dell'offload della GPU basato su Vulkan in LM Studio, le prestazioni sono state valutate utilizzando AI Playground di Intel per un confronto oggettivo. I test con quantizzazione comparabile hanno rilevato che l'AMD Ryzen 9 HX 375 era più veloce dell'8.7% nel modello Phi 3.1 e del 13% in Mistral 7b Instruct 0.3.
L'impegno di AMD nel far progredire l'AI è chiaro: abilitando potenti strumenti di distribuzione LLM di facile utilizzo per i consumatori come LM Studio, AMD mira a democratizzare l'AI. Con l'aggiunta di funzionalità come Variable Graphics Memory, i processori AMD Ryzen AI sono pronti a offrire esperienze AI senza pari sui laptop x86, garantendo agli utenti di sfruttare modelli all'avanguardia non appena saranno disponibili.
Amazon