La dernière technologie d'AMD prend en charge LM Studio pour des fonctionnalités d'IA hautes performances sans nécessiter d'expertise en codage ou de connaissances techniques.
Les avancées récentes dans le domaine des grands modèles de langage (LLM), notamment des outils accessibles comme LM Studio, ont permis aux utilisateurs de déployer des modèles d'IA sophistiqués rapidement et sans effort. La dernière technologie d'AMD prend en charge les fonctionnalités d'IA hautes performances de LM Studio sans nécessiter d'expertise en codage ou de connaissances techniques.
Développé sur le framework llama.cpp, LM Studio est conçu pour un déploiement LLM rapide. Ce framework fonctionne sans dépendances et fonctionne efficacement sur les processeurs, bien que l'accélération GPU soit disponible. Pour optimiser les performances des processeurs x86, LM Studio exploite les instructions AVX2, améliorant ainsi la compatibilité et la vitesse sur les processeurs modernes.
L'IA AMD Ryzen, intégrée au processeur Ryzen 9 HX 375, améliore les performances LLM dans des applications comme LM Studio, en particulier pour les ordinateurs portables x86. Bien que les LLM dépendent fortement de la vitesse de la mémoire, l'accélération IA d'AMD Ryzen offre des performances de premier plan. Lors des tests, malgré la vitesse de la RAM de l'ordinateur portable AMD de 7500 8533 MT/s contre 9 375 MT/s pour Intel, le Ryzen 27 HX XNUMX a surpassé Intel jusqu'à XNUMX % en termes de jetons par seconde, une mesure indiquant le nombre de mots par seconde générés par le LLM.
Dans le modèle Meta Llama 3.2 1b Instruct (utilisant une quantification 4 bits), l'AMD Ryzen 9 HX 375 a démontré une sortie maximale de 50.7 jetons par seconde. Pour les modèles plus grands, il a atteint un « délai d'obtention du premier jeton » jusqu'à 3.5 fois plus rapide que les processeurs concurrents. Il s'agit d'une référence importante mesurant la latence entre la soumission rapide et la réponse initiale.
Chacun des trois accélérateurs des processeurs AMD Ryzen AI est optimisé pour des tâches spécifiques, les NPU basés sur l'architecture XDNA 2 excellant en efficacité pour l'IA persistante. Alors que les processeurs prennent en charge une large compatibilité entre les outils d'IA, les iGPU gèrent de nombreuses opérations d'IA à la demande, offrant une flexibilité pour les applications en temps réel.
L'adaptation de llama.cpp par LM Studio utilise l'API Vulkan pour une accélération GPU indépendante de la plateforme. Cette optimisation a montré une amélioration de 31 % des performances de Meta Llama 3.2 1b Instruct lors du déchargement des tâches sur le GPU. Dans les modèles plus grands, tels que Mistral Nemo 2407 12b Instruct, cette approche a conduit à une augmentation des performances de 5.1 %. Les tests sur les processeurs concurrents n'ont montré aucun gain significatif en termes de déchargement du GPU pour la plupart des modèles, ces résultats ont donc été exclus pour une comparaison équitable.
De plus, les processeurs AMD Ryzen AI série 300 sont dotés de la mémoire graphique variable (VGM), qui permet d'étendre l'allocation iGPU dédiée en utilisant jusqu'à 75 % de la RAM système. Lorsque la VGM était activée, les performances dans Meta Llama 3.2 1b Instruct ont augmenté de 22 %, ce qui s'est traduit par un gain de vitesse total de 60 % dans les tâches accélérées par iGPU. Même les grands modèles ont bénéficié de la VGM, obtenant jusqu'à 17 % de performances améliorées par rapport au traitement uniquement par CPU.
Bien que la configuration de l'ordinateur portable de la compétition n'ait pas bénéficié du déchargement du GPU basé sur Vulkan dans LM Studio, les performances ont été évaluées à l'aide de l'IA Playground d'Intel pour une comparaison objective. Des tests avec une quantification comparable ont révélé que l'AMD Ryzen 9 HX 375 était 8.7 % plus rapide dans le modèle Phi 3.1 et 13 % plus rapide dans Mistral 7b Instruct 0.3.
L'engagement d'AMD en faveur de l'IA est clair : en proposant des outils de déploiement LLM puissants et conviviaux comme LM Studio, AMD vise à démocratiser l'IA. Avec l'ajout de fonctionnalités telles que la mémoire graphique variable, les processeurs AMD Ryzen AI sont prêts à offrir des expériences d'IA inégalées sur les ordinateurs portables x86, garantissant aux utilisateurs de pouvoir tirer parti des modèles de pointe dès qu'ils sont disponibles.
S'engager avec StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | Flux RSS
