Los avances recientes en modelos de lenguaje de gran tamaño (LLM), incluidas herramientas accesibles como LM Studio, han permitido a los usuarios implementar modelos de IA sofisticados de manera rápida y sin esfuerzo. La última tecnología de AMD respalda la funcionalidad de IA de alto rendimiento de LM Studio sin necesidad de experiencia en codificación ni conocimientos técnicos.
LM Studio, desarrollado en el marco llama.cpp, está diseñado para una rápida implementación de LLM. Este marco funciona sin dependencias y funciona de manera eficiente en las CPU, aunque está disponible la aceleración de GPU. Para optimizar el rendimiento de las CPU basadas en x86, LM Studio aprovecha las instrucciones AVX2, lo que mejora la compatibilidad y la velocidad en los procesadores modernos.
La IA AMD Ryzen, integrada en el procesador Ryzen 9 HX 375, mejora el rendimiento de LLM en aplicaciones como LM Studio, especialmente para portátiles x86. Aunque los LLM dependen en gran medida de la velocidad de la memoria, la aceleración de IA de AMD Ryzen ofrece un rendimiento líder. En las pruebas, a pesar de que la velocidad de RAM del portátil AMD es de 7500 MT/s en comparación con los 8533 MT/s de Intel, el Ryzen 9 HX 375 superó a Intel hasta en un 27 % en tokens por segundo, una métrica que indica cuántas palabras por segundo genera el LLM.
En el modelo de instrucciones Meta Llama 3.2 1b (que utiliza cuantificación de 4 bits), el AMD Ryzen 9 HX 375 demostró una salida máxima de 50.7 tokens por segundo. En el caso de los modelos más grandes, logró un “tiempo hasta el primer token” hasta 3.5 veces más rápido en comparación con los procesadores de la competencia. Este es un parámetro de referencia importante que mide la latencia entre el envío de la solicitud y la respuesta inicial.
Cada uno de los tres aceleradores de las CPU AMD Ryzen AI está optimizado para tareas específicas, y las NPU basadas en la arquitectura XDNA 2 se destacan en eficiencia para la IA persistente. Si bien las CPU admiten una amplia compatibilidad con todas las herramientas de IA, las iGPU manejan muchas operaciones de IA a pedido, lo que ofrece flexibilidad para aplicaciones en tiempo real.
La adaptación de llama.cpp de LM Studio utiliza la API Vulkan para la aceleración de GPU independiente de la plataforma. Esta optimización ha demostrado una mejora del 31 % en el rendimiento de Meta Llama 3.2 1b Instruct al descargar tareas a la GPU. En modelos más grandes, como Mistral Nemo 2407 12b Instruct, este enfoque generó un aumento del rendimiento del 5.1 %. Las pruebas en procesadores de la competencia no mostraron ganancias significativas en la descarga de GPU para la mayoría de los modelos, por lo que estos resultados se excluyeron para una comparación justa.
Además, los procesadores Ryzen AI Serie 300 de AMD cuentan con memoria gráfica variable (VGM), que permite ampliar la asignación de iGPU dedicada mediante el uso de hasta el 75 % de la RAM del sistema. Cuando se habilitó VGM, el rendimiento en Meta Llama 3.2 1b Instruct aumentó un 22 %, lo que resultó en una ganancia de velocidad total del 60 % en tareas aceleradas por iGPU. Incluso los modelos grandes se beneficiaron de VGM, logrando hasta un 17 % de mejora en el rendimiento en comparación con el procesamiento solo con CPU.
Aunque la configuración de la computadora portátil de la competencia no se benefició de la descarga de GPU basada en Vulkan en LM Studio, el rendimiento se evaluó utilizando AI Playground de Intel para una comparación objetiva. Las pruebas con cuantificación comparable encontraron que el AMD Ryzen 9 HX 375 era un 8.7 % más rápido en el modelo Phi 3.1 y un 13 % más rápido en Mistral 7b Instruct 0.3.
El compromiso de AMD con el avance de la IA es claro: al habilitar herramientas de implementación LLM potentes y fáciles de usar para el consumidor como LM Studio, AMD apunta a democratizar la IA. Con la incorporación de características como la memoria gráfica variable, los procesadores AMD Ryzen AI están preparados para ofrecer experiencias de IA incomparables en computadoras portátiles x86, lo que garantiza que los usuarios puedan aprovechar los modelos de última generación tan pronto como estén disponibles.
Amazon