Meta AI ha desarrollado y anunciado Llama 3 , un modelo de lenguaje de gran tamaño que está causando sensación en el campo de la inteligencia artificial con sus versiones anteriores. Esta última incorporación a la familia Llama cuenta con capacidades impresionantes, como la generación de texto coherente y fluido, la respuesta a preguntas y la capacidad de mantener conversaciones.
Llama 3: ¿solo otra revisión?
¿Qué distingue a Llama 3 de sus predecesores? Según los resultados de la evaluación humana , el modelo logra una tasa de éxito del 59.3 % frente a Mistral Medium y del 63.7 % frente a GPT-3.5. Estas impresionantes cifras indican que Llama 3 puede generar texto de calidad comparable al texto generado por humanos.
El conjunto de datos de entrenamiento para Llama 3 consta de más de 15T tokens recopilados de fuentes disponibles públicamente, lo que lo hace siete veces más grande que el conjunto de datos de entrenamiento utilizado para Llama 2. Estos extensos datos de entrenamiento permiten que el modelo genere texto diverso y preciso.
Este conjunto de datos de 15 billones de tokens es significativamente más grande que su predecesor, ya que contiene siete veces más datos que Llama 2 e incluye una amplia gama de códigos, lo que cuadriplica la cantidad utilizada anteriormente. En particular, más del 5 % de los datos son contenidos de alta calidad que no están en inglés y que abarcan más de 30 idiomas, aunque se reconoce que el rendimiento en estos idiomas puede no alcanzar los niveles observados en inglés.
Para garantizar la calidad de los datos, Meta desarrolló sofisticados sistemas de filtrado. Estos incluyen filtros heurísticos, filtros de contenido NSFW, deduplicación semántica y clasificadores diseñados para evaluar la calidad del texto. Curiosamente, Llama 2 se utilizó para refinar los datos de entrenamiento para estos clasificadores de calidad, lo que resultó fundamental para impulsar la generación siguiente.
Con respecto a la ampliación del entrenamiento previo, Meta ha innovado con leyes de escalamiento detalladas para mejorar el entrenamiento del modelo de manera efectiva. Estas leyes guían la combinación de datos y uso de computación, optimizando el rendimiento en varios puntos de referencia, como la generación de código. Sorprendentemente, los modelos de parámetros 8B y 70B mostraron mejoras continuas de rendimiento más allá de los límites de entrenamiento tradicionales, mostrando potencial en escenarios de entrenamiento de datos masivos.
llama 3 y tu
El futuro del ecosistema Llama también parece prometedor, con planes para ampliar las capacidades del modelo y hacerlo aún más accesible para los desarrolladores. Esto significa que podemos esperar ver aplicaciones aún más innovadoras de Llama 3 en los próximos meses y años.
Para una aplicación de entrenamiento práctica, Meta aprovechó una combinación de tres estrategias de paralelización (paralelización de datos, modelo y canalización) para entrenar a una escala sin precedentes utilizando 16 000 GPU . Esta escala se logró gracias a clústeres de GPU personalizados y una nueva pila de entrenamiento que garantiza más del 95 % de tiempo de entrenamiento efectivo mediante la automatización del mantenimiento y la optimización del uso de la GPU.
Meta informa que el refinamiento posterior al entrenamiento mediante el ajuste de las instrucciones ha sido vital. Técnicas como el ajuste supervisado, el muestreo de rechazo y las optimizaciones de políticas han refinado el desempeño del modelo en tareas específicas y lo han ayudado a aprender a seleccionar las respuestas correctas entre las posibilidades generadas. Esta estrategia de entrenamiento matizada ha mejorado significativamente las capacidades de razonamiento y codificación de Llama 3, estableciendo un nuevo punto de referencia para el entrenamiento y la aplicación de modelos de IA.
Pensamientos de cierre
Llama 3 llega con muchos competidores y promete un mejor rendimiento y utilidad. Con sus impresionantes capacidades y amplios datos de capacitación, revolucionará la forma en que interactuamos con las máquinas. Si eres un desarrollador que busca integrar Llama en tu próximo proyecto o simplemente alguien interesado en el futuro de la IA, vale la pena seguir a Llama 3.
Meta AI se puede usar en Facebook, Instagram, WhatsApp, Messenger y la web. Meta AI proporciona documentación para Meta AI aquí.
El sitio web de Llama 3 contiene la información de descarga de los modelos y proporciona una guía de inicio rápido.
Amazon