Meta AI a développé et annoncé Llama 3 , un modèle de langage de grande envergure qui a révolutionné l'intelligence artificielle grâce à ses précédentes versions. Ce dernier-né de la famille Llama offre des fonctionnalités impressionnantes, notamment la génération de textes cohérents et fluides, la réponse aux questions et la capacité à engager la conversation.
Lama 3 – Juste une autre révision ?
Qu’est-ce qui distingue Llama 3 de ses prédécesseurs ? D’après les résultats d’évaluations humaines , le modèle obtient un taux de réussite de 59.3 % face à Mistral Medium et de 63.7 % face à GPT-3.5. Ces chiffres impressionnants indiquent que Llama 3 peut générer des textes d’une qualité comparable à celle des textes écrits par des humains.
L'ensemble de données de formation pour Llama 3 se compose de plus de 15 T de jetons collectés à partir de sources accessibles au public, ce qui le rend sept fois plus volumineux que l'ensemble de données de formation utilisé pour Llama 2. Ces données de formation approfondies permettent au modèle de générer un texte diversifié et précis.
Cet ensemble de données de 15 2 milliards de jetons est nettement plus volumineux que son prédécesseur, contenant sept fois plus de données que Llama 5 et incluant une vaste gamme de codes, quadruplant la quantité précédemment utilisée. Notamment, plus de 30 % des données sont du contenu non anglais de haute qualité couvrant plus de XNUMX langues, même s'il est reconnu que les performances dans ces langues peuvent ne pas atteindre les niveaux observés en anglais.
Garantissant la qualité des données, Meta a développé des pipelines de filtrage sophistiqués. Il s'agit notamment de filtres heuristiques, de filtres de contenu NSFW, de déduplication sémantique et de classificateurs conçus pour évaluer la qualité du texte. Il est intéressant de noter que Llama 2 a été utilisé pour affiner les données de formation de ces classificateurs de qualité, ce qui s'est avéré déterminant pour alimenter la génération suivante.
Concernant l'intensification de la pré-formation, Meta a innové avec des lois de mise à l'échelle détaillées pour améliorer efficacement la formation des modèles. Ces lois guident la combinaison d'utilisation des données et du calcul, optimisant les performances sur divers critères tels que la génération de code. Étonnamment, les modèles paramétriques 8B et 70B ont présenté des améliorations continues des performances au-delà des plafonds de formation traditionnels, démontrant le potentiel des scénarios de formation de données massives.
Lama 3 et toi
L'avenir de l'écosystème Llama semble également prometteur, avec des projets visant à étendre les capacités du modèle et à le rendre encore plus accessible aux développeurs. Cela signifie que nous pouvons nous attendre à voir des applications encore plus innovantes de Llama 3 dans les mois et les années à venir.
Pour une application pratique de formation, Meta a exploité une combinaison de trois stratégies de parallélisation (données, modèle et pipeline) afin d'effectuer un entraînement à une échelle sans précédent grâce à 16 000 GPU . Cette mise à l'échelle a été rendue possible par des clusters de GPU conçus sur mesure et une nouvelle pile d'entraînement garantissant un temps d'entraînement effectif supérieur à 95 % grâce à l'automatisation de la maintenance et à l'optimisation de l'utilisation des GPU.
Meta rapporte que le perfectionnement post-formation grâce au réglage des instructions a été vital. Des techniques telles que le réglage fin supervisé, l'échantillonnage de rejets et l'optimisation des politiques ont affiné les performances du modèle sur des tâches spécifiques et l'ont aidé à apprendre à sélectionner les réponses correctes parmi les possibilités générées. Cette stratégie de formation nuancée a considérablement amélioré les capacités de raisonnement et de codage de Llama 3, établissant ainsi une nouvelle référence pour la formation et l'application de modèles d'IA.
Pensées de clôture
Llama 3 arrive avec de nombreux concurrents, promettant de meilleures performances et utilité. Avec ses capacités impressionnantes et ses nombreuses données de formation, il révolutionnera la façon dont nous interagissons avec les machines. Que vous soyez un développeur cherchant à intégrer Llama dans votre prochain projet ou simplement une personne intéressée par l'avenir de l'IA, Llama 3 mérite d'être surveillé.
Meta AI peut être utilisé sur Facebook, Instagram, WhatsApp, Messenger et sur le Web. La documentation de Meta AI est disponible ici.
Le site web de Llama 3 contient les informations de téléchargement des modèles et propose un guide de démarrage.
Amazon