Meta AI trouxe uma terceira Lhama para a mesa.
Meta AI tem desenvolveu e anunciou Llama 3, um grande modelo de linguagem que está agitando a inteligência artificial com seus lançamentos anteriores. Esta última adição à família Llama possui recursos impressionantes, incluindo geração de texto coerente e fluente, resposta a perguntas e conversação.
Lhama 3 – Apenas mais uma revisão?
O que diferencia o Llama 3 de seus antecessores? De acordo com o ser humano avaliação resultados, o modelo atinge uma taxa de vitória de 59.3% contra Mistral Medium e 63.7% contra GPT-3.5. Esses números impressionantes indicam que o Llama 3 pode gerar texto comparável em qualidade ao texto gerado por humanos.
O conjunto de dados de treinamento do Llama 3 consiste em mais de 15T tokens coletados de fontes disponíveis publicamente, tornando-o sete vezes maior do que o conjunto de dados de treinamento usado para o Llama 2. Esses extensos dados de treinamento permitem que o modelo gere texto diversificado e preciso.
Este conjunto de dados de 15 trilhões de tokens é significativamente maior que seu antecessor, contendo sete vezes os dados do Llama 2 e incluindo uma ampla gama de códigos – quadruplicando a quantidade usada anteriormente. Notavelmente, mais de 5% dos dados são conteúdos de alta qualidade que não o inglês, abrangendo mais de 30 idiomas, embora se reconheça que o desempenho nestas línguas pode não atingir os níveis observados no inglês.
Garantindo a qualidade dos dados, a Meta desenvolveu sofisticados pipelines de filtragem. Isso inclui filtros heurísticos, filtros de conteúdo NSFW, desduplicação semântica e classificadores projetados para avaliar a qualidade do texto. Curiosamente, o Llama 2 foi utilizado para refinar os dados de treinamento para esses classificadores de qualidade, provando ser fundamental para alimentar a geração subsequente.
Em relação à ampliação do pré-treinamento, a Meta inovou com leis de escalonamento detalhadas para aprimorar o treinamento do modelo de forma eficaz. Essas leis orientam a combinação de dados e uso de computação, otimizando o desempenho em vários benchmarks, como geração de código. Surpreendentemente, os modelos de parâmetros 8B e 70B exibiram melhorias contínuas de desempenho além dos limites de treinamento tradicionais, demonstrando potencial em cenários de treinamento com dados massivos.
Lhama 3 e você
O futuro do ecossistema Llama também parece promissor, com planos para expandir as capacidades do modelo e torná-lo ainda mais acessível aos desenvolvedores. Isso significa que podemos esperar ver aplicações ainda mais inovadoras do Llama 3 nos próximos meses e anos.
Para uma aplicação de treinamento prático, a Meta aproveitou uma série de estratégias de paralelização – dados, modelo e paralelização de pipeline – para treinar em um escala sem precedentes usando GPUs de 16K. Essa escala foi facilitada por clusters de GPU personalizados e uma nova pilha de treinamento que garante mais de 95% de tempo de treinamento efetivo, automatizando a manutenção e otimizando o uso da GPU.
Meta relata que o refinamento pós-treinamento por meio do ajuste de instruções tem sido vital. Técnicas como ajuste fino supervisionado, amostragem de rejeição e otimizações de políticas refinaram o desempenho do modelo em tarefas específicas e ajudaram-no a aprender a selecionar as respostas corretas a partir das possibilidades geradas. Esta estratégia de treinamento diferenciada melhorou significativamente as capacidades de raciocínio e codificação do Llama 3, estabelecendo uma nova referência para treinamento e aplicação de modelos de IA.
Fechando pensamentos
O Llama 3 chega com muitos concorrentes, prometendo melhor desempenho e utilidade. Com suas capacidades impressionantes e extensos dados de treinamento, ele revolucionará a forma como interagimos com as máquinas. Quer você seja um desenvolvedor que deseja integrar o Llama em seu próximo projeto ou simplesmente alguém interessado no futuro da IA, vale a pena ficar de olho no Llama 3.
Meta AI pode ser usado no Facebook, Instagram, WhatsApp, Messenger e a teia. Meta AI fornece documentação para Meta AI aqui.
A Site da Lhama 3 contém as informações de download dos modelos e fornece um Guia de Introdução.
Envolva-se com a StorageReview
Newsletter | YouTube | Podcast iTunes/Spotify | Instagram | Twitter | TikTok | RSS feed
