Meta AI 带来了第三只骆驼。
元人工智能有 开发并发布 Llama 3，一个大型语言模型，以其之前的版本在人工智能领域掀起了波澜。 Llama 家族的最新成员拥有令人印象深刻的功能，包括生成连贯流畅的文本、回答问题和参与对话。
Llama 3 – 只是另一个版本？
《Llama 3》与前作有何不同？根据人类 评估 结果，该模型对 Mistral Medium 的胜率达到 59.3%，对 GPT-63.7 的胜率达到 3.5%。这些令人印象深刻的数字表明 Llama 3 可以生成质量与人类生成的文本相当的文本。
Llama 3 的训练数据集由从公开来源收集的超过 15T 个令牌组成，比 Llama 2 使用的训练数据集大七倍。这种广泛的训练数据使模型能够生成多样化且准确的文本。
这个 15 万亿代币数据集比其前身大得多，包含的数据是 Llama 2 的七倍，并包含广泛的代码，是之前使用量的四倍。值得注意的是，超过 5% 的数据是跨越 30 多种语言的高质量非英语内容，尽管人们承认这些语言的性能可能达不到英语的水平。
为了确保数据的质量，Meta 开发了复杂的过滤管道。其中包括启发式过滤器、NSFW 内容过滤器、语义重复数据删除和旨在评估文本质量的分类器。有趣的是，Llama 2 被用来完善这些质量分类器的训练数据，事实证明在为下一代提供动力方面发挥了重要作用。
在扩展预训练方面，Meta 进行了创新，制定了详细的扩展法则，以有效增强模型训练。这些法则指导数据和计算使用的混合，优化代码生成等各种基准的性能。令人惊讶的是，8B 和 70B 参数模型表现出了超越传统训练上限的持续性能改进，展示了在海量数据训练场景中的潜力。
骆驼 3 和你
Llama 生态系统的未来看起来也充满希望，计划扩展该模型的功能并使开发人员更容易使用它。这意味着我们可以期待在未来的几个月和几年里看到 Llama 3 的更多创新应用。
对于实际的训练应用程序，Meta 利用了并行化策略的三重奏（数据、模型和管道并行化）来训练 使用 16K GPU 实现前所未有的规模。定制的 GPU 集群和新的训练堆栈促进了这一规模，通过自动化维护和优化 GPU 使用，确保超过 95% 的有效训练时间。
Meta 报告称，通过指令调整进行训练后的改进至关重要。监督微调、拒绝采样和策略优化等技术改进了模型在特定任务上的性能，并帮助它学会从生成的可能性中选择正确的答案。这种细致入微的训练策略显着提升了 Llama 3 的推理和编码能力，为 AI 模型训练和应用树立了新标杆。
结束语
Llama 3 与许多竞争对手一起到来，承诺提供更好的性能和实用性。凭借其令人印象深刻的功能和广泛的训练数据，它将彻底改变我们与机器交互的方式。无论您是希望将 Llama 集成到下一个项目中的开发人员，还是只是对 AI 的未来感兴趣的人，Llama 3 都值得关注。
Meta AI 可用于 Facebook、Instagram、WhatsApp、Messenger 和 网络。 Meta AI 提供 Meta AI 的文档 点击这里.
参与 StorageReview
电子报 | YouTube | 播客 iTunes/Spotify | Instagram | Twitter | TikTok | RSS订阅
