Meta AI는 세 번째 라마를 테이블에 가져왔습니다.
메타AI는 Llama 3 개발 및 발표, 이전 릴리스를 통해 인공 지능에 파장을 일으키고 있는 대규모 언어 모델입니다. Llama 제품군에 새로 추가된 이 제품은 일관되고 유창한 텍스트 생성, 질문에 답변, 대화 참여 등 인상적인 기능을 자랑합니다.
라마 3 - 또 다른 개정판인가요?
Llama 3가 전작과 다른 점은 무엇인가요? 인간에 따르면 평가 결과적으로 이 모델은 Mistral Medium에 대해 59.3%, GPT-63.7에 대해 3.5%의 승률을 달성했습니다. 이러한 인상적인 수치는 Llama 3가 인간이 생성한 텍스트와 품질이 비슷한 텍스트를 생성할 수 있음을 나타냅니다.
Llama 3의 훈련 데이터세트는 공개 소스에서 수집한 15T개 이상의 토큰으로 구성되어 있어 Llama 2에 사용된 훈련 데이터세트보다 XNUMX배 더 큽니다. 이 광범위한 훈련 데이터를 통해 모델은 다양하고 정확한 텍스트를 생성할 수 있습니다.
이 15조 토큰 데이터 세트는 Llama 2 데이터의 5배와 이전에 사용된 양의 30배에 달하는 광범위한 코드를 포함하여 이전 버전보다 훨씬 더 큽니다. 특히, 데이터의 XNUMX% 이상이 XNUMX개 이상의 언어에 걸쳐 있는 고품질 비영어 콘텐츠입니다. 하지만 이러한 언어의 성능은 영어에서 볼 수 있는 수준에 도달하지 못할 수 있다는 점은 인정됩니다.
데이터 품질을 보장하기 위해 Meta는 정교한 필터링 파이프라인을 개발했습니다. 여기에는 경험적 필터, NSFW 콘텐츠 필터, 의미 중복 제거 및 텍스트 품질을 평가하도록 설계된 분류자가 포함됩니다. 흥미롭게도 Llama 2는 이러한 품질 분류기에 대한 훈련 데이터를 개선하는 데 활용되어 후속 세대를 지원하는 데 중요한 역할을 했습니다.
사전 훈련 확장과 관련하여 Meta는 모델 훈련을 효과적으로 향상시키기 위해 세부적인 확장 법칙을 혁신했습니다. 이러한 법칙은 데이터와 컴퓨팅 사용량의 혼합을 안내하여 코드 생성과 같은 다양한 벤치마크에서 성능을 최적화합니다. 놀랍게도 8B 및 70B 매개변수 모델은 기존 훈련 한도를 뛰어넘는 지속적인 성능 향상을 보여 대규모 데이터 훈련 시나리오에서 잠재력을 보여주었습니다.
라마 3과 당신
모델의 기능을 확장하고 개발자가 더욱 쉽게 접근할 수 있도록 할 계획을 통해 Llama 생태계의 미래도 유망해 보입니다. 이는 앞으로 몇 달, 몇 년 안에 Llama 3의 훨씬 더 혁신적인 응용 프로그램을 볼 수 있을 것으로 기대할 수 있음을 의미합니다.
실용적인 교육 애플리케이션을 위해 Meta는 데이터, 모델 및 파이프라인 병렬화라는 세 가지 병렬화 전략을 활용하여 16K GPU를 사용한 전례 없는 확장성. 이러한 확장은 유지 관리를 자동화하고 GPU 사용을 최적화하여 95% 이상의 효과적인 훈련 시간을 보장하는 맞춤형 GPU 클러스터와 새로운 훈련 스택을 통해 촉진되었습니다.
Meta는 교육 후 교육 조정을 통한 개선이 중요하다고 보고합니다. 감독된 미세 조정, 거부 샘플링, 정책 최적화와 같은 기술은 특정 작업에 대한 모델 성능을 개선했으며 생성된 가능성에서 정답을 선택하는 방법을 학습하는 데 도움이 되었습니다. 이 미묘한 훈련 전략은 Llama 3의 추론 및 코딩 기능을 크게 향상시켜 AI 모델 훈련 및 적용에 대한 새로운 벤치마크를 설정했습니다.
닫는 생각
Llama 3는 더 나은 성능과 유용성을 약속하는 많은 경쟁업체와 함께 출시됩니다. 인상적인 기능과 광범위한 교육 데이터를 통해 우리가 기계와 상호 작용하는 방식에 혁명을 일으킬 것입니다. Llama를 다음 프로젝트에 통합하려는 개발자이거나 단순히 AI의 미래에 관심이 있는 사람이라면 Llama 3를 주목할 가치가 있습니다.
Meta AI는 Facebook, Instagram, WhatsApp, Messenger, 인터넷. Meta AI는 Meta AI에 대한 문서를 제공합니다. LINK.
The 라마 3 웹사이트 모델에 대한 다운로드 정보를 가지고 있으며, 시작하기 가이드.
StorageReview에 참여
뉴스레터 | 유튜브 | 팟캐스트 iTunes/스포티 파이 | 인스타그램 | 트위터 | 틱톡 서비스 | RSS 피드
