Meta AI는 이전 버전에서 인공지능 분야에 큰 반향을 일으켰던 대규모 언어 모델인 Llama 3를 개발 및 발표했습니다 . Llama 제품군의 최신 버전인 Llama 3는 일관성 있고 유창한 텍스트 생성, 질문에 대한 답변, 대화 참여 등 인상적인 기능을 자랑합니다.
라마 3 - 또 다른 개정판인가요?
Llama 3가 이전 버전들과 차별화되는 점은 무엇일까요? 실제 사용자의 평가 결과 에 따르면 , Llama 3는 Mistral Medium 대비 59.3%, GPT-3.5 대비 63.7%의 승률을 기록했습니다. 이러한 인상적인 수치는 Llama 3가 사람이 작성한 텍스트와 거의 동일한 품질의 텍스트를 생성할 수 있음을 보여줍니다.
Llama 3의 훈련 데이터세트는 공개 소스에서 수집한 15T개 이상의 토큰으로 구성되어 있어 Llama 2에 사용된 훈련 데이터세트보다 XNUMX배 더 큽니다. 이 광범위한 훈련 데이터를 통해 모델은 다양하고 정확한 텍스트를 생성할 수 있습니다.
이 15조 토큰 데이터 세트는 Llama 2 데이터의 5배와 이전에 사용된 양의 30배에 달하는 광범위한 코드를 포함하여 이전 버전보다 훨씬 더 큽니다. 특히, 데이터의 XNUMX% 이상이 XNUMX개 이상의 언어에 걸쳐 있는 고품질 비영어 콘텐츠입니다. 하지만 이러한 언어의 성능은 영어에서 볼 수 있는 수준에 도달하지 못할 수 있다는 점은 인정됩니다.
데이터 품질을 보장하기 위해 Meta는 정교한 필터링 파이프라인을 개발했습니다. 여기에는 경험적 필터, NSFW 콘텐츠 필터, 의미 중복 제거 및 텍스트 품질을 평가하도록 설계된 분류자가 포함됩니다. 흥미롭게도 Llama 2는 이러한 품질 분류기에 대한 훈련 데이터를 개선하는 데 활용되어 후속 세대를 지원하는 데 중요한 역할을 했습니다.
사전 훈련 확장과 관련하여 Meta는 모델 훈련을 효과적으로 향상시키기 위해 세부적인 확장 법칙을 혁신했습니다. 이러한 법칙은 데이터와 컴퓨팅 사용량의 혼합을 안내하여 코드 생성과 같은 다양한 벤치마크에서 성능을 최적화합니다. 놀랍게도 8B 및 70B 매개변수 모델은 기존 훈련 한도를 뛰어넘는 지속적인 성능 향상을 보여 대규모 데이터 훈련 시나리오에서 잠재력을 보여주었습니다.
라마 3과 당신
모델의 기능을 확장하고 개발자가 더욱 쉽게 접근할 수 있도록 할 계획을 통해 Llama 생태계의 미래도 유망해 보입니다. 이는 앞으로 몇 달, 몇 년 안에 Llama 3의 훨씬 더 혁신적인 응용 프로그램을 볼 수 있을 것으로 기대할 수 있음을 의미합니다.
실제 학습 애플리케이션을 위해 Meta는 데이터, 모델 및 파이프라인 병렬화라는 세 가지 병렬화 전략을 활용하여 16개의 GPU를 사용하여 전례 없는 규모 의 학습을 수행했습니다 . 이러한 규모 확장은 맞춤형 GPU 클러스터와 새로운 학습 스택 덕분에 가능했으며, 자동화된 유지 관리와 GPU 사용 최적화를 통해 95% 이상의 효율적인 학습 시간을 보장합니다.
Meta는 교육 후 교육 조정을 통한 개선이 중요하다고 보고합니다. 감독된 미세 조정, 거부 샘플링, 정책 최적화와 같은 기술은 특정 작업에 대한 모델 성능을 개선했으며 생성된 가능성에서 정답을 선택하는 방법을 학습하는 데 도움이 되었습니다. 이 미묘한 훈련 전략은 Llama 3의 추론 및 코딩 기능을 크게 향상시켜 AI 모델 훈련 및 적용에 대한 새로운 벤치마크를 설정했습니다.
닫는 생각
Llama 3는 더 나은 성능과 유용성을 약속하는 많은 경쟁업체와 함께 출시됩니다. 인상적인 기능과 광범위한 교육 데이터를 통해 우리가 기계와 상호 작용하는 방식에 혁명을 일으킬 것입니다. Llama를 다음 프로젝트에 통합하려는 개발자이거나 단순히 AI의 미래에 관심이 있는 사람이라면 Llama 3를 주목할 가치가 있습니다.
Meta AI는 Facebook, Instagram, WhatsApp, Messenger 및 웹 에서 사용할 수 있습니다 . Meta AI에 대한 문서는 여기에서 확인할 수 있습니다.
Llama 3 웹사이트 에는 모델 다운로드 정보와 시작 가이드가 있습니다.
아마존