Meta は、効率性、スケーラビリティ、マルチモーダル パフォーマンスが向上した強力な MoE ベースの AI モデル ファミリである Llama 4 を発表しました。
Meta は、マルチモーダル インテリジェンス機能を強化するモデルのコレクションである最新の AI イノベーション、Llama 4 を発表しました。Llama 4 は、優れた効率性とパフォーマンスを提供する Mixture-of-Experts (MoE) アーキテクチャに基づいています。
MoE モデルとスパース性の理解
専門家混合 (MoE) モデルは、モデル全体がすべての入力を処理する従来の密なモデルとは大きく異なります。MoE モデルでは、各入力に対して「専門家」と呼ばれる全パラメータのサブセットのみがアクティブ化されます。この選択的なアクティブ化は入力の特性に依存し、モデルがリソースを動的に割り当てて効率を高めることを可能にします。
スパース性は MoE モデルの重要な概念であり、特定の入力に対する非アクティブなパラメータの比率を示します。MoE モデルは、スパース性を利用することで、パフォーマンスを維持または向上させながら計算コストを大幅に削減できます。
ラマ 4 ファミリーのご紹介: スカウト、マーベリック、ベヒーモス
Llama 4 スイートは、Llama 4 Scout、Llama 4 Maverick、Llama 4 Behemoth の XNUMX つのモデルで構成されています。各モデルは、さまざまなユースケースと要件に対応するように設計されています。
- Llama 4 Scout は、17 のエキスパートにわたって 109 億のアクティブ パラメータと 16 億の合計パラメータを持つコンパクトなモデルです。効率性を重視して最適化されており、単一の NVIDIA H100 GPU (FP4 量子化) で実行できます。Scout は 10 万トークンのコンテキスト ウィンドウを誇り、長いコンテキストの理解を必要とするアプリケーションに最適です。
- Llama 4 Maverick は、同じ 17 億のアクティブ パラメータを持つより堅牢なモデルですが、128 人のエキスパートがいて、パラメータの合計は 400 億です。Maverick は、マルチモーダル理解、多言語タスク、コーディングに優れており、GPT-4o や Gemini 2.0 Flash などの競合製品よりも優れています。
- Llama 4 Behemoth はスイート内で最大のモデルで、288 億のアクティブ パラメーターと、2 の専門家にわたる合計パラメーターが約 16 兆個あります。Behemoth はまだトレーニング中ですが、すでにさまざまなベンチマークで最先端のパフォーマンスを発揮し、GPT-4.5 や Claude Sonnet 3.7 などのモデルを上回っています。
Llama 4 モデルの評価に使用されるベンチマークは、言語理解 (MMLU – Massive Multitask Language Understanding、GPQA – Google 認定の質問回答)、数学的問題解決 (MATH – Mathematical Problem-Solving、MathVista – 視覚的コンテキストにおける数学的問題解決のベンチマーク)、マルチモーダル理解 (MMMU – Massive Multimodal Multitask Understanding) など、さまざまなタスクをカバーしています。これらの標準ベンチマークは、モデルの機能を包括的に評価し、モデルが優れている領域やさらに改善が必要な領域を特定するのに役立ちます。
ラマ4における教師モデルの役割
教師モデルは、事前トレーニング済みの大規模なモデルで、小規模なモデルをガイドし、蒸留を通じて知識と機能を小規模なモデルに転送します。Llama 4 の場合、Behemoth が教師モデルとして機能し、その知識を Scout と Maverick の両方に蒸留します。蒸留プロセスでは、小規模なモデルをトレーニングして教師モデルの動作を模倣し、教師モデルの長所と短所を学習できるようにします。このアプローチにより、小規模なモデルは、より効率的でスケーラブルでありながら、優れたパフォーマンスを実現できます。
影響と将来の方向性
Llama 4 のリリースは、AI 分野における重要なマイルストーンであり、研究、開発、アプリケーションに広範囲にわたる影響を及ぼします。歴史的に、Llama モデルは下流の研究の触媒となり、さまざまな研究やイノベーションを刺激してきました。Llama 4 のリリースではこの傾向が継続され、研究者がモデルを構築して微調整し、複雑なタスクや課題に取り組むことができるようになると予想されます。
多くのモデルが Llama モデル上に微調整され構築されており、Llama アーキテクチャの汎用性と可能性を示しています。研究者や開発者がモデルを活用して新しい革新的なアプリケーションを作成するため、Llama 4 リリースはこの傾向を加速させる可能性があります。これは、Llama 4 が強力なモデル リリースであり、幅広い研究開発活動を可能にするため重要です。
注目すべきは、Llama 4 モデルは、以前のモデルと同様に、思考しないということです。したがって、今後の Llama 4 シリーズのリリースでは、推論のための事後トレーニングが行われ、パフォーマンスがさらに向上する可能性があります。
StorageReview と連携する
ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード
