DeepSeek-R1 がハードウェアの限界を克服し、AI のブレークスルーを実現した方法

人工知能の世界で、新たなプレイヤーがコミュニティを席巻しています。オープンソースの推論モデルである DeepSeek-R1 は、その画期的なパフォーマンスで注目を集めています。このモデルは、OpenAI の主力モデルである O1 ラインに匹敵する機能を持ちながら、コスト効率が大幅に優れている強力な競合モデルとして登場しました。さらに印象的なのは、DeepSeek チームが、はるかに少ない制限されたリソースで、厳格な GPU 輸出規制を遵守してこの偉業を達成したことです。しかし、DeepSeek とは一体何であり、この開発が AI 研究における画期的な前進であるのはなぜでしょうか。

DeepSeek とは誰ですか? 推論モデルとは何ですか?

DeepSeek は中国を拠点とする野心的な AI 研究機関で、人工知能に対する革新的でアクセスしやすいアプローチで急速に認知度を高めています。オープンソース開発に重点を置くことで、同社は AI コミュニティの主要プレーヤーとしての地位を確立し、より幅広いユーザーが利用できる高性能モデルを開発しています。同社の最新作である DeepSeek-R1 は「推論モデル」であり、基本的なパターン認識を超えた論理的推論、問題解決、複雑な関係の理解に優れているように設計された AI モデルの一種です。

DeepSeek-R1 のような推論モデルは、段階的な思考プロセスをシミュレートする点で、従来の大規模言語モデル (LLM) とは異なります。R1 は、データのパターンに基づいて単純に答えを生成するのではなく、複雑な問題をより小さな論理的なステップに分解してから解決策に到達します。このアプローチでは推論に若干時間がかかる場合がありますが、数学的推論、プログラミング支援、意思決定など、深い理解を必要とするタスクでモデルのパフォーマンスが大幅に向上します。

DeepSeek-R1 がゲームチェンジャーである理由

DeepSeek-R1 が本当に際立っているのは、オープンソースであることです。主要な AI モデルが障壁に閉じ込められていることが多い業界において、DeepSeek はモデルと、その正確な方法論を概説した詳細な研究論文を公開しました。この大胆な動きは、OpenAI のような組織の典型的な閉鎖的な性質からの大きな脱却です。

このオープンな姿勢は、AIコミュニティにおける実験の波を引き起こしました。世界中の開発者や研究者がDeepSeek-R1をホストし、その機能を検証・評価しています。特に注目すべきは、論文で概説された戦略を再現しようとする取り組みです。例えば、HuggingfaceのGitHub上のOpen-R1プロジェクトは、トレーニングコードを含むDeepSeek-R1の完全なオープンな再現版であり、現在開発中です。こうした取り組みは、R1のアクセシビリティとコラボレーションの可能性をさらに高め、より幅広い層がそのイノベーションに触れ、発展させていくことを可能にしています。

DeepSeek-R1のリリースは、AIコミュニティだけでなく、それ以外の分野にも大きな影響を与えています。DeepSeekは、モデルと研究成果をオープンに公開することで、AIイノベーションへの障壁を低くしました。独立系研究者、スタートアップ企業、趣味でAIに取り組む人々は、通常であれば莫大な資金と計算リソースを必要とする最先端の推論モデルにアクセスできるようになりました。このリリースのオープンソース性は、すでにコミュニティ内で創造的な実験を促しています。開発者たちは、DeepSeek-R1の推論機能を他のモデルと組み合わせて、モデルのパフォーマンスを向上させる実験を行っています。注目すべき例の1つは、コーディング性能の高さで知られるAnthropicのClaude Sonnet 3.5との統合です。DeepSeekのR1の推論機能と組み合わせることで、 Aidar Benchなどのベンチマークで大幅に高いスコアを獲得することができました。

Nvidia H800 と H100 との主な違いを理解する

一見すると、Nvidia H800 は H100 のわずかにスケールダウンしたバージョンのように見えますが、最も顕著な違いは FP64 コンピューティング パフォーマンスにあります。H100 は 34 TFLOP の FP64 パフォーマンスを誇りますが、H1 はわずか 800 TFLOP です。ただし、この違いはほとんどの AI ワークロードにとって大きな問題ではありません。最新の AI モデルは通常、速度と効率が最適化された BF16 や FP16 などの低精度形式を使用してトレーニングされます。FP64 精度は主に、倍精度計算が不可欠なレガシー ツールや科学計算アプリケーションとの互換性を維持するために GPU に組み込まれています。AI トレーニングでは、FP64 パフォーマンスがボトルネックになることはほとんどありません。

H800 の本当の課題は、その相互接続速度です。NVLink 4.0 相互接続帯域幅は 400GB/秒で、H900 が提供する 100GB/秒の半分以下です。帯域幅が 50% 以上減少することは、数千の GPU が相互接続されて大規模なトレーニングが行われるマルチ GPU セットアップに大きな影響を与えます。

相互接続速度が重要な理由: トレーニングへの影響

大規模な AI トレーニングでは、GPU がさまざまな並列処理技術を使用して連携することがよくあります。一般的な並列処理技術としては、データ並列処理、モデル並列処理、パイプライン並列処理、テンソル並列処理などがあります。大規模なテンソルを複数の GPU に分割して計算するテンソル並列処理は、相互接続帯域幅に特に敏感です。 

しかし、テンソルとは一体何でしょうか? 簡単に言えば、テンソルは AI モデルで入力、重み、中間計算を表すために使用される基本的なデータ構造です。

大規模な AI モデルをトレーニングする場合、これらのテンソルが非常に大きくなり、単一の GPU のメモリに収まらなくなることがあります。これを処理するために、テンソルは複数の GPU に分割され、各 GPU がテンソルの一部を処理します。この分割により、モデルを複数の GPU に拡張できるようになり、通常よりもはるかに大きなモデルのトレーニングが可能になります。

ただし、テンソルを分割するには、計算を同期して結果を共有するために GPU 間で頻繁に通信する必要があります。ここで、相互接続速度が重要になります。H800 の NVLink 帯域幅が減少すると、この段階で GPU 間の通信が遅くなり、レイテンシが増加して全体的なトレーニング効率が低下します。

このボトルネックは、数十億のパラメータを持つ大規模モデルが関係するシナリオではさらに顕著になります。このようなシナリオでは、テンソル計算を同期するために GPU 間の頻繁な通信が必要になります。テンソルの並列処理は、低速な相互接続に最も影響を受けますが、影響を受けるのはそれだけではありません。

H800 での AI トレーニングのスケーリングは、相互接続速度が遅いためにますます困難になり、効率的なマルチ GPU 通信に大きく依存するワークロードには理想的ではありません。

DeepSeek モデルのトレーニング

H800 GPU でのトレーニングのスケーリングの難しさを考えると、当然ながら次の疑問が生じます。DeepSeek はどのようにして R1 のような最先端 (SOTA) AI モデルをトレーニングしたのでしょうか? DeepSeek-R1 は、671B パラメータ モデルである DeepSeek-v3 をベースに構築されています。このベースとなる DeepSeek-v3 モデルは、モデルに推論動作を誘発するために、さらに強化学習 (RL) トレーニングを受けました。

重要な点として、以下で述べる数値と手法は、DeepSeek-v3の研究論文に基づいています。DeepSeek-R1では追加の学習リソースが必要でしたが、その詳細は不明です。しかし、DeepSeek-v3は最先端のモデルであり、DeepSeek-v3論文で言及されている多くの手法がR1の学習にも引き継がれたと考えられます。

さらに、数値は最終的に成功したトレーニング実行についてのみ報告されています。アーキテクチャ、アルゴリズム、またはデータに関する実験は考慮されていません。しかし、それを考慮しても、DeepSeek の自己報告によると、Meta の Llama よりも大幅に少ないリソースでこの偉業を達成しました。

さて、その点を明確にしたところで、DeepSeek はどのようにしてこのような素晴らしいモデルをトレーニングしたのでしょうか?この記事の範囲を超えるため、詳細に深く立ち入ることはできませんが、DeepSeek v3 のトレーニングに使用された技術は、大きく 2 つのカテゴリに分類できます。1 つは、トレーニングに低精度の FP8 を活用すること、もう 1 つは、コストのかかる演算を最小限に抑えるために GPU 間の通信を最適化することです。大規模な FP8 混合精度トレーニングの採用は、重みのサイズを縮小し、計算スループット (TFLOPS) を向上させ、より高速で効率的なトレーニングを可能にした最初の事例でした。一方、テンソル並列処理の必要性を最小限に抑え、ノード間の通信を改善するなどの通信最適化は、H800 GPU の限られた相互接続帯域幅によって生じる課題に対処しました。

歴史的に、FP8 はトレーニングに広く使用されていません。これは、バックプロパゲーション中にモデルの重みを更新するために重要な勾配が、このような低精度の形式で表現されると収束に失敗することが多いためです。FP8 のダイナミック レンジと精度が限られているため、小さな重みの更新を正確にキャプチャすることが難しく、トレーニングが不安定になります。DeepSeek-v3 は、タイル単位やブロック単位のスケーリングなどのいくつかのきめ細かい量子化手法を導入することでこの課題を克服しました。これにより、モデルはアクティベーションと重みを適応的にスケーリングして、外れ値をより適切に処理できるようになりました。これと、中間の高精度 FP32 プロモーションによる累積精度の向上が組み合わされ、FP8 を使用したトレーニングが可能になりました。

通信面では、計算と通信をオーバーラップしてパイプライン バブルを大幅に削減する「DualPipe アルゴリズム」が開発されました。パイプライン バブルとは何でしょうか? パイプライン並列処理では、トレーニングはステージに分割され、GPU 全体に分散されます。この戦略を使用すると、一部の GPU がパイプラインの前のステージまたは後続のステージからのデータの準備ができるまで待機しているときにアイドル時間が発生し、トレーニング クラスターの MFU が削減されます。DualPipe は、計算と通信をオーバーラップし、レイテンシを隠し、GPU をビジー状態に維持することで、これらの非効率性を最小限に抑えます。DualPipe とともに、NVLink と InfiniBand の帯域幅を最大限に活用してノード間で効率的なスケーリングを保証するカスタム クロスノード オールツーオール通信カーネルも実装されました。

これらの革新は、ハードウェアの制限を克服し、DeepSeek モデルの効率的なトレーニングを可能にするために細心の注意を払って設計されました。

これは他の AI ラボや AI コミュニティ全体にとって何を意味するのでしょうか?

DeepSeek-R1 のリリースは、AI コミュニティ内で大きな議論と反省を巻き起こしました。リリースのタイミングと方法について非難する人もいますが、AI モデル開発のより広い文脈を認識することが重要です。SOTA モデルのトレーニングは時間のかかるプロセスであり、現在見られるモデルは、2023 年後半または 2024 年初頭にトレーニング サイクルを開始した可能性があります。

また、AI モデル開発における進化するパラダイムも無視すべきではありません。歴史的には、他のモデルからの高品質の合成データが不足していたことと、事前トレーニングをスケーリングすることでパフォーマンスが大幅に向上したため、大規模なデータセットでの事前トレーニングが不可欠でした。そのため、初期のモデルは、スクレイピングされたデータと事前トレーニングのスケーリングに大きく依存して機能を実現していました。ただし、DeepSeek-R1 を含む現在の世代のモデルは、トレーニングのさまざまな段階で合成データから大きな恩恵を受けています。OpenAI の o1 ファミリのモデルも、以前の GPT 4o モデルに基づいている可能性があり、1.8 兆の大規模なパラメータ GPT 4 モデルから、より効率的な Turbo モデルに進化し、最終的には、現在使用されているはるかに小さな 4o モデルに進化している可能性があります。

また、DeepSeek-R1 は始まりに過ぎないことも注目に値します。Anthropic、Meta、Mistral、Cohere などの他の組織も、ほぼ間違いなく同様の推論モデルに取り組んでいます。R1 のリリースは、推論、問題解決、タスク固有のパフォーマンスの限界を押し広げ続ける AI モデルの新しい波の始まりを示しています。GPU パワーの利用可能性が高まることでこの傾向はさらに加速し、ラボは微調整や強化学習 (RL) 用の合成データをさらに生成できるようになります。これにより、モデルはコード生成や論理的推論などの複雑なタスクで優れたパフォーマンスを発揮できるようになります。

DeepSeek のオープンソース イニシアチブは、AI コミュニティに大きな影響を与えるでしょう。モデルと方法論を公開したことで、オープンソース コミュニティ内でのイノベーションが促進され、他の研究室が同様のアプローチを採用するきっかけとなりました。DeepSeek がオープンソース コラボレーションの価値を認識したのは、Meta、Alibaba の Qwen チームなどの組織が築いた先例に基づいています。これらの以前の貢献がなければ、AI コミュニティはおそらく今日よりもずっと遅れていたでしょう。

結論