Intel Vision が Gaudi 3 に命を吹き込む

Intel のビジョンの中核には重要な予測があります。GenAI への企業投資は 40 年の 2024 億ドルから 151 年までに 2027 億ドルという驚異的な XNUMX 倍に増加する見込みです。しかし、この楽観的な見方の中でも、企業導入への道には障害が散在しています。

インテルは、セキュリティや統合の複雑さからコストの問題まで、AI の最も重要なハードルに対処する、スケーラブルで安全なエンドツーエンドの GenAI ソリューションを提供することで、これらの課題に対処することに断固として取り組んでいます。インテルは、変革を実現することに確固たる焦点を当て、包括的なエンタープライズ AI 戦略を策定しており、AI PC、エッジ コンピューティング、データセンターに及ぶ製品ライン全体にわたってオープン エコシステム ベースのアプローチを採用しています。

話題を盗む: Intel Gaudi 3 アクセラレータ

インテルのビジョンの最前線にあるのは、前任者であるインテル Gaudi 3 AI アクセラレーターの確立されたパフォーマンスと効率の恩恵を受けて、インテル Gaudi 2 AI アクセラレーターの発表です。オープン コミュニティ ベースのソフトウェアと業界標準のイーサネット ネットワーキングの柔軟性を顧客に提供する Gaudi 3 は、システムの拡張性において大幅な進歩をもたらします。

GenAI のパフォーマンスと効率性を考慮して設計された Gaudi 3 は、前世代に比べて大幅な機能強化を実現しています。 BF4 では 16 倍の AI コンピューティング、1.5 倍のメモリ増加、2 倍のネットワーク帯域幅を備えており、大規模言語モデル (LLM) およびマルチモーダル モデルでの AI トレーニングと推論において比類のない生産性を約束します。

Intel の執行副社長兼データセンターおよび AI グループのゼネラルマネージャーである Justin Hotard 氏は、AI 市場の進化する状況に対処する上での Gaudi 3 の重要性を強調しています。同氏は、企業の間で選択肢の増加に対する需要が高まっていることを強調し、Gaudi 3 の価格パフォーマンス、拡張性、価値実現までの時間の利点を魅力的に組み合わせていることを強調しました。

金融、製造、ヘルスケアなどの重要なセクターでは、企業は AI へのアクセシビリティを急速に拡大しており、生成 AI (GenAI) プロジェクトの実験的実装から本格的な実装に移行しています。インテルは、Gaudi 3 アクセラレータがこれらの要件を満たす上で極めて重要であると考えており、オープン コミュニティ ベースのソフトウェアと標準イーサネット ネットワーキングを通じて汎用性を提供し、AI システムとアプリケーションを柔軟に拡張できます。

Gaudi 3 のカスタム アーキテクチャは、効率的な大規模 AI コンピューティング向けに調整されており、5 ナノメートル (nm) プロセスで製造され、次の主要な機能を備えています。

• AI 専用のコンピューティング エンジン: 64 個の AI カスタムおよびプログラム可能な Tensor プロセッサ コア (TPC) と 3 個の行列乗算エンジン (MME) で構成されるヘテロジニアス コンピューティング エンジンを備えた Gaudi XNUMX は、ディープ ラーニング アルゴリズムの基礎となる複雑な行列演算の処理に優れています。
• LLM 容量要件に合わせたメモリの強化: 十分なメモリ容量、帯域幅、オンボードのスタティック ランダム アクセス メモリ (SRAM) を備えた Gaudi 3 は、大規模な GenAI データセットを効率的に処理し、ワークロードのパフォーマンスとデータセンターのコスト効率を向上させます。
• Enterprise GenAI 向けの効率的なシステム スケーリング: 200 個の 3 ギガビット イーサネット ポートと統合された Gaudi XNUMX は、柔軟でオープンスタンダードなネットワーキングを可能にし、ベンダー ロックインを排除しながら大規模なコンピューティング クラスターをサポートするための効率的なスケーリングを促進します。
• 開発者の生産性を高めるオープン インダストリー ソフトウェア: Gaudi ソフトウェアは PyTorch フレームワークを統合し、最適化された Hugging Face コミュニティ ベースのモデルを提供し、開発者の生産性を向上させ、ハードウェア タイプ間でのモデルの移植を容易にします。
• Gaudi 3 PCIe: 製品ラインに新しいフォーム ファクターを導入した Gaudi 3 PCIe アドイン カードは、高効率と低消費電力を実現し、微調整、推論、検索拡張生成 (RAG) などのワークロードに最適です。

Gaudi 3 アクセラレータは、主要な GenAI モデルでのトレーニングおよび推論タスクのパフォーマンスを大幅に向上させることが期待されており、AI とハイ パフォーマンス コンピューティング (HPC) に革命をもたらす準備が整っています。これは、Intel Gaudi と Intel Xe の知的財産を、Intel oneAPI 仕様に基づいた単一の GPU プログラミング インターフェイスと統合する、Intel の次世代 GPU である Falcon Shores において重要な役割を果たします。

Intel Gaudi 3 vs NVIDIA

オープニングセッションでは、Intel CEO の Pat Gelsinger が中央ステージに立ち、Intel Gaudi 3 AI アクセラレータを紹介しました。 Gaudi 3 は、Llama50 100B および 2B および GPT-7 13B パラメータ全体で、NVIDIA H3 と比較してトレーニング時間が 175% 高速になることが期待されています。さらに、Gaudi 3 アクセラレータは、NVIDIA H50 と比較して、Llama 40B および 7B パラメータと Falcone 70B パラメータ モデル全体で、推論スループットが 180% 向上し、推論電力効率が 200% 向上しました。さらに、Gaudi 3 は、Llama 30B および 200B パラメータ、および Falcon 7B パラメータ モデルにおいて、NVIDIA H70 よりも 180% 高速な推論を実証しました。

優れたパフォーマンス指標を備えた Gaudi 3 は、業界の代替製品と比較して、驚くべき 50% 優れた推論スループットと 60% 優れた電力効率を誇ります。

Dell Technologies、Supermicro、Lenovo、HPE などのトップ OEM によってサポートされ、PCIe カードのサポートなどの機能が強化された Gaudi 3 は、AI 分野で大きな可能性を秘めた GPU として登場します。

インテル Xeon 6 プロセッサー

Intel Gaudi 3 アクセラレータに加えて、Intel は、新しい Intel Xeon 6 プロセッサを使用して、エンタープライズ AI のすべてのセグメントにわたる次世代製品とサービスのアップデートを提供しました。

Intel Xeon 6 プロセッサは、独自のデータを使用してビジネス固有の結果を生み出す、RAG を含む現在の GenAI ソリューションを実行するためのパフォーマンス効率の高いソリューションを提供します。 Intel は、データセンター、クラウド、エッジ向けの次世代プロセッサーの新しいブランドを発表しました。新しい Efficient コア (E コア) を搭載した Intel Xeon 6 プロセッサーは、効率性を実現します。同時に、パフォーマンス コア (P コア) を搭載した Intel Xeon 6 は AI パフォーマンスの向上を提供し、E コア プロセッサーのすぐ後に発売されます。

E コアを搭載したインテル Xeon 6 プロセッサー (以前のコード名は Sierra Forest) は、第 2.4 世代インテル Xeon プロセッサーと比較して、ワットあたりのパフォーマンスが 2.7 倍向上し、ラック密度が 2 倍向上すると予想されています。 P コアを搭載した Intel Xeon 6 プロセッサ (旧コード名 Granite Rapids) には、MXFP4 データ形式のソフトウェア サポートが組み込まれており、FP6.5 を使用することで後続のトークン レイテンシが第 4 世代 Xeon と比べて最大 16 倍削減され、70 億パラメータの Llama2 を実行できます。モデル。