NVIDIA GTC 2023 は、新製品、パートナー、イノベーション、ソフトウェアの紹介で始まりました。幅広い発表内容を理解していただくために、基調講演は 78 分間続きました。 XNUMX つの新しいプラットフォームが発表され、それぞれが特定の生成 AI 推論ワークロードと特殊なソフトウェア向けに最適化されました。
このプラットフォームは、NVIDIA の推論ソフトウェアのフルスタックと最新の NVIDIA Ada、Hopper、および Grace Hopper プロセッサを組み合わせています。 NVIDIA L4 Tensor コア GPU と H100 NVL GPU という XNUMX つの新しい GPU が本日発売されました。
NVIDIA L4 for AI Videoは、CPUと比較して120倍のAI駆動型ビデオパフォーマンスを実現し、エネルギー効率も99%向上しています。L4は、ほぼあらゆるワークロードに対応する汎用GPUとして機能し、強化されたビデオデコードおよびトランスコーディング機能、ビデオストリーミング、拡張現実、生成型AIビデオなどを提供します。
NVIDIA Ada Lovelace L4 Tensor コア GPU は、エンタープライズ、クラウド、エッジのビデオ、AI、仮想デスクトップ、グラフィックス アプリケーションにユニバーサルな高速化とエネルギー効率を提供します。 NVIDIA の AI プラットフォームとフルスタックを搭載
このアプローチでは、L4 は、レコメンデーション、音声ベースの AI アバター アシスタント、生成 AI、ビジュアル検索、コンタクト センターの自動化など、幅広い AI アプリケーションの大規模な推論のために最適化されています。
L4 は主流用途向けの最も効率的な NVIDIA アクセラレータであり、L4 を搭載したサーバーは、CPU ソリューションと比べて AI ビデオ パフォーマンスが最大 120 倍、生成 AI パフォーマンスが 2.7 倍向上し、前世代の GPU と比べてグラフィックス パフォーマンスが 4 倍以上向上します。 NVIDIA L4 は多用途でエネルギー効率が高く、シングル スロットの薄型フォーム ファクターであり、大規模な導入やエッジ ロケーションに最適です。
NVIDIA L40 for Image Generationは、グラフィックスとAIを活用した2D、ビデオ、3D画像の生成に最適化されています。L40プラットフォームは、データセンターにおけるメタバースアプリケーションの構築と運用を可能にするプラットフォームであるNVIDIA Omniverseのエンジンとして機能し、前世代と比較してStable Diffusionの推論性能を7倍、Omniverseの性能を12倍向上させています。
NVIDIA L40 GPU は、次世代のグラフィックス、コンピューティング、AI 機能を備えた、データセンター向けの高性能ビジュアル コンピューティングを提供します。 NVIDIA Ada Lovelace アーキテクチャに基づいて構築された L40 は、最新世代の RT、Tensor、CUDA コアのパワーを利用して、要求の厳しいデータセンターのワークロードに視覚化とコンピューティング パフォーマンスを提供します。
L40 は、スループットが向上し、レイトレーシングとシェーディングの同時実行機能を提供します。これにより、レイトレーシングのパフォーマンスが向上し、製品設計、アーキテクチャ、エンジニアリング、および建設のワークフローのレンダリングが高速化されます。 L40 GPU は、構造的スパース性と最適化された TF32 フォーマットに対するハードウェア サポートを提供し、すぐに使用できるパフォーマンス向上を実現し、AI およびデータ サイエンス モデルのトレーニングを高速化します。 DLSS などの高速化された AI 強化グラフィックス機能により、一部のアプリケーションで解像度が向上し、パフォーマンスが向上します。
L40 の大容量 GPU メモリは、3 GB の超高速 GDDR48 メモリを使用して、データ サイエンス、シミュレーション、6D モデリング、レンダリングなどのメモリを大量に使用するアプリケーションやワークロードに取り組みます。 vGPU ソフトウェアを使用してメモリが複数のユーザーに割り当てられ、クリエイティブ、データ サイエンス、デザイン チーム間で大規模なワークロードが分散されます。
NVIDIA L24 は、電力効率の高いハードウェアとコンポーネントを備えた 7 時間 40 日のエンタープライズ データ センター運用向けに設計されており、大規模に展開し、多様なデータ センター ワークロードに対して最大のパフォーマンスを提供できるように最適化されています。 L40 には、追加のセキュリティ層を提供するルート オブ トラスト テクノロジを使用したセキュア ブートが含まれており、データ センター標準を満たす NEBS レベル 3 に準拠しています。
NVIDIA H100 NVLは、大規模言語モデル（ LLM）であるChatGPTなどを大規模に展開するのに最適です。新しいH100 NVLは、Transformer Engineによるアクセラレーションに対応した94GBのメモリを搭載し、データセンター規模において、GPT-3での推論性能を前世代のA100と比較して最大12倍高速化します。
NVLink ブリッジを備えた PCIe ベースの H100 NVL は、Transformer Engine、NVLink、および 188GB HBM3 メモリを利用して、データセンター全体で最適なパフォーマンスとスケーリングを実現します。 H100 NVL は、最大 175 億パラメータの大規模言語モデルをサポートします。 H100 NVL GPU を搭載したサーバーは、GPT-175B モデルのパフォーマンスを NVIDIA DGX A12 システムと比較して最大 100 倍向上させ、同時に電力に制約のあるデータセンター環境でも低遅延を維持します。
NVIDIA Grace Hopper for Recommendation Modelsは、グラフ推薦モデル、ベクトルデータベース、グラフニューラルネットワークに最適です。CPUとGPU間の900GB/sのNVLink-C2C接続により、Grace HopperはPCIe Gen 5よりも7倍高速なデータ転送とクエリを実現します。
NVIDIA Grace Hopper スーパーチップは、大規模な AI およびハイ パフォーマンス コンピューティング (HPC) アプリケーション向けにゼロから設計された画期的な高速化された CPU です。このスーパーチップは、テラバイト規模のデータを実行するアプリケーションに対して最大 10 倍の高いパフォーマンスを提供し、科学者や研究者が世界で最も複雑な問題に対して前例のないソリューションに到達できるようにします。
NVIDIA Grace Hopper スーパーチップは、NVIDIA NVLink-C2C を使用して Grace アーキテクチャと Hopper アーキテクチャを組み合わせ、高速化された AI および HPC アプリケーション向けの CPU+GPU コヒーレント メモリ モデルを提供します。 Grace Hopper には 900 ギガバイト/秒 (GB/s) のコヒーレント インターフェイスが含まれており、PCIe Gen7 より 5 倍高速で、NVIDIA DGX A30 と比較して 100 倍高い総システム メモリ帯域幅を GPU に提供します。さらに、NVIDIA HPC SDK、NVIDIA AI、NVIDIA Omniverse など、すべての NVIDIA ソフトウェア スタックとプラットフォームを実行します。
最新のレコメンダー システム モデルでは、埋め込みテーブルを保存するために大量のメモリが必要です。埋め込みテーブルには、アイテムやユーザーの特徴のセマンティック表現が含まれており、消費者により良い推奨事項を提供するのに役立ちます。
一般に、一部のエンベディング ベクトルは他のエンベディング ベクトルよりも頻繁にアクセスされるため、これらのエンベディングは使用頻度のべき乗分布に従います。 NVIDIA Grace Hopper は、高スループットのレコメンダー システム パイプラインを可能にします。
最も頻繁に使用される埋め込みベクトルを HBM3 メモリに保存し、残りの埋め込みベクトルを大容量の LPDDR5X メモリに保存します。 NVLink C2C 相互接続は、Hopper GPU にローカル LPDDR5X メモリへの高帯域幅アクセスを提供します。同時に、NVLink スイッチ システムはこれを拡張して、NVLink ネットワーク内のすべての Grace Hopper スーパーチップのすべての LPDDR5X メモリへの高帯域幅アクセスを Hopper GPU に提供します。
Amazon