エンタープライズAIレビュー

NVIDIA RTX PRO 4500 Blackwell Server Editionは、多くの企業が既に所有しているサーバー向けにNVIDIAが開発したカードです。シングルスロット、パッシブ冷却、165Wのボードで、32GBのGDDR7メモリを搭載し、Blackwellの全機能を備えています。具体的には、FP4対応の第5世代Tensorコア、第4世代RTコア、3つのエンコーダーと3つのデコーダー、そしてマルチインスタンスGPUサポートです。

NVIDIA RTX PRO 4500 Blackwell Server Editionは、主にデータセンター外のサーバーでL4を置き換えるためにNVIDIAが開発したカードです。シングルスロット、PCIe Gen5、パッシブ冷却、165W、32GBのGDDR7メモリ、FP4 Tensor CoreやマルチインスタンスGPUを含むBlackwellの全機能を備えています。HPEからProLiant DL145が送られてきました。

エンタープライズ AI インフラストラクチャは、トレーニング モデルの最適化から、トレーニング モデルのサービス提供へと移行しており、それが経済性を変えています。トレーニングはエンドポイントを持つ資本プロジェクトです。推論は、サービスが稼働している限り実行される本番ワークロードであり、出力はトークンで測定されます。これが、現在 AI オペレーターが直面しているトークノミクスの問題です。

NVIDIA DGX Spark の話になると、まず最初に 2 つのことが話題になります。1 つ目は、その目玉となるスペックです。約 4,000 ドルのデスクトップ ボックスに 128 GB の統合メモリが搭載されているのです。これは、わずか 2 年前にはエンジニアのデスクに置くことさえ考えられなかった数字です。2 つ目は、200

昨年11月にオレゴン州立大学のプランクトン画像研究に関する記事を掲載したとき、見出しは科学的な内容でした。研究船に搭載されたAI加速インフラが、船が港に到着する前にテラバイト規模の海洋データをほぼリアルタイムで処理するというものです。しかし、その後の数週間で別のことが静かに起こりました。キャンパス中に、

SupermicroのJumpStartプログラムは、AIインフラストラクチャの購入前評価ツールキットの中でも特に有用なツールの1つとして定着しています。JumpStartは、共有環境でのスクリプト化されたデモではなく、対象となるユーザーにSSH、IPMI、VNCを介して実際の運用サーバーへの無料かつ時間制限付きのベアメタルアクセスを提供し、実際のハードウェア上でワークロードを実行できるようにします。

私たちは、Supermicro JumpStart を通じて HGX B200 を 1 週間かけてテストし、リモート ベアメタル アクセスによって AI プラットフォームの意思決定がどれだけ高速化されるかを確認しました。

オレゴン州立大学は、GPU、コンピューティング、高密度 NVMe を使用して AI 海洋研究を推進し、海上でプランクトン データをリアルタイムで分析しています。

L40S は、コンピューティングとグラフィックスの両方のパフォーマンスを必要とする合成データ生成、マルチモーダル AI 開発、および Omniverse アプリケーションに特に役立ちます。