エンタープライズ AI インフラストラクチャは、トレーニング モデルの最適化から、トレーニング モデルのサービス提供へと移行しており、それが経済性を変えています。トレーニングはエンドポイントを持つ資本プロジェクトです。推論は、サービスが稼働している限り実行される本番ワークロードであり、出力はトークンで測定されます。これが、現在 AI オペレーターが直面しているトークノミクスの問題です。
エンタープライズ AI インフラストラクチャは、トレーニング モデルの最適化から、トレーニング モデルのサービス提供へと移行しており、それが経済性を変えています。トレーニングはエンドポイントを持つ資本プロジェクトです。推論は、サービスが稼働している限り実行される本番ワークロードであり、出力はトークンで測定されます。これが、現在 AI オペレーターが直面しているトークノミクスの問題です。
NVIDIA DGX Spark の話になると、まず最初に 2 つのことが話題になります。1 つ目は、その目玉となるスペックです。約 4,000 ドルのデスクトップ ボックスに 128 GB の統合メモリが搭載されているのです。これは、わずか 2 年前にはエンジニアのデスクに置くことさえ考えられなかった数字です。2 つ目は、200
昨年11月にオレゴン州立大学のプランクトン画像研究に関する記事を掲載したとき、見出しは科学的な内容でした。研究船に搭載されたAI加速インフラが、船が港に到着する前にテラバイト規模の海洋データをほぼリアルタイムで処理するというものです。しかし、その後の数週間で別のことが静かに起こりました。キャンパス中に、
SupermicroのJumpStartプログラムは、AIインフラストラクチャの購入前評価ツールキットの中でも特に有用なツールの1つとして定着しています。JumpStartは、共有環境でのスクリプト化されたデモではなく、対象となるユーザーにSSH、IPMI、VNCを介して実際の運用サーバーへの無料かつ時間制限付きのベアメタルアクセスを提供し、実際のハードウェア上でワークロードを実行できるようにします。
私たちは、Supermicro JumpStart を通じて HGX B200 を 1 週間かけてテストし、リモート ベアメタル アクセスによって AI プラットフォームの意思決定がどれだけ高速化されるかを確認しました。
オレゴン州立大学は、GPU、コンピューティング、高密度 NVMe を使用して AI 海洋研究を推進し、海上でプランクトン データをリアルタイムで分析しています。
L40S は、コンピューティングとグラフィックスの両方のパフォーマンスを必要とする合成データ生成、マルチモーダル AI 開発、および Omniverse アプリケーションに特に役立ちます。
Pliops XDP LightningAI は、KV キャッシュをオフロードすることで LLM 推論を強化し、NVIDIA Dynamo 統合により、より高速でスケーラブルな AI を実現します。
DUG Nomad モバイル データ センターは、Hypertec サーバーと Solidigm SSD を使用して、エッジで液浸冷却 AI および HPC 機能を提供します。
エッジ AI の最前線に立つ NVIDIA の Jetson Orin Nano Super 開発キットは、従来のデータ センター外での AI アプリケーション向けの堅牢なソリューションを提供します。これは、AI 愛好家や専門家にとって強力で手頃な価格のツールです。