StorageReview.com
AI  ◇  Enterprise

長コンテキスト推論のためのトークン効率の良い方法:KVキャッシュのフラッシュへのオフロード

エンタープライズ AI インフラストラクチャは、トレーニング モデルの最適化から、トレーニング モデルのサービス提供へと移行しており、それが経済性を変えています。トレーニングはエンドポイントを持つ資本プロジェクトです。推論は、サービスが稼働している限り実行される本番ワークロードであり、出力はトークンで測定されます。これが、現在 AI オペレーターが直面しているトークノミクスの問題です。

AI  ◇  Enterprise

NVIDIA DGX Spark Cluster レビュー:Dell、GIGABYTE、HPにおける分散推論

NVIDIA DGX Spark の話になると、まず最初に 2 つのことが話題になります。1 つ目は、その目玉となるスペックです。約 4,000 ドルのデスクトップ ボックスに 128 GB の統合メモリが搭載されているのです。これは、わずか 2 年前にはエンジニアのデスクに置くことさえ考えられなかった数字です。2 つ目は、200

AI  ◇  Enterprise

Metrum AIとオレゴン州立大学が学術評価の新たな基準をどのように構築しているか

昨年11月にオレゴン州立大学のプランクトン画像研究に関する記事を掲載したとき、見出しは科学的な内容でした。研究船に搭載されたAI加速インフラが、船が港に到着する前にテラバイト規模の海洋データをほぼリアルタイムで処理するというものです。しかし、その後の数週間で別のことが静かに起こりました。キャンパス中に、

AI  ◇  Enterprise

Supermicro JumpStart レビュー: AMD Instinct MI350X 搭載の H14

SupermicroのJumpStartプログラムは、AIインフラストラクチャの購入前評価ツールキットの中でも特に有用なツールの1つとして定着しています。JumpStartは、共有環境でのスクリプト化されたデモではなく、対象となるユーザーにSSH、IPMI、VNCを介して実際の運用サーバーへの無料かつ時間制限付きのベアメタルアクセスを提供し、実際のハードウェア上でワークロードを実行できるようにします。

AI  ◇  Enterprise

NVIDIA Jetson Orin Nano Super: エッジでの DeepSeek R1 70B 推論を強化!

エッジ AI の最前線に立つ NVIDIA の Jetson Orin Nano Super 開発キットは、従来のデータ センター外での AI アプリケーション向けの堅牢なソリューションを提供します。これは、AI 愛好家や専門家にとって強力で手頃な価格のツールです。