Procyon はベンチマーク スイートを継続的に追加しており、近々、プロフェッショナル ユーザー向けのさまざまなベンチマークとパフォーマンス テストを提供する予定です。AI テキストおよび画像生成ベンチマークにより、大規模な言語および画像モデルでの作業が容易になります。
Procyon の AI テキストおよび画像生成ベンチマークは、大規模な言語および画像モデルでの作業を容易にするように設計されています。これらのテストは標準化され、繰り返し可能で、実際のシナリオを反映しているため、パフォーマンス測定の複雑さを心配する必要はありません。
AI テキストおよび画像生成ワークロードはハードウェアを限界まで押し上げる可能性があるため、一貫性のある実用的なベンチマークが不可欠です。高性能 GPU でテストを実行する場合でも、より小型のニューラル プロセッシング ユニットでテストを実行する場合でも、Procyon はハードウェアのパフォーマンスを正確に理解するのに役立つ明確で実用的な洞察を提供します。
Procyon は、高度な AI 機能と実用的なパフォーマンス測定の間のギャップを埋めることで、ユーザーが自分のシステムが今日の最も要求の厳しい AI タスクをどの程度うまく処理できるかを直感的に確認できるようにします。
Procyon AI テキスト生成ベンチマーク
Procyon AI テキスト生成ベンチマークは、ChatGPT などのツールの背後にある AI モデルをコンピューターまたはデバイスがどれだけ効率的に実行してテキストを生成できるかを評価します。プロンプトが与えられたときにシステムがどれだけ速くスムーズに応答を生成し、コンテンツを書き、情報を要約できるかをチェックすると同時に、そのプロセス中にコンピューターのリソース (プロセッサ、グラフィック カード、メモリなど) がどれだけ使用されているかを監視します。
Procyon のベンチマークのユニークな点は、ローカル大規模言語モデル (LLM) のパフォーマンスを評価する複雑なタスクを簡素化し、エンタープライズ プロフェッショナル、ハードウェア レビュー担当者、エンジニアリング チームなどのユーザーが利用できるようにしていることです。従来のベンチマークでは、大量のストレージ、大規模なダウンロード、量子化やトークン処理などの変数を管理するための慎重な構成が必要でした。Procyon は、構造化されたテスト フレームワークと、技術的な専門知識や手動設定を必要とせずに一貫性のある繰り返し可能な結果を提供する、パッケージ化された最適化された AI モデルを使用してこのプロセスを合理化します。
プロキオンの仕組み AIテキスト生成 作品とその重要性
Procyon は、広く認知されている 4 つのモデルをプリロードすることで LLM テストを自動化し、入力プロンプトに基づいてテキストをリアルタイムで生成する推論タスクのパフォーマンスを迅速かつ確実に評価できるようにします。テスト中は、1 秒あたりのトークン数、レイテンシ、ハードウェア リソースの使用状況 (CPU、GPU、メモリ) などの重要なメトリックを監視します。このプラットフォームはリアルタイムの分析情報を提供し、推論速度、潜在的なリソースのボトルネック、全体的な効率を強調した詳細なテスト後レポートを生成します。
これらの結果は、ユーザーがパフォーマンスを最適化するのに役立ち、企業はハードウェアが要求の厳しい AI ワークロードをどの程度適切に管理できるかを評価できます。
現実世界のテストシナリオ
Procyon のベンチマーク スイートは、2 つの主要なワークロードをカバーする 7 つの多様なテスト プロンプトを使用して、現実的なユース ケースをシミュレートします。
試験タイプ | ワークロードのフォーカス | 入力フォーマット | 代表的なユースケース例 | ユニークな特徴 |
検索拡張生成 (RAG) | 高度な複雑度検索 | トークン化されたデータ | 知識ベースの要約を生成する | 検索統合精度をテストする |
クリエイティブな非RAGテキスト | 自由形式の生成 | 自然言語テキスト | 創作草稿、物語を書く | 生成流暢性を評価する |
- 検索拡張生成 (RAG)RAG タスクは、モデルが外部の知識を応答にどれだけ効果的に統合しているかを測定します。これには、要約の生成や、LLM のトレーニング セット外のデータ アクセスを必要とする質問への回答などが含まれます。
- クリエイティブ 非RAG: 自由形式の生成タスクでは、モデルが内部トレーニングのみに依存している場合、テキストの流暢性、一貫性、および創造的な出力を評価することに重点が置かれます。
Procyon は、エンタープライズ AI ワークフロー (知識検索) とクリエイティブ コンテンツ生成 (自由形式のタスク) の両方のタスクをカバーすることで、実際のアプリケーションを反映しています。
Procyon AI 画像生成ベンチマーク
テキスト バージョンと同様に、Procyon AI 画像生成ベンチマークは、テキスト プロンプトを高品質の画像に変換するなど、コンピューターまたはデバイスが AI 駆動型画像生成タスクをどれだけ効率的に処理するかを測定します。これは、業界リーダーからの意見を取り入れて開発され、専門家や一般ユーザーがテキストから画像を生成するために広く使用している Stable Diffusion モデルを使用して、低電力ニューラル プロセッシング ユニット (NPU) から高性能 GPU まで、さまざまなハードウェアを評価します。
Procyon AI画像生成ベンチマークの特長 ユニーク?
Procyon のイメージ ベンチマークでは、それぞれ異なるハードウェア機能に合わせて調整された 3 つの異なるテストが提供されており、さまざまなデバイスの包括的な評価が保証されます。
- 安定拡散XL(FP16): これはハイエンド GPU 向けに設計された、最も要求の厳しいテストです。1024 ステップで 1024×100 解像度の画像を生成します。
- 安定拡散1.5(FP16): ミッドレンジ GPU 向けのバランスの取れたワークロード。バッチ サイズ 512、ステップ 512 で 4×100 解像度の画像を生成します。
- 安定拡散1.5(INT8): NPU などの低電力デバイス向けに最適化されたテストで、512 ステップの軽量設定と単一の画像バッチで 512×50 の画像に焦点を当てています。
プロキオンの仕組み AI画像生成 作品とその重要性
Procyon は、画像生成速度、GPU 使用率、全体的なリソース効率などの重要な要素を測定することで、システムのパフォーマンスを評価します。GPU 温度、クロック速度、メモリ使用量などのリアルタイム メトリックを追跡するとともに、生成された画像の品質を分析します。Procyon は、NVIDIA TensorRT、Intel OpenVINO、ONNX with DirectML などの複数の推論エンジンもサポートしているため、さまざまなプラットフォームやハードウェア構成でシームレスに実行できます。
テストの最後に、Procyon はパフォーマンス スコア、リソースのボトルネック、出力の品質を強調した詳細なレポートを生成し、テキストから画像へのタスクの計算要求をハードウェアがどの程度うまく処理しているかをユーザーに明確に理解させます。これは、AI エンジンを微調整する開発者、システムを比較するハードウェア レビュー担当者、ワークフローを最適化する企業など、さまざまなユース ケースに最適です。
このベンチマークは、テキスト プロンプトと安定拡散モデルの使用を標準化することで、ハードウェア間での信頼性の高い比較を保証します。付属のレポートにより、ユーザーは全体的なパフォーマンス スコアと生成された画像の品質を確認でき、システムがテキストから画像へのタスクの計算要求をどのように処理しているかを完全に把握できます。
ベンチマークテスト
AI ワークロード用のシステムを評価する場合、ハードウェアは、ポータブルな消費者向けラップトップからプロフェッショナル環境向けに設計されたハイエンドのワークステーションまで、多岐にわたります。各構成には長所と制限があるため、さまざまなハードウェア プロファイルが要求の厳しい AI タスクをどのように処理するかを理解するには、さまざまなプラットフォームでテストすることが不可欠です。
この分析では、ゲーミング ノート PC、エンタープライズ向けワークステーション、多目的プロフェッショナル デバイス 2 台など、さまざまなシステムで Procyon ベンチマークを使用しました。この多様性により、GPU 機能、メモリ アーキテクチャ、ストレージ ソリューション、プロセッサの種類によって影響を受けるパフォーマンスの違いを観察することができました。
- Alienware ラップトップ: Windows 11 Home を搭載した Alienware ラップトップは、主にゲーム用に設計されたコンシューマー グレードのラップトップですが、NVIDIA RTX 4090 GPU を搭載しているため、AI ワークロードにも最適です。Intel Core i9-14900KF プロセッサと 32GB の DDR4 メモリにより、安定したコンピューティング パワーが確保され、Samsung PM9A1 NVMe SSD がストレージを処理します。
- Precision 5860 タワー: エンタープライズ レベルのパフォーマンスを実現するよう設計された Precision 5860 Tower には、AI や 6000D レンダリングなどの負荷の高いワークロード向けにカスタマイズされたプロフェッショナル グレードの強力な NVIDIA RTX 3 GPU が搭載されています。Intel Xeon w7-2595X CPU はワークステーション クラスの処理能力を提供し、128 GB の DDR5 RAM によって補完されています。
- Lenovo ThinkPad: Lenovo ThinkPad は、携帯性とプロ仕様のパフォーマンスを両立させており、機能を犠牲にすることなくモビリティを必要とするユーザーに最適です。AI およびグラフィック ワークロード向けに設計されたワークステーション クラスのカードである NVIDIA RTX A4000 GPU を搭載しています。システムは、11955 GB の DDR32 メモリをサポートする Intel Xeon W-4M プロセッサを搭載しています。ストレージ ソリューションは、人気の NVMe ドライブである Samsung 980 Pro SSD です。
- レノボ ThinkStation: Lenovo ThinkStation は、最も重い計算負荷を処理できるように設計されたプロフェッショナル グレードのワークステーションです。NVIDIA RTX A5500 GPU と Intel Xeon Gold 5420+ CPU を搭載し、最高の AI 推論パフォーマンスを実現するように設計されています。256 GB の DDR5 メモリを搭載し、優れたマルチタスク機能とデータ処理機能を提供します。このシステムでは、大規模なデータ処理の要求を満たす高耐久性、高速ドライブである Kioxia Exceria Pro SSD を使用しています。他の製品と同様に、Windows 11 Pro で動作します。
Procyon AI ベンチマークを使用してこれらのシステムをテストすることで、これらのツールが実際にどのように機能するかを確認できると同時に、さまざまなタイプのハードウェアが AI タスクをどのように処理するかを実証できます。最高級のコンシューマー向け GPU を搭載したゲーミング ノート PC であれ、高負荷のワークロード向けに構築されたプロフェッショナル ワークステーションであれ、それぞれのセットアップには独自の特徴があります。
AIテキスト生成
システム | モデル | 総合評点 | 出力トークン数/秒 |
---|---|---|---|
エイリアンウェア プロキオン (NVIDIA RTX 4090、ONNXRuntime-DirectML 1.20.0) |
PHI3.5 | 3031 | 226.56 トークン/秒 |
ミストラル 7B | 3507 | 171.9 トークン/秒 | |
ラマ3.1 | 3487 | 142.26 トークン/秒 | |
ラマ2 | 3527 | 90.59 トークン/秒 | |
Precision5860タワー (NVIDIA RTX 6000、ONNXRuntime-DirectML 1.20.0) |
PHI3.5 | 2245 | 180.472 トークン/秒 |
ミストラル 7B | 2725 | 146.639 トークン/秒 | |
ラマ3.1 | 2692 | 118.806 トークン/秒 | |
ラマ2 | 2733 | 77.326 トークン/秒 | |
Lenovo Thinkpad (Intel UHD グラフィックス(iGPU)、Intel OpenVINO 2024.5.0) |
PHI3.5 | 133 | 8.98 トークン/秒 |
ミストラル 7B | 108 | 5.54 トークン/秒 | |
ラマ3.1 | 107 | 2.93 トークン/秒 | |
ラマ2 | 100 | 8.98 トークン/秒 | |
レノボ シンクステーション (NVIDIA RTX A5500、ONNXRuntime-DirectML 1.20.0) |
PHI3.5 | 1551 | 99.43 トークン/秒 |
ミストラル 7B | 1556 | 64.18 トークン/秒 | |
ラマ3.1 | 1580 | 59.55 トークン/秒 | |
ラマ2 | 1644 | 37.38 トークン/秒 |
AI画像生成
システム | ベンチマーク | 総合評点 | 画像生成速度 (/秒) |
---|---|---|---|
エイリアンウェア プロキオン (NVIDIA RTX 4090、NVIDIA TensorRT) |
安定拡散1.5(FP16) | 5995 | 1.043 秒/画像 |
安定拡散 1.5 (INT8) | 49692 | 0.629 秒/画像 | |
安定拡散XL(FP16) | 4944 | 7.584 秒/画像 | |
Precision5860タワー (NVIDIA RTX 6000、NVIDIA TensorRT) |
安定拡散1.5(FP16) | 44169 | 0.708 秒/画像 |
安定拡散 1.5 (INT8) | 3094 | 12.120 秒/画像 | |
安定拡散XL(FP16) | 4182 | 1.494 秒/画像 | |
Lenovo Thinkpad (NVIDIA RTX A4000、TensorRT) |
安定拡散1.5(FP16) | 1308 | 4.778 秒/画像 |
安定拡散 1.5 (INT8) | 15133 | 2.065 秒/画像 | |
安定拡散XL(FP16) | 858 | 43.702 秒/画像 | |
レノボ シンクステーション (NVIDIA RTX A5500、NVIDIA TensorRT) |
安定拡散1.5(FP16) | 2401 | 2.603 秒/画像 |
安定拡散 1.5 (INT8) | 25489 | 1.226 秒/画像 | |
安定拡散XL(FP16) | 2000 | 18.747 秒/画像 |
StorageReview ラボから提供される幅広いシステムに対してこれらの新しいテストを継続的に実行していくので、このページに注目してください。
StorageReview と連携する
ニュースレター | YouTube |ポッドキャスト iTunes/Spotifyは | Instagram | Twitter | TikTok | RSSフィード