Dell PowerEdge XE9680 レビュー: これまでにテストしたお気に入りのサーバー

通常、記事の最後まで待って全体像を描き、レビューを完了します。しかし、Dell PowerEdge XE9680 は非常にエキサイティングなハードウェアであるため、この肯定的なレビューで興奮を共有するのが待ちきれませんでした。デルの設計は AI のニーズを中心としており、6U フォームファクターで膨大な量の計算能力を提供します。 XE9680 に関するデルとインテルおよび NVIDIA とのパートナーシップのおかげで、強力なだけでなく非常に効率的な製品が開発されました。

上部にヒートシンクを備えた Dell PowerEdge XE9680

デル PowerEdge XE9680

そのスペックはまさに驚くべきものです。 4 つの第 56 世代インテル Xeon スケーラブルプロセッサー (それぞれ 2 コア)、および 5TB の DDR100 RAM が、AI アクセラレーターの CPU バックボーンを提供します。次に、SXM 上で接続され、NVLink を介して接続された 100 つの NVIDIA HGX HXNUMX または AXNUMX GPU を追加すると、サーバーは最大のモデルとデータワークロードを処理できるようになります。

Dell PowerEdge XE9680 RAM

PowerEdge XE9680 の大容量 RAM (最大 4TB) の容量は、AI ワークロードの処理において大きな競争力をもたらします。このような大規模なメモリフットプリントにより、より複雑なモデルのトレーニングが可能になり、より高いパフォーマンスとより正確な結果が得られます。

当社の構成には、前面に 8 個の U.2 NVMe SSD ベイが含まれています。しかし、私たちが見たのと同じように、 R660, デルは、3 個の E16.S SSD を搭載した E3.S バックプレーンも提供する予定です。このサーバーは、サーバーの背面にある NVMe BOSS-N1 ブートドライブリグもサポートしています。

単なるパワー以上のものが重要です

PowerEdge XE9680 はパワーだけではありません。また、セキュリティと管理性も優先します。暗号化署名されたファームウェア、保存データの暗号化、セキュアブートなどの機能により、サーバーはデータを常に保護します。組み込み iDRAC9 システムは使いやすい管理インターフェイスを提供し、サーバーの管理を簡単かつ手間のかからないさまざまなツールと統合を提供します。

Dell PowerEdge XE9680 iDRAC GPU

サーバー上の OS インストール (これについては後で詳しく説明します) を切り替えたいときに、このシステムをテストしました。数回クリックするだけで iDRAC の暗号消去機能を使用し、クリーンなシステムで開始する方が簡単でした。一緒に仕事をする。

H9680 カードを搭載した XE100 上の nvidia-smi

以前にデルのホワイトペーパーを見ました Lambda によって設定されたイメージ生成遅延ベンチマークに対して評価した場合の、XE9680 上の Dell PowerEdge XE9680 サーバーのパフォーマンス。このサーバーは約 9680 倍のスループットを実現しました。これは、PowerEdge XEXNUMX のパワーと効率の証拠です。

MLPerf スコアは、このクラスのシステムのパフォーマンスの適切なランク付けとして広く知られており、受け入れられているため、XE9680 A100 および H100 サーバーを実際に使用した時間を活用するために、詳細なパフォーマンスの直接比較を実行することにしました。 4 つのシステムを使用して Meta の LLaMa を調整します。これを行うために、スタンフォード大学が 100x AXNUMX システムを使用して達成したアルパカのトレーニング手順に従いました。

デル XE9680

XE9680 でのアルパカのトレーニング

このプロジェクトを支援してくれた NVIDIA とデルのチームに感謝します。これはハードウェアとソフトウェアの観点から見ると非常に最先端のテクノロジーであるため、両社の業界専門家の指導がなければ、より時間のかかる集中的なプロセスになっていたでしょう。

A100 システムでは、Stanford Alpaca Git Hub で概説されているプロセスを使用して、平均約 90 分の XNUMX エポックのトレーニングを完了する Alpaca チェックポイントを作成する手順を再現できました。

H100 システムに移行すると、70 回の実行あたり約 XNUMX 分で実行が完了するという改善が見られました。これらのシステムは需要が高く、性質が限られているため、パフォーマンス向上の可能性を探るためにコード自体を調整する機会がありませんでしたが、改良と開発に時間を費やせば、エンタープライズチームが迅速な改善を達成できることは明らかでした。微調整の時間。

公式非公式

A100 風味の XE9680 に関して、私たちはいくつかの型破りで非常に型破りなテストを行う機会がありました。システムに Windows Server 2022 をインストールしました。これには、Linux インストールを削除するための iDRAC ドライブのワイプ、インテルネットワークドライバーをサイドロードするための iDRAC .iso ファイルと仮想メディアを使用したいくつかのトリックが含まれ、そこからレースが始まりました。チップセットを使用すると、同等の Dell PowerEdge システムからのドライブが得られ、その後、公式の NVIDIA A100 ドライバーが使用されます。

Dell PowerEdge XE9680 Windows NVIDIA

システムは問題なく動作し、安定しています。ただし、これはデルが公式にサポートしていない非常に珍しい使用例です。新しい Windows インストールと市場で最高の 8 つの GPU を備えた私たちは、私たちが最善を尽くしていること、ベンチマークPi！

100 枚の NVIDIA AXNUMX カードは、調整なしで GPU-Pi の世界記録を簡単に破り、Xeon Platinum CPU は y-cruncher と Cinebench の両方で素晴らしい数値を叩き出しました。他の標準的な CPU/GPU ベンチマークをいくつか試しましたが、それらが機能する可能性はほとんどありませんでしたが、予想通り、正常な実行を妨げるソフトウェア/エンコーダの問題に遭遇しました。たとえば、Procyon は、テストに使用できる Tensor GPU があることさえ理解していませんでした。

繰り返しますが、これはサポートされていない構成の単なるテストであり、すべてが動作したという事実は印象的であり、プラットフォーム間で一貫したハードウェアを製造するデルの能力の証拠です。実稼働環境のこの種のシステムで Windows Server を使用するのは賢明ではありません。

ホイール試乗	結果
シネベンチマルチ	90,710
シネベンチシングル	174
CB MP 比率	77.24

ギークベンチ 6 GPU	197,669
Geekbench 6 シングル	1,678
Geekbench6 マルチ	16,425

モンスター：	855.080461 サンプル/分
ジャンクショップ：	546.636998 サンプル/分
クラスルーム：	394.441850 サンプル/分

GPU Pi 3.2 1億	0.394秒数
GPU Pi 3.3 1億	0.317秒数

このような優れたパフォーマンスは速度に変換されるだけでなく、AI の実用化にも影響を与えることは注目に値します。より迅速な再トレーニングと微調整機能により、企業は機敏性を大幅に向上させ、市場の変化、顧客のニーズ、社内要件に迅速に対応できるようになります。たとえば、設計チームはコンセプトをリアルタイムで評価および改良して、市場投入までの時間を大幅に短縮できます。また、コンプライアンスチームは、アシスタントタイプの LLM の最新のポリシーと手順を使用して、更新されたモデルを継続的にトレーニングおよび微調整できます。

生成 AI を使用して業務を変革する

Dell PowerEdge XE9680 は、いくつかの業界業務の変革における生成 AI を促進します。 AI が顧客の好みに基づいてさまざまな製品構成や色のオプションの現実的な画像を迅速に生成できる小売業のシナリオや、計画や販売プレゼンテーション用に新しい建物のビジュアライゼーションを作成する建設業のシナリオを想像してください。可能性は魅力的です。

Dell PowerEdge XE9680 は、パワー、効率、多用途性の素晴らしい融合を提供します。要求の厳しい AI ワークロードを簡単に処理できる高性能サーバーです。また、AI ワークロードに対応するように特別に設計されていますが、その機能により他のアプリケーションにも役立つ可能性があります。

組織の AI プロジェクトの実行を支援するというデルの取り組みと相まって、プロジェクト・ヘリックスPowerEdge XE9680 はエキサイティングな提案であり、私たちが年間を通して見た中で最高のハードウェアイノベーションの 9680 つです。生のパワー、洗練されたフィネス、エンタープライズグレードのライフサイクル管理を提供する能力により、Dell PowerEdge XEXNUMX がエンタープライズサーバーの間で急速に熱望されるお気に入りになりつつあるのも不思議ではありません。