通常、記事の最後まで待って全体像を描き、レビューを完了します。しかし、Dell PowerEdge XE9680 は非常にエキサイティングなハードウェアであるため、この肯定的なレビューで興奮を共有するのが待ちきれませんでした。デルの設計は AI のニーズを中心としており、6U フォーム ファクターで膨大な量の計算能力を提供します。 XE9680 に関するデルとインテルおよび NVIDIA とのパートナーシップのおかげで、強力なだけでなく非常に効率的な製品が開発されました。
デル PowerEdge XE9680
そのスペックはまさに驚くべきものです。 4 つの第 56 世代インテル Xeon スケーラブル プロセッサー (それぞれ 2 コア)、および 5TB の DDR100 RAM が、AI アクセラレーターの CPU バックボーンを提供します。次に、SXM 上で接続され、NVLink を介して接続された 100 つの NVIDIA HGX HXNUMX または AXNUMX GPU を追加すると、サーバーは最大のモデルとデータ ワークロードを処理できるようになります。
PowerEdge XE9680 の大容量 RAM (最大 4TB) の容量は、AI ワークロードの処理において大きな競争力をもたらします。このような大規模なメモリ フットプリントにより、より複雑なモデルのトレーニングが可能になり、より高いパフォーマンスとより正確な結果が得られます。
当社の構成には、前面に8つのU.2 NVMe SSDベイが含まれています。しかし、 R660と同様に、Dellは16個のE3.S SSDを搭載したE3.Sバックプレーンも提供する予定です。このサーバーは、サーバー背面にNVMe BOSS-N1ブートドライブシステムもサポートしています。
単なるパワー以上のものが重要です
PowerEdge XE9680 はパワーだけではありません。また、セキュリティと管理性も優先します。暗号化署名されたファームウェア、保存データの暗号化、セキュア ブートなどの機能により、サーバーはデータを常に保護します。組み込み iDRAC9 システムは使いやすい管理インターフェイスを提供し、サーバーの管理を簡単かつ手間のかからないさまざまなツールと統合を提供します。
サーバー上の OS インストール (これについては後で詳しく説明します) を切り替えたいときに、このシステムをテストしました。数回クリックするだけで iDRAC の暗号消去機能を使用し、クリーンなシステムで開始する方が簡単でした。一緒に仕事をする。
H9680 カードを搭載した XE100 上の nvidia-smi
前回は、DellのXE9680に関するホワイトペーパーと、Lambdaが設定した画像生成レイテンシベンチマークと比較したDell PowerEdge XE9680サーバーのパフォーマンスについて取り上げました。このサーバーは、約2倍のスループットを実現しており、PowerEdge XE9680のパワーと効率性の高さを証明しています。
MLPerfスコアは、このクラスのシステムのパフォーマンスをランク付けする優れた指標として広く知られ、受け入れられています。そこで、XE9680 A100およびH100サーバーを実際に操作する機会を活かし、MetaのLLaMaを両システムでファインチューニングする際の直接比較を行うことにしました。この比較を行うにあたり、スタンフォード大学が4台のA100システムを使用して実施したAlpacaトレーニングの手順に従いました。
XE9680 でのアルパカのトレーニング
このプロジェクトを支援してくれた NVIDIA とデルのチームに感謝します。これはハードウェアとソフトウェアの観点から見ると非常に最先端のテクノロジーであるため、両社の業界専門家の指導がなければ、より時間のかかる集中的なプロセスになっていたでしょう。
A100 システムでは、Stanford Alpaca Git Hub で概説されているプロセスを使用して、平均約 90 分の XNUMX エポックのトレーニングを完了する Alpaca チェックポイントを作成する手順を再現できました。
H100 システムに移行すると、70 回の実行あたり約 XNUMX 分で実行が完了するという改善が見られました。これらのシステムは需要が高く、性質が限られているため、パフォーマンス向上の可能性を探るためにコード自体を調整する機会がありませんでしたが、改良と開発に時間を費やせば、エンタープライズ チームが迅速な改善を達成できることは明らかでした。微調整の時間。
公式非公式
A100 風味の XE9680 に関して、私たちはいくつかの型破りで非常に型破りなテストを行う機会がありました。システムに Windows Server 2022 をインストールしました。これには、Linux インストールを削除するための iDRAC ドライブのワイプ、インテル ネットワーク ドライバーをサイドロードするための iDRAC .iso ファイルと仮想メディアを使用したいくつかのトリックが含まれ、そこからレースが始まりました。チップセットを使用すると、同等の Dell PowerEdge システムからのドライブが得られ、その後、公式の NVIDIA A100 ドライバーが使用されます。
システムは正常に動作し、安定しており、問題はありません。ただし、これはデルが公式にサポートしていない非常に特殊な使用例です。そこで、新たにインストールしたWindowsと市場で最高のGPUを8枚用意し、我々が得意とするRaspberry Piのベンチマークテストを実施しました。
100 枚の NVIDIA AXNUMX カードは、調整なしで GPU-Pi の世界記録を簡単に破り、Xeon Platinum CPU は y-cruncher と Cinebench の両方で素晴らしい数値を叩き出しました。他の標準的な CPU/GPU ベンチマークをいくつか試しましたが、それらが機能する可能性はほとんどありませんでしたが、予想通り、正常な実行を妨げるソフトウェア/エンコーダの問題に遭遇しました。たとえば、Procyon は、テストに使用できる Tensor GPU があることさえ理解していませんでした。
繰り返しますが、これはサポートされていない構成の単なるテストであり、すべてが動作したという事実は印象的であり、プラットフォーム間で一貫したハードウェアを製造するデルの能力の証拠です。実稼働環境のこの種のシステムで Windows Server を使用するのは賢明ではありません。
| ホイール試乗 | 結果 |
| シネベンチマルチ | 90,710 |
| シネベンチ シングル | 174 |
| CB MP 比率 | 77.24 |
| ギークベンチ 6 GPU | 197,669 |
| Geekbench 6 シングル | 1,678 |
| Geekbench6 マルチ | 16,425 |
| モンスター： |
855.080461 サンプル/分
|
| ジャンクショップ： |
546.636998 サンプル/分
|
| クラスルーム： |
394.441850 サンプル/分
|
| GPU Pi 3.2 1億 | 0.394秒数 |
| GPU Pi 3.3 1億 | 0.317秒数 |
このような優れたパフォーマンスは速度に変換されるだけでなく、AI の実用化にも影響を与えることは注目に値します。より迅速な再トレーニングと微調整機能により、企業は機敏性を大幅に向上させ、市場の変化、顧客のニーズ、社内要件に迅速に対応できるようになります。たとえば、設計チームはコンセプトをリアルタイムで評価および改良して、市場投入までの時間を大幅に短縮できます。また、コンプライアンス チームは、アシスタント タイプの LLM の最新のポリシーと手順を使用して、更新されたモデルを継続的にトレーニングおよび微調整できます。
生成 AI を使用して業務を変革する
Dell PowerEdge XE9680 は、いくつかの業界業務の変革における生成 AI を促進します。 AI が顧客の好みに基づいてさまざまな製品構成や色のオプションの現実的な画像を迅速に生成できる小売業のシナリオや、計画や販売プレゼンテーション用に新しい建物のビジュアライゼーションを作成する建設業のシナリオを想像してください。可能性は魅力的です。
Dell PowerEdge XE9680 は、パワー、効率、多用途性の素晴らしい融合を提供します。要求の厳しい AI ワークロードを簡単に処理できる高性能サーバーです。また、AI ワークロードに対応するように特別に設計されていますが、その機能により他のアプリケーションにも役立つ可能性があります。
DellがProject Helixを通じて組織のAIプロジェクト実行を支援するという取り組みと相まって、PowerEdge XE9680は非常に魅力的な製品であり、今年私たちが目にした最高のハードウェア革新の一つと言えるでしょう。圧倒的なパワー、洗練された操作性、そしてエンタープライズグレードのライフサイクル管理機能を備えたDell PowerEdge XE9680が、エンタープライズサーバー市場で急速に人気を集めているのも当然です。
Amazon