アマゾン ウェブ サービス (AWS) は、AWS EC2 Trn1 インスタンスの一般提供を発表しました。 AWS 設計の Trainium チップを搭載した Trn1 インスタンスは、機械学習モデル (クラウド内) の高性能トレーニング用に特別に設計されており、Amazon は同様の GPU と比較して「トレーニングコスト」の削減が 50% 削減されることを示しています。 -ベースのインスタンス。
AWS EC2 Trn1 インスタンスは、AWS で人気の機械学習モデルを最速の時間でトレーニングします。これにより、顧客はトレーニング時間を短縮し、モデルを迅速に反復して精度を高め、自然言語処理、音声および画像認識、セマンティック検索、レコメンデーション エンジン、不正検出、予測などのワークロードの全体的な生産性を向上させることができます。
Trn1 インスタンスは、最低契約や前払い料金がないため、価格設定に関しても非常に柔軟です。また、顧客は使用したコンピューティングの量に対してのみ支払う必要があります。
AWS EC2 Trn1 インスタンスのサイズと仕様
| インスタンス名 | vCPU | AWS Trainium チップ | アクセラレータメモリ | ニューロンリンク | インスタンスメモリ | インスタンスネットワーキング | ローカルインスタンスストレージ |
| trn1.2xlarge | 8 | 1 | 32 GB | 無し | 32 GB | 最大12.5 Gbps | 1x 500 GB NVMe |
| trn1.32xlarge | 128 | 16 | 512 GB | サポート | 512 GB | 800 Gbps | 4x 2 TB NVMe |
以前は、組織が利用可能な最速の高速インスタンスを活用したとしても、より複雑な機械学習モデルのトレーニングには依然として過度の費用と時間がかかりました。新しい AWS EC2 Trn1 インスタンスについて、Amazon は、AWS 上で最高の価格パフォーマンスと最速の機械学習モデル トレーニングを誇ることを示しています。
その他の注目すべき機能は次のとおりです。
- コードを大幅に変更せずに開始したい場合は、Trn1 インスタンス用のソフトウェア開発キット (SDK) である AWS Neuron を使用できます。また、PyTorch や TensorFlow などの一般的な機械学習フレームワークにも統合されています。
- Trn1 インスタンスには、深層学習モデルのデプロイ用に特別に設計された最大 16 個の AWS Trainium アクセラレータが搭載されています。
- 効率を向上させるために、Trn1 は、2 つのネットワーク経由で最大 800 Gbps のネットワーク帯域幅を提供する最初の Amazon EC2 インスタンスです。nd-gen AWS エラスティック ファブリック アダプター (EFA) ネットワーク インターフェイス。
- トレーニングを高速化するために、Trn1 インスタンスは高速のインスタンス内相互接続である NeuronLink も使用します。
Amazon EC2 ウルトラクラスター
お客様は、Amazon EC1 UltraClusters (数万の Trainium アクセラレータで構成) に Trn2 インスタンスをデプロイして、最も複雑な深層学習モデル (数兆のパラメータを持つモデルであっても) を迅速にトレーニングできます。 EC2 UltraClusters を使用すると、組織は EFA ペタビット規模のネットワーキングと相互接続された最大 30,000 個の Trainium アクセラレータを使用して機械学習モデルのトレーニングを拡張できます。 Amazon は、これらの組織がスーパーコンピューティング クラスのパフォーマンスにオンデマンドでアクセスできるようになり、通常は数か月かかるトレーニング時間をわずか数日に大幅に短縮できると示唆しています。
各 AWS EC2 Trn1 インスタンスは最大 8TB の高速ローカル NVMe SSD ストレージをサポートし、AWS Trainium は幅広いデータタイプ (FP32、TF32、BF16、FP16、および構成可能な FP8) をサポートします。また、確率に基づく方法である確率的丸めもサポートしており、高性能と高精度を実現します。さらに、AWS Trainium は動的なテンソル形状とカスタム演算子をサポートしており、顧客のトレーニングのニーズに基づいて適応するように設計された柔軟なインフラストラクチャを促進します。
AWSNitroシステム
Trn1 インスタンスは、AWS Nitro System 上に構築されています。これは、AWS が設計したハードウェアとソフトウェアのイノベーションの集合体であり、分離されたマルチテナント、プライベート ネットワーキング、高速ローカル ストレージの配信を合理化します。必要なパフォーマンスを実現するために、Nitro System は CPU 仮想化、ストレージ、ネットワーキング機能を専用のハードウェアとソフトウェアにオフロードします。
AWS EC2 Trn1 インスタンスの可用性
AWS Trn1 インスタンスは、オンデマンド インスタンス (Savings Plans 付き)、リザーブド インスタンス、またはスポット インスタンスとして現在購入できます。現在、これらは米国東部 (北バージニア) と米国西部 (オレゴン) で利用可能ですが、他の AWS リージョンでも間もなく利用可能に拡大されます。
これらは、次の他の AWS サービスからも利用できます。
- アマゾンセージメーカー
- Amazon エラスティック Kubernetes サービス (Amazon EKS)
- Amazon Elastic Container Service（Amazon ECS）
- AWSバッチ
Amazon