AWS EC2 Trn1 实例现已可用

by 莱尔·史密斯 on 2022 年 10 月 11 日

Amazon Web Services (AWS) 宣布全面推出 AWS EC2 Trn1 实例。 Trn1 实例由 AWS 设计的 Trainium 芯片提供支持，专为机器学习模型（在云端）的高性能训练而设计，亚马逊表示与类似 GPU 相比，“训练成本”节省了 50%基于实例。

AWS EC2 Trn1 实例为在 AWS 上训练流行的机器学习模型提供了最快的时间。这使他们的客户能够减少培训时间，快速迭代模型以提高准确性，并提高自然语言处理、语音和图像识别、语义搜索、推荐引擎、欺诈检测和预测等工作负载的整体生产力。

就定价而言，Trn1 实例也非常灵活，因为没有最低承诺或预付费用。客户也只需为他们使用的计算量付费。

AWS EC2 Trn1 实例的大小和规格

实例名称	虚拟CPU	AWS Trainium 芯片	加速器内存	神经元链接	实例内存	实例网络	本地实例存储
trn1.2xlarge	8	1	32 GB	无	32 GB	高达12.5 Gbps	1 个 500 GB NVMe
trn1.32xlarge	128	16	512 GB	支持	512 GB	800 Gbps	4 个 2 TB NVMe

以前，即使组织利用可用的最快加速实例，训练更复杂的机器学习模型仍然既过于昂贵又耗时。借助新的 AWS EC2 Trn1 实例，亚马逊表示他们拥有 AWS 上最佳的性价比和最快的机器学习模型训练。

其他值得注意的功能包括：

那些希望在不显着更改代码的情况下开始使用的人可以使用 AWS Neuron，这是用于 Trn1 实例的软件开发工具包 (SDK)。它还集成到 PyTorch 和 TensorFlow 等流行的机器学习框架中。
Trn1 实例具有多达 16 个专为部署深度学习模型而设计的 AWS Trainium 加速器。
为了提高效率，Trn1 是第一个通过 2 提供高达 800Gbps 网络带宽的 Amazon EC2 实例^nd-gen AWS Elastic Fabric Adapter (EFA) 网络接口。
为了加快训练速度，Trn1 实例还使用 NeuronLink——一种高速实例内互连。

亚马逊 EC2 UltraClusters

客户可以在 Amazon EC1 UltraClusters（由数万个 Trainium 加速器组成）中部署 Trn2 实例，以快速训练最复杂的深度学习模型，即使是那些具有数万亿参数的模型。借助 EC2 UltraClusters，组织能够使用多达 30,000 个与 EFA PB 级网络互连的 Trainium 加速器来扩展机器学习模型的训练。亚马逊表示，这些组织因此可以按需访问超级计算级的性能，这可以显着缩短通常需要数月到数天的培训时间。

每个 AWS EC2 Trn1 实例支持高达 8TB 的快速本地 NVMe SSD 存储，而 AWS Trainium 支持广泛的数据类型（FP32、TF32、BF16、FP16 和可配置的 FP8）。它还支持随机舍入，一种基于概率的方法，以实现高性能和更高的准确性。此外，AWS Trainium 支持动态张量形状和自定义运算符，这促进了旨在根据客户培训需求进行调整的灵活基础设施。