Instance AWS EC2 Trn1 jsou nyní k dispozici

Společnost Amazon Web Services (AWS) oznámila všeobecnou dostupnost instancí AWS EC2 Trn1. Instance Trn1, poháněné čipy Trainium navrženými společností AWS, jsou speciálně navrženy pro vysoce výkonné trénování modelů strojového učení (v cloudu). Amazon uvádí 50% snížení „nákladů na trénování“ ve srovnání s podobnými instancemi založenými na GPU.

Instance AWS EC2 Trn1 poskytují nejrychlejší dobu pro trénování populárních modelů strojového učení na AWS. To umožňuje zákazníkům zkrátit dobu trénování, rychle iterovat na modelech pro zvýšení přesnosti a zlepšit celkovou produktivitu pro úlohy, jako je zpracování přirozeného jazyka, rozpoznávání řeči a obrazu, sémantické vyhledávání, doporučovací nástroje, detekce podvodů a prognózování.

Instance Trn1 jsou velmi flexibilní i z hlediska cen, protože neexistují žádné minimální závazky ani počáteční poplatky. Zákazníci také platí pouze za množství výpočetního výkonu, které využívají.

Velikosti a specifikace instancí AWS EC2 Trn1

Dříve, i když organizace využívaly nejrychlejší dostupné akcelerované instance, bylo trénování složitějších modelů strojového učení stále nadměrně drahé a časově náročné. S novými instancemi AWS EC2 Trn1 Amazon naznačuje, že se mohou pochlubit nejlepším poměrem ceny a výkonu a nejrychlejším trénováním modelů strojového učení na AWS.

Mezi další významné vlastnosti patří:

• Ti, kteří chtějí začít bez výrazných změn kódu, mohou využít AWS Neuron, sadu pro vývoj softwaru (SDK) pro instance Trn1. Je také integrována do populárních frameworků pro strojové učení, jako jsou PyTorch a TensorFlow.
• Instance Trn1 obsahují až 16 akcelerátorů AWS Trainium, které jsou speciálně navrženy pro nasazení modelů hlubokého učení.
• Pro zvýšení efektivity je Trn1 první instancí Amazon EC2, která nabízí síťovou šířku pásma až 800 Gb/s prostřednictvím technologie 2.^ndSíťové rozhraní adaptéru AWS Elastic Fabric (EFA) -gen.
• Pro urychlení trénování používají instance Trn1 také NeuronLink – vysokorychlostní propojení mezi instancemi.

Amazon EC2 UltraClusters

Zákazníci mohou nasadit instance Trn1 v Amazon EC2 UltraClusters (který se skládá z desítek tisíc akcelerátorů Trainium) pro rychlé trénování nejsložitějších modelů hlubokého učení, a to i těch s biliony parametrů. Díky EC2 UltraClusters mají organizace možnost škálovat trénování modelů strojového učení až s 30 000 akcelerátory Trainium propojenými sítí EFA v petabitovém měřítku. Amazon uvádí, že tyto organizace tak budou mít přístup k výkonu superpočítačové třídy na vyžádání, což může výrazně zkrátit dobu trénování, která obvykle trvá měsíce až dny.

Každá instance AWS EC2 Trn1 podporuje až 8 TB rychlého lokálního úložiště NVMe SSD, zatímco AWS Trainium podporuje širokou škálu datových typů (FP32, TF32, BF16, FP16 a konfigurovatelný FP8). Podporuje také stochastické zaokrouhlování, metodu založenou na pravděpodobnosti, která umožňuje vysoký výkon a vyšší přesnost. Kromě toho AWS Trainium podporuje dynamické tvary tenzorů a vlastní operátory, což podporuje flexibilní infrastrukturu navrženou tak, aby se přizpůsobovala potřebám školení zákazníků.

Nitro systém AWS

Instance Trn1 jsou postaveny na systému AWS Nitro, což je sada hardwarových a softwarových inovací navržených společností AWS, které zefektivňují poskytování izolovaných multitenančních služeb, privátních sítí a rychlého lokálního úložiště. Aby systém Nitro poskytoval potřebný výkon, přesouvá virtualizaci CPU, úložiště a síťové funkce na vyhrazený hardware a software.

Dostupnost instancí AWS EC2 Trn1

Instance AWS Trn1 lze nyní zakoupit jako instance na vyžádání (s úspornými plány), rezervované instance nebo spotové instance. V současné době jsou k dispozici na východě USA (Severní Virginie) a západě USA (Oregon) a brzy budou rozšířeny i v dalších regionech AWS.

Budou také k dispozici prostřednictvím následujících dalších služeb AWS:

• Amazon SageMaker
• Služba Amazon Elastic Kubernetes (Amazon EKS)
• Služba elastických kontejnerů Amazon (Amazon ECS)
• Dávka AWS

Instance AWS Trn1