Сегодня на перенесенной конференции GTC (GPU Technology Conference, организованной NVIDIA) компания NVIDIA объявила о начале поставок своих первых 7-нм графических процессоров производителям бытовой техники. Подобно AMD, выпустившей 7-нм графический процессор два года назад, в 2018 году, NVIDIA решила сосредоточиться на использовании своих первых 7-нм графических процессоров в центрах обработки данных. NVIDIA уделяет особое внимание развитию искусственного интеллекта и других высокопроизводительных вычислительных систем. Компания даже недавно приобрела Mellanox. Ранее в этом месяце NVIDIA объявила о намерении приобрести Cumulus.
Первый 7-нм графический процессор NVIDIA — это NVIDIA A100. A100 основан на архитектуре Ampere и содержит 54 миллиарда транзисторов. Как и предыдущие графические процессоры NVIDIA для центров обработки данных, A100 включает в себя тензорные ядра. Тензорные ядра — это специализированные части графического процессора, разработанные специально для быстрого выполнения вычислений типа умножения и сложения матриц, обычно используемых в задачах вывода. С появлением новых, более мощных графических процессоров появляются и новые, более мощные тензорные ядра. Ранее тензорные ядра NVIDIA могли поддерживать только 32-битные числа с плавающей запятой. A100 поддерживает 64-битные операции с плавающей запятой, что обеспечивает гораздо большую точность.
Ещё одной новинкой в A100 является возможность работы с несколькими экземплярами графического процессора. Каждый графический процессор A100 способен разделяться на семь независимых экземпляров для одновременного выполнения большого количества задач.
Технические характеристики NVIDIA A100
|
Количество транзисторов |
54 млрд |
|
Размер матрицы |
826 mm2 |
|
Ядра FP64 CUDA |
3,456 |
|
Ядра FP32 CUDA |
6,912 |
|
Тензорные сердечники |
432 |
|
Потоковые мультипроцессоры |
108 |
|
FP64 |
9.7 терафлопс |
|
Тензорное ядро FP64 |
19.5 терафлопс |
|
FP32 |
19.5 терафлопс |
|
Тензорное ядро TF32 |
156 терафлопс | 312 терафлопс* |
|
Тензорное ядро BFLOAT16 |
312 терафлопс | 624 терафлопс* |
|
Тензорное ядро FP16 |
312 терафлопс | 624 терафлопс* |
|
Тензорное ядро INT8 |
624 ТОП | 1,248 ТОП* |
|
Тензорное ядро INT4 |
1,248 ТОП | 2,496 ТОП* |
|
Память графического процессора |
40 ГБ |
|
Пропускная способность памяти графического процессора |
1.6 TB / s |
|
межсоединений |
NVLink 600 ГБ/с PCIe Gen4 64 ГБ/с |
|
Мультиэкземплярные графические процессоры |
Различные размеры экземпляров с пропускной способностью до 7 МБ при 5 ГБ. |
|
Форм-фактор |
4/8 графических процессоров SXM в HGX A100 |
|
Максимальная мощность |
400 Вт (SXM) |
В дополнение к единственному графическому процессору A100, NVIDIA одновременно выпускает и два кластерных графических процессора. Система NVIDIA DGX A100 включает восемь графических процессоров NVIDIA A100, соединенных между собой с помощью NVIDIA NVSwitch. Ее младший брат, NVIDIA HGX A100, состоит из четырех графических процессоров A100, соединенных через NVLink. И NVLink, и NVSwitch позволяют отдельным графическим процессорам работать вместе над большими задачами. NVLink — это истинное соединение «все со всеми». Чтобы справиться с большим количеством графических процессоров, подключенных через NVSwitch, NVIDIA решила использовать перекрестное соединение NVLink между графическими процессорами. NVIDIA усилила свое соединение «все со всеми» для новой системы A100, удвоив возможности подключения для поддержки гораздо более мощных ядер в чипах. NVIDIA утверждает, что им удалось более чем вдвое увеличить производительность по сравнению с предыдущей системой DGX. По их словам, их новая система DGX A100 с восемью графическими процессорами способна обеспечить невероятную производительность в пять петафлопс. Предыдущее поколение, DGX-2, с шестнадцатью графическими процессорами, достигало лишь двух петафлопс. Я не ожидал, что в ближайшее время мне придётся использовать слово «всего» в отношении системы, которая может похвастаться двумя петафлопсами, но когда новый кластер более чем вдвое увеличивает производительность при вдвое меньшем количестве графических процессоров, это кажется вполне уместным. DGX A100 также может похвастаться 320 ГБ памяти и девятью сетевыми интерфейсами NVIDIA Mellanox ConnectX-6 HDR 200 Гбит/с, обеспечивающими общую двунаправленную пропускную способность 3.6 Тбит/с.
Чтобы оценить всю мощь DGX A100, достаточно вспомнить, что десятый по мощности суперкомпьютер в мире имеет производительность всего 18 петафлопс. Соедините пару новых мощных процессоров NVIDIA, и вы получите собственный суперкомпьютер мирового класса. Удивительно, но NVIDIA выпустила эталонную архитектуру DGX SuperPOD, которая демонстрирует именно это. Если система покажет такие же результаты, как заявляет NVIDIA, следующие несколько месяцев могут стать очень странными для энтузиастов суперкомпьютеров.
Возвращаясь к обычным задачам и более типичным сценариям использования, NVIDIA также объявила о планах выпустить периферийный сервер с использованием своих новых графических процессоров к концу года. EGX A100 будет работать всего на одном из новых графических процессоров A100. NVIDIA планирует, что периферийный сервер EGX A100 будет работать под управлением Red Hat Enterprise Linux. Вероятно, устройства будут использовать недавно приобретенные NVIDIA сетевые карты Mellanox ConnectX-6 Dx для приема данных со скоростью до 200 Гбит/с и их прямой передачи в память графического процессора для обработки сигналов ИИ или 5G. Тот факт, что сама NVIDIA не планирует выпускать устройство только с одним из своих новых графических процессоров до конца года, действительно подчеркивает, насколько смелой является идея объединения нескольких DGX A100, которые сами по себе представляют собой кластеры из восьми A100.




Amazon