Debiut procesora graficznego NVIDIA H100 Tensor Core w branżowych testach porównawczych AI MLPerf ustanowił światowe rekordy w zakresie inferencji dla wszystkich obciążeń, zapewniając nawet 4.5-krotnie wyższą wydajność niż procesory graficzne poprzedniej generacji. Procesory graficzne NVIDIA A100 Tensor Core i moduł NVIDIA Jetson AGX Orin dla robotyki opartej na sztucznej inteligencji zapewniły ogólną wiodącą wydajność inferencji we wszystkich testach MLPerf: rozpoznawaniu obrazu i mowy, przetwarzaniu języka naturalnego oraz systemach rekomendacji.
H100, znany również jako Hopper, podniósł poprzeczkę w zakresie wydajności na akcelerator we wszystkich sześciu sieciach neuronowych, wykazując się wiodącą pozycją pod względem przepustowości i szybkości w testach serwerowych i offline. Dzięki m.in. silnikowi Transformer Engine, Hopper osiągnął sukces w modelu BERT do przetwarzania języka naturalnego. Jest to jeden z największych i najbardziej wymagających pod względem wydajności modeli sztucznej inteligencji MLPerf.
Te testy porównawcze inferencji stanowią pierwszą publiczną demonstrację procesorów graficznych H100, które będą dostępne jeszcze w tym roku. Procesory graficzne H100 będą uczestniczyć w przyszłych rundach MLPerf w celach szkoleniowych.
Procesory graficzne A100 pokazują przewagę
Procesory graficzne NVIDIA A100, dostępne dziś u czołowych dostawców usług chmurowych i producentów systemów, nadal wykazują ogólną przewagę w zakresie wydajności w zakresie wnioskowania AI, wygrywając więcej testów niż jakikolwiek inny produkt w kategoriach i scenariuszach centrów danych i przetwarzania brzegowego. W czerwcu procesor A100 zapewnił również ogólną pozycję lidera w testach porównawczych MLPerf, demonstrując swoje możliwości w całym procesie pracy z AI.
Od debiutu w lipcu 2020 roku w MLPerf, wydajność procesorów graficznych A100 wzrosła sześciokrotnie dzięki ciągłym udoskonaleniom oprogramowania NVIDIA AI. NVIDIA AI to jedyna platforma, która obsługuje wszystkie obciążenia i scenariusze wnioskowania MLPerf w centrach danych i obliczeniach brzegowych.
Użytkownicy potrzebują wszechstronnej wydajności
Wiodąca pozycja NVIDIA w zakresie wydajności procesorów graficznych we wszystkich istotnych modelach sztucznej inteligencji potwierdza przydatność tej technologii dla użytkowników, ponieważ rzeczywiste aplikacje zazwyczaj wykorzystują wiele sieci neuronowych różnego rodzaju. Na przykład, aplikacja AI może wymagać zrozumienia wypowiedzi użytkownika, sklasyfikowania obrazu, przedstawienia rekomendacji, a następnie dostarczenia odpowiedzi w postaci komunikatu głosowego imitującego głos ludzki. Każdy krok wymaga innego typu modelu sztucznej inteligencji.
Testy porównawcze MLPerf obejmują te i inne popularne obciążenia i scenariusze sztucznej inteligencji, w tym przetwarzanie obrazu komputerowego, przetwarzanie języka naturalnego, systemy rekomendacji i rozpoznawanie mowy. Wyniki MLPerf pomagają użytkownikom podejmować świadome decyzje zakupowe w oparciu o szczegółowe testy, gwarantując, że otrzymają produkt o niezawodnej i elastycznej wydajności.
Testy porównawcze MLPerf są wspierane przez szeroką grupę, do której należą Amazon, Arm, Baidu, Google, Harvard, Intel, Meta, Microsoft, Stanford i Uniwersytet w Toronto.
Orin prowadzi na krawędzi
W obszarze edge computing, NVIDIA Orin przeszła wszystkie testy MLPerf, wygrywając więcej testów niż jakikolwiek inny energooszczędny system typu system-on-a-chip, zapewniając nawet o 50% wzrost efektywności energetycznej w porównaniu z kwietniowym debiutem w MLPerf. W poprzedniej rundzie Orin działał do 5 razy szybciej niż moduł Jetson AGX Xavier poprzedniej generacji, zapewniając jednocześnie średnio 2 razy lepszą efektywność energetyczną.
Orin integruje w jednym układzie scalonym procesor graficzny NVIDIA Ampere oraz klaster wydajnych rdzeni procesora Arm. Jest on już dostępny w zestawie deweloperskim NVIDIA Jetson AGX Orin oraz modułach produkcyjnych dla robotyki i systemów autonomicznych. Obsługuje pełen stos oprogramowania NVIDIA AI, w tym platformy dla pojazdów autonomicznych (NVIDIA Hyperion), urządzeń medycznych (Clara Holoscan) i robotyki (Isaac).
Szeroki ekosystem sztucznej inteligencji NVIDIA
Wyniki MLPerf pokazują, że najszerszy w branży ekosystem wspiera technologię NVIDIA AI w uczeniu maszynowym. Ponad 70 zgłoszeń w tej rundzie zostało przeprowadzonych na platformie NVIDIA, a Microsoft Azure przesłał wyniki, uruchamiając NVIDIA AI w swoich usługach chmurowych.
Dodatkowo w tej rundzie pojawiło się 19 systemów z certyfikatem NVIDIA od 10 producentów, w tym ASUS, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo i Supermicro. Ich rozwiązania wykazują doskonałą wydajność w połączeniu ze sztuczną inteligencją NVIDIA w chmurze i lokalnie.
MLPerf to cenne narzędzie dla klientów oceniających platformy i dostawców AI. Wyniki z ostatniej rundy pokazują, że wydajność oferowana przez tych partnerów będzie rosła wraz z platformą NVIDIA. Całe oprogramowanie używane w tych testach jest dostępne w repozytorium MLPerf, dzięki czemu każdy może uzyskać dostęp do tych wyników. Optymalizacje są stale umieszczane w kontenerach dostępnych w NGC , katalogu NVIDIA dla oprogramowania akcelerowanego przez GPU. NVIDIA TensorRT , wykorzystywana przez wszystkie zgłoszenia w tej rundzie do optymalizacji wnioskowania AI, znajduje się w katalogu.
Niedawno przeprowadziliśmy własne testy MLperf na platformach Supermicro i Lenovo z procesorami graficznymi T4 i A2.
Amazon