StorageReview.com

AMD i Intel czynią oneDNN domyślną ścieżką x86 w PyTorch, integrując ZenDNN i przygotowując rozszerzenia obliczeniowe AI

Enterprise   ◇  Oprogramowanie

AMD i Intel ogłosiły, że połączą swoje prace nad optymalizacją procesorów x86 dla platformy PyTorch w oneDNN, bibliotece głębokiego uczenia maszynowego o otwartym kodzie źródłowym, zarządzanej przez Unified Acceleration Foundation (UXL), i uznają ją za domyślną bibliotekę open source do akceleracji x86 w PyTorch. AMD włącza swoje optymalizacje ZenDNN do oneDNN i dołączyło do UXL Foundation jako członek sterujący. Decyzja ta została podjęta na podstawie rekomendacji x86 Ecosystem Advisory Group, a jej celem jest stworzenie jednej ścieżki programowej do zoptymalizowanego wnioskowania i trenowania procesorów w procesorach AMD i Intel.

Procesor Intel Xeon 6 na piance antystatycznej w laboratorium StorageReview, jedna z dwóch rodzin procesorów x86, które oneDNN obejmie w ramach PyTorch

AMD integruje optymalizacje ZenDNN z oneDNN

Do tej pory PyTorch na architekturze x86 korzystał z dwóch ścieżek dostawców. oneDNN, który początkowo był biblioteką Intel MKL-DNN, a obecnie podlega zarządzaniu UXL, jest już biblioteką stojącą za wieloma zoptymalizowanymi operatorami procesorów PyTorch, podczas gdy AMD utrzymywało ZenDNN jako zestaw prymitywów dostrojonych do EPYC z osobną wtyczką PyTorch. Programiści, którzy chcieli uzyskać jak najwięcej z procesorów obu dostawców, musieli wiedzieć, która biblioteka została zastosowana i zainstalować właściwą. Konsolidacja w oneDNN sprawia, że ​​kernele obu dostawców korzystają z tych samych wywołań PyTorch.

„AMD rozwija otwarty ekosystem oprogramowania, który daje programistom większy wybór i ułatwia tworzenie wysokowydajnych aplikacji AI” – powiedział Robert Hormuth, wiceprezes ds. architektury i strategii w AMD. „Współpracując z x86 Ecosystem Advisory Group, jednoczymy branżę wokół wspólnych technologii, które upraszczają rozwój oprogramowania na procesorach x86”.

Renderowanie procesora AMD EPYC; AMD łączy optymalizacje ZenDNN dla EPYC w oneDNN, dzięki czemu PyTorch korzysta z jednej biblioteki w architekturze x86

AMD deklaruje, że będzie kontynuować optymalizację swoich procesorów, ponieważ prace nad ZenDNN trafiają do oneDNN. Żadna z firm nie podała nazwy wersji PyTorch ani oneDNN, która będzie zawierać skonsolidowaną implementację, nie opublikowała harmonogramu ani danych dotyczących wydajności, więc na razie ogłoszenie opisuje trwające prace integracyjne. Linia EPYC 9006 Venice i Intel Diamond Rapids to najnowsze podzespoły serwerowe po obu stronach, a żadna z firm nie podała, które generacje jako pierwsze otrzymają skonsolidowaną ścieżkę.

Grupą doradczą stojącą za tą rekomendacją jest grupa utworzona w październiku 2024 roku przez Intel i AMD, której celem jest promowanie architektury x86 jako wspólnej platformy. Jej członkami-założycielami są Broadcom, Dell, Google, HPE, HP, Lenovo, Meta, Microsoft, Oracle i Red Hat. Jej statut obejmuje kompatybilność międzyplatformową i prostsze tworzenie oprogramowania, a dostosowanie oneDNN do specyfikacji ACE jest drugim rezultatem, jaki przypisują jej obaj producenci chipów.

Wsparcie rozszerzeń AI Compute planowane w przyszłych aktualizacjach

Drugim elementem współpracy jest AI Compute Extensions (ACE), zestaw instrukcji x86 nowej generacji, który AMD i Intel wspólnie definiują w ramach tej samej grupy doradczej. ACE ma na celu przyspieszenie mnożenia macierzy, a firmy twierdzą, że zostanie on udostępniony w PyTorch poprzez przyszłe aktualizacje oneDNN, co jest praktycznym powodem istnienia jednej biblioteki: jedna integracja dostarcza nowe instrukcje do procesorów obu dostawców.

PyTorch oferuje graficzną listę funkcji szybkiego i opartego na grafach wykonywania, dynamicznych sieci neuronowych, rozproszonego szkolenia i wnioskowania przyspieszanego sprzętowo, a framework, którego ścieżka procesora x86 oneDNN będzie obsługiwała

Firmy AMD i Intel opublikowały specyfikację ACE za pośrednictwem grupy doradczej na początku tego roku. Definiuje ona instrukcje macierzy iloczynu zewnętrznego jako dodatkową jednostkę w silniku AVX10, z ośmioma 512-bitowymi rejestrami kafelkowymi, 1,024-bitowym rejestrem skali bloku do skalowania bloków OCP MX oraz typami danych INT8, FP8, MXFP8, MXINT8 i BF16, z konwersjami obejmującymi MXFP4 i MXFP6. ACE jawi się oprogramowaniu jako nowa paleta w ramach frameworka AMX, która pozwala na ponowne wykorzystanie modelu programowania AMX i obsługi systemu operacyjnego. Specyfikacja deklaruje 16-krotny wzrost gęstości obliczeniowej w porównaniu z równoważnym algorytmem mnożenia i akumulacji AVX10.

„Programiści nie powinni musieć myśleć o oddzielnych ścieżkach programistycznych, aby w pełni wykorzystać możliwości procesora x86” – powiedział Jeff McVeigh, wiceprezes i dyrektor generalny ds. strategicznych programów centrów danych w firmie Intel. „Współpraca z AMD w ramach oneDNN zapewnia społeczności PyTorch spójne podejście do nowoczesnych procesorów i sposób na wprowadzenie do infrastruktury przyszłych możliwości, w tym rozszerzeń AI Compute Extensions”.

Żadna z firm nie podała jeszcze nazw generacji procesorów, które będą obsługiwać ACE, więc integracja oneDNN stanowi część programową planu rozwoju sprzętu, który wciąż nie został ogłoszony. Dla użytkowników PyTorch na platformie x86, najbliższa zmiana dotyczy miejsca, w którym zachodzą optymalizacje, a mierzalna kwestia, czy pojedyncza ścieżka oneDNN będzie zgodna z tym, co ZenDNN dostarczył na EPYC, będzie musiała poczekać na wydanie, na które obie firmy będą mogły wskazać.

AMD EPYC

Intel Xeon

Skontaktuj się z StorageReview

Biuletyn | YouTube | Podcast iTunes / Spotify | Instagram | Twitter | TikTok | Kanał RSS

Harold Fritts

Pracuję w branży technologicznej od czasu, gdy IBM stworzyło Selectric. Moim głównym zajęciem jest jednak pisanie. Postanowiłem więc odejść z działu przedsprzedaży i wrócić do korzeni, zajmując się trochę pisaniem, ale wciąż angażując się w technologię.