Intel Vision ożywia Gaudiego 3

W centrum wizji Intela leży istotna prognoza: inwestycje przedsiębiorstw w GenAI mają wzrosnąć czterokrotnie, z 40 miliardów dolarów w 2024 r., do imponujących 151 miliardów dolarów w 2027 r. Jednak pomimo tego optymizmu droga do wdrożenia tej technologii w przedsiębiorstwach jest usiana przeszkodami.

Firma Intel jest zdecydowana stawić czoła tym wyzwaniom, dostarczając skalowalne, bezpieczne i kompleksowe rozwiązania GenAI, które przezwyciężają najistotniejsze bariery w dziedzinie AI – od problemów z bezpieczeństwem i integracją po kwestie związane z kosztami. Koncentrując się na wspieraniu transformacji, Intel opracowuje kompleksową strategię rozwoju AI dla przedsiębiorstw, przyjmując otwarte podejście oparte na ekosystemie w całej swojej linii produktów, obejmującej komputery z AI, przetwarzanie brzegowe i centra danych.

Kradnie show: Intel Gaudi 3 Accelerator

Na czele wizji Intela stoi premiera akceleratora Intel Gaudi 3 AI, który kontynuuje tradycję swojego poprzednika, akceleratora Intel Gaudi 2 AI, charakteryzującego się ugruntowaną wydajnością i efektywnością. Oferując klientom elastyczność otwartego oprogramowania opartego na społeczności i standardowej w branży sieci Ethernet, Gaudi 3 stanowi znaczący krok naprzód w zakresie skalowalności systemu.

Zaprojektowany z myślą o wydajności i efektywności GenAI, Gaudi 3 oferuje imponujące udoskonalenia w porównaniu ze swoim poprzednikiem. Dzięki czterokrotnie większej mocy obliczeniowej AI dla BF16, 1.5-krotnie większej pamięci i dwukrotnej przepustowości sieci, obiecuje niezrównaną wydajność w zakresie szkolenia i wnioskowania AI w dużych modelach językowych (LLM) i modelach multimodalnych.

Justin Hotard, wiceprezes wykonawczy i dyrektor generalny działu Data Center and AI Group w firmie Intel, podkreśla znaczenie Gaudi 3 w kontekście zmieniającego się rynku sztucznej inteligencji. Podkreśla zapotrzebowanie przedsiębiorstw na większy wybór i podkreśla atrakcyjną kombinację wydajności cenowej, skalowalności i przewagi w zakresie czasu potrzebnego na osiągnięcie wartości.

W sektorach o kluczowym znaczeniu, takich jak finanse, produkcja i opieka zdrowotna, przedsiębiorstwa dynamicznie zwiększają dostępność sztucznej inteligencji (AI), przechodząc od eksperymentów do pełnej implementacji projektów generatywnej AI (GenAI). Intel postrzega akcelerator Gaudi 3 jako kluczowy element w spełnieniu tych wymagań, oferujący wszechstronność dzięki otwartemu oprogramowaniu opartemu na społeczności i standardowej sieci Ethernet, co pozwala na elastyczne skalowanie systemów i aplikacji AI.

Niestandardowa architektura Gaudi 3 została dostosowana do wydajnych obliczeń na dużą skalę z zakresu sztucznej inteligencji. Komputer jest wytwarzany w procesie technologicznym 5 nanometrów (nm) i wyposażony w kluczowe funkcje:

• Silnik obliczeniowy dedykowany sztucznej inteligencji: Wyposażony w heterogeniczny silnik obliczeniowy składający się z 64 programowalnych i niestandardowych dla sztucznej inteligencji rdzeni procesora tensorowego (TPC) oraz ośmiu silników mnożenia macierzy (MME), Gaudi 3 doskonale radzi sobie ze złożonymi operacjami macierzowymi stanowiącymi podstawę algorytmów głębokiego uczenia.
• Zwiększona pojemność pamięci spełniająca wymagania LLM: Dzięki dużej pojemności pamięci, przepustowości i wbudowanej pamięci statycznej o swobodnym dostępie (SRAM) Gaudi 3 wydajnie przetwarza duże zbiory danych GenAI, zwiększając wydajność obciążenia i opłacalność centrum danych.
• Efektywne skalowanie systemu dla Enterprise GenAI: Gaudi 3, zintegrowany z dwudziestoma czterema portami Ethernet 200 gigabitów, umożliwia elastyczną pracę w sieci w oparciu o otwarte standardy, ułatwiając efektywne skalowanie w celu obsługi dużych klastrów obliczeniowych, eliminując jednocześnie uzależnienie od dostawcy.
• Otwarte oprogramowanie branżowe zwiększające produktywność programistów: oprogramowanie Gaudi integruje środowisko PyTorch i udostępnia zoptymalizowane modele Hugging Face oparte na społeczności, zwiększając produktywność programistów i ułatwiając przenoszenie modeli na różne typy sprzętu.
• Gaudi 3 PCIe: Karta rozszerzeń Gaudi 3 PCIe wprowadza nowy format do linii produktów. Charakteryzuje się wysoką wydajnością i niższym zużyciem energii, co czyni ją idealną do takich zadań, jak dostrajanie, wnioskowanie i generowanie wspomagane pobieraniem (RAG).

Oczekuje się, że akcelerator Gaudi 3 zapewni znaczną poprawę wydajności w zadaniach szkoleniowych i wnioskowania w wiodących modelach GenAI. Ma on zrewolucjonizować sztuczną inteligencję i obliczenia o wysokiej wydajności (HPC). Odegra on kluczową rolę w Falcon Shores, procesorze graficznym nowej generacji firmy Intel, integrując własność intelektualną Intel Gaudi i Intel Xe w jednym interfejsie programistycznym GPU opartym na specyfikacji Intel oneAPI.

Intel Gaudi 3 kontra NVIDIA

Podczas sesji otwarcia, prezes firmy Intel, Pat Gelsinger, zajął centralne miejsce, prezentując akcelerator Intel Gaudi 3 AI. Oczekuje się, że Gaudi 3 zapewni o 50% krótszy czas trenowania w porównaniu z NVIDIA H100 w przypadku parametrów Llama2 7B i 13B oraz GPT-3 175B. Ponadto, akcelerator Gaudi 3 może zapewnić o 50% wyższą przepustowość wnioskowania i o 40% lepszą efektywność energetyczną wnioskowania w przypadku parametrów Llama 7B i 70B oraz modeli parametrów Falcone 180B w porównaniu z NVIDIA H200. Co więcej, Gaudi 3 wykazał o 30% szybsze wnioskowanie niż NVIDIA H200 w przypadku parametrów Llama 7B i 70B oraz modeli parametrów Falcon 180B.

Gaudi 3 charakteryzuje się imponującymi parametrami wydajnościowymi. Może się pochwalić aż o 50 procent lepszą przepustowością wnioskowania i o 60 procent lepszą efektywnością energetyczną w porównaniu z konkurencyjnymi rozwiązaniami na rynku.

Dzięki wsparciu czołowych producentów OEM, takich jak Dell Technologies, Supermicro, Lenovo i HPE, a także rozszerzeniu o funkcje takie jak obsługa kart PCIe, Gaudi 3 wyłania się jako procesor graficzny o ogromnym potencjale w obszarze sztucznej inteligencji.

Procesory Intel Xeon 6

Oprócz akceleratora Intel Gaudi 3 firma Intel udostępniła aktualizacje dotyczące swoich produktów i usług nowej generacji we wszystkich segmentach korporacyjnej sztucznej inteligencji, w tym nowe procesory Intel Xeon 6.

Procesory Intel Xeon 6 zaoferują wydajne rozwiązania do obsługi obecnych rozwiązań GenAI, w tym RAG, które generują wyniki specyficzne dla danej firmy, wykorzystując zastrzeżone dane. Intel wprowadził nową markę procesorów nowej generacji dla centrów danych, chmury obliczeniowej i rozwiązań brzegowych. Procesory Intel Xeon 6 z nowymi rdzeniami Efficient-core (E-core) zapewnią wydajność. Jednocześnie procesory Intel Xeon 6 z rdzeniami Performance (P-core) zaoferują zwiększoną wydajność AI i pojawią się wkrótce po procesorach E-core.

Procesory Intel Xeon 6 z rdzeniami E (dawniej o nazwie kodowej Sierra Forest) mają zapewnić 2.4-krotnie lepszą wydajność na wat i 2.7-krotnie większą gęstość upakowania w szafie niż procesory Intel Xeon 2. generacji. Procesory Intel Xeon 6 z rdzeniami P (dawniej o nazwie kodowej Granite Rapids) oferują programowe wsparcie dla formatu danych MXFP4, co zmniejsza opóźnienie tokenów nawet o 6.5-krotnie w porównaniu z procesorami Xeon 4. generacji z procesorem FP16 i umożliwia obsługę modeli Llama2 o 70 miliardach parametrów.