De kern van Intel's visie ligt een belangrijke voorspelling: de bedrijfsinvesteringen in GenAI zullen naar verwachting verviervoudigen van 40 miljard dollar in 2024 naar een indrukwekkende 151 miljard dollar in 2027. Te midden van dit optimisme is de weg naar bedrijfsadoptie echter bezaaid met obstakels.
Intel is vastbesloten deze uitdagingen aan te pakken door schaalbare, veilige, end-to-end GenAI-oplossingen te leveren die de meest kritieke AI-hindernissen het hoofd bieden – van beveiligings- en integratiecomplexiteit tot kostenoverwegingen. Met een vaste focus op het mogelijk maken van transformatie, ontwikkelt Intel een alomvattende AI-strategie voor ondernemingen, waarbij een open ecosysteemgebaseerde aanpak wordt omarmd voor de gehele productlijn, die AI-pc's, edge computing en het datacenter omvat.
De show stelen: Intel Gaudi 3-accelerator
In de voorhoede van Intel's Vision staat de onthulling van de Intel Gaudi 3 AI-accelerator, in het verlengde van de gevestigde prestaties en efficiëntie van zijn voorganger, de Intel Gaudi 2 AI-accelerator. Door klanten de flexibiliteit te bieden van open community-gebaseerde software en industriestandaard Ethernet-netwerken, markeert de Gaudi 3 een aanzienlijke sprong voorwaarts in de schaalbaarheid van systemen.
Ontworpen voor GenAI-prestaties en efficiëntie, levert de Gaudi 3 indrukwekkende verbeteringen ten opzichte van zijn voorganger. Met 4x AI-computing voor BF16, een 1.5x toename in geheugen en 2x netwerkbandbreedte belooft het een ongeëvenaarde productiviteit voor AI-training en gevolgtrekking op grote taalmodellen (LLM's) en multimodale modellen.
Justin Hotard, Executive Vice President en General Manager van de Data Center and AI Group van Intel, onderstreept het belang van Gaudi 3 bij het aanpakken van het zich ontwikkelende landschap van de AI-markt. Hij benadrukt de vraag naar meer keuze onder ondernemingen en benadrukt de overtuigende combinatie van Gaudi 3 van prijsprestaties, schaalbaarheid en time-to-value-voordeel.
In cruciale sectoren zoals de financiële sector, de productie en de gezondheidszorg breiden bedrijven de toegankelijkheid van AI snel uit, waarbij ze overstappen van experimentele naar volledige implementatie van generatieve AI (GenAI)-projecten. Intel beschouwt de Gaudi 3-accelerator als cruciaal om aan deze eisen te voldoen en biedt veelzijdigheid via open community-gebaseerde software en standaard Ethernet-netwerken om AI-systemen en -applicaties flexibel te schalen.
De op maat gemaakte architectuur van de Gaudi 3 is op maat gemaakt voor efficiënte grootschalige AI-compute, vervaardigd volgens een 5 nanometer (nm) proces en uitgerust met de belangrijkste kenmerken:
- AI-Dedicated Compute Engine: Met een heterogene rekenengine bestaande uit 64 AI-aangepaste en programmeerbare Tensor Processor Cores (TPC's) en acht Matrix Multiplication Engines (MME's), blinkt de Gaudi 3 uit in het verwerken van complexe matrixbewerkingen die fundamenteel zijn voor deep learning-algoritmen.
- Geheugenboost voor LLM Capaciteitsvereisten: Met voldoende geheugencapaciteit, bandbreedte en ingebouwd statisch willekeurig toegankelijk geheugen (SRAM) verwerkt de Gaudi 3 op efficiënte wijze grote GenAI-datasets, waardoor de werklastprestaties en de kostenefficiëntie van het datacenter worden verbeterd.
- Efficiënte systeemschaling voor Enterprise GenAI: Geïntegreerd met vierentwintig 200 gigabit Ethernet-poorten maakt de Gaudi 3 flexibele en open-standaard netwerken mogelijk, waardoor efficiënte schaling mogelijk wordt gemaakt om grote rekenclusters te ondersteunen en tegelijkertijd de afhankelijkheid van leveranciers wordt geëlimineerd.
- Open Industry Software voor productiviteit van ontwikkelaars: De Gaudi-software integreert het PyTorch-framework en biedt geoptimaliseerde Hugging Face-communitygebaseerde modellen, waardoor de productiviteit van ontwikkelaars wordt verbeterd en het overzetten van modellen naar verschillende hardwaretypen wordt vergemakkelijkt.
- Gaudi 3 PCIe: De Gaudi 3 PCIe add-in-kaart introduceert een nieuwe vormfactor in de productlijn en biedt een hoge efficiëntie en een lager energieverbruik, ideaal voor werklasten zoals fijnafstemming, inferentie en retrieval-augmentedgeneration (RAG).
De Gaudi 3-accelerator zal naar verwachting aanzienlijke prestatieverbeteringen opleveren voor trainings- en gevolgtrekkingstaken op toonaangevende GenAI-modellen en staat klaar om een revolutie teweeg te brengen in AI en high-performance computing (HPC). Het zal een cruciale rol spelen in Falcon Shores, Intel's volgende generatie GPU, waarbij het intellectuele eigendom van Intel Gaudi en Intel Xe wordt geïntegreerd met een enkele GPU-programmeerinterface gebaseerd op de Intel oneAPI-specificatie.
Intel Gaudi 3 versus NVIDIA
Tijdens de openingssessie stond Intel-CEO Pat Gelsinger centraal om de Intel Gaudi 3 AI-accelerator te introduceren. Gaudi 3 zal naar verwachting een 50 procent snellere time-to-train opleveren vergeleken met NVIDIA H100 voor de Llama2 7B en 13B en GPT-3 175B parameters. Bovendien kan de Gaudi 3-accelerator een 50 procent hogere inferentiedoorvoer en 40 procent betere inferentie-energie-efficiëntie produceren voor Llama 7B- en 70B-parameters en Falcone 180B-parametermodellen vergeleken met NVIDIA H200. Bovendien heeft Gaudi 3 een 30 procent snellere inferentie gedemonstreerd dan NVIDIA H200 op Llama 7B- en 70B-parameters en Falcon 180B-parametermodellen.
Met indrukwekkende prestatiegegevens beschikt Gaudi 3 over een opmerkelijk 50 procent betere gevolgtrekkingsdoorvoer en 60 procent betere energie-efficiëntie vergeleken met industriële alternatieven.
Ondersteund door top-OEM's zoals Dell Technologies, Supermicro, Lenovo en HPE en uitgebreid met functies zoals PCIe-kaartondersteuning, komt Gaudi 3 naar voren als een GPU met een enorm potentieel in het AI-landschap.
Intel Xeon 6-processors
Naast de Intel Gaudi 3-accelerator leverde Intel updates over zijn producten en diensten van de volgende generatie in alle segmenten van zakelijke AI, met nieuwe Intel Xeon 6-processors.
Intel Xeon 6-processors zullen prestatie-efficiënte oplossingen bieden voor het uitvoeren van de huidige GenAI-oplossingen, waaronder RAG, die bedrijfsspecifieke resultaten produceren met behulp van bedrijfseigen gegevens. Intel introduceerde een nieuw merk voor zijn volgende generatie processors voor datacenters, cloud en edge. Intel Xeon 6-processors met nieuwe Efficient-cores (E-core) zullen efficiëntie leveren. Tegelijkertijd zal Intel Xeon 6 met prestatiekernen (P-core) betere AI-prestaties bieden en kort na de E-core-processors worden gelanceerd.
Intel Xeon 6-processors met E-cores (voorheen met de codenaam Sierra Forest) zullen naar verwachting 2.4x betere prestaties per watt en 2.7x betere rackdichtheid leveren dan 2e generatie Intel Xeon-processors. De Intel Xeon 6-processors met P-cores (voorheen met de codenaam Granite Rapids) bevatten softwareondersteuning voor het MXFP4-gegevensformaat, waardoor de daaropvolgende tokenlatentie tot 6.5x wordt verminderd ten opzichte van de 4e generatie Xeon met behulp van FP16 en de mogelijkheid om 70 miljard parameters Llama2 uit te voeren modellen.
Amazon