Intel 비전의 핵심에는 GenAI에 대한 기업 투자가 40년 2024억 달러에서 151년 2027억 달러로 XNUMX배 증가할 것이라는 중요한 예측이 있습니다. 그러나 이러한 낙관론 속에서도 기업 채택을 향한 길은 장애물로 가득 차 있습니다.
인텔은 보안 및 통합 복잡성부터 비용 문제에 이르기까지 가장 중요한 AI 장애물에 직면하는 확장 가능하고 안전한 엔드 투 엔드 GenAI 솔루션을 제공함으로써 이러한 과제를 해결하기 위해 최선을 다하고 있습니다. 인텔은 혁신 활성화에 꾸준히 초점을 맞춰 AI PC, 엣지 컴퓨팅 및 데이터 센터를 포괄하는 전체 제품 라인에 개방형 생태계 기반 접근 방식을 수용하는 포괄적인 엔터프라이즈 AI 전략을 수립하고 있습니다.
쇼를 훔치다: Intel Gaudi 3 Accelerator
인텔 비전의 최전선에는 이전 제품의 확립된 성능과 효율성인 Intel Gaudi 3 AI 가속기를 계승한 Intel Gaudi 2 AI 가속기의 공개가 있습니다. 고객에게 개방형 커뮤니티 기반 소프트웨어와 업계 표준 이더넷 네트워킹의 유연성을 제공하는 Gaudi 3는 시스템 확장성에 있어 획기적인 도약을 보여줍니다.
GenAI 성능과 효율성을 위해 설계된 Gaudi 3는 이전 제품에 비해 인상적인 향상을 제공합니다. BF4의 16배 AI 컴퓨팅, 1.5배 증가한 메모리, 2배 네트워킹 대역폭을 통해 LLM(대형 언어 모델) 및 다중 모드 모델에 대한 AI 교육 및 추론에 있어 비교할 수 없는 생산성을 약속합니다.
Intel의 수석 부사장이자 데이터 센터 및 AI 그룹 총괄 책임자인 Justin Hotard는 진화하는 AI 시장 환경을 다루는 데 있어 Gaudi 3의 중요성을 강조합니다. 그는 기업들 사이에서 선택의 폭이 넓어져야 한다는 요구를 강조하고 Gaudi 3의 가격 대비 성능, 확장성 및 가치 실현 시간 이점의 강력한 조합을 강조합니다.
금융, 제조, 의료 등 핵심 부문에서 기업은 생성 AI(GenAI) 프로젝트의 실험적 구현에서 본격적인 구현으로 전환하면서 AI 접근성을 빠르게 확장하고 있습니다. 인텔은 Gaudi 3 가속기가 이러한 요구 사항을 충족하는 데 중추적인 역할을 하며 개방형 커뮤니티 기반 소프트웨어와 표준 이더넷 네트워킹을 통해 AI 시스템과 애플리케이션을 유연하게 확장할 수 있는 다양성을 제공한다고 보고 있습니다.
Gaudi 3의 맞춤형 아키텍처는 효율적인 대규모 AI 컴퓨팅을 위해 맞춤화되었으며 5나노미터(nm) 공정으로 제조되었으며 다음과 같은 주요 기능을 갖추고 있습니다.
- AI 전용 컴퓨팅 엔진: 64개의 AI 맞춤형 프로그래밍 가능 텐서 프로세서 코어(TPC)와 3개의 매트릭스 곱셈 엔진(MME)으로 구성된 이기종 컴퓨팅 엔진을 갖춘 Gaudi XNUMX는 딥 러닝 알고리즘의 기본이 되는 복잡한 매트릭스 작업을 처리하는 데 탁월합니다.
- LLM 용량 요구 사항을 위한 메모리 향상: 충분한 메모리 용량, 대역폭 및 온보드 SRAM(Static Random Access Memory)을 갖춘 Gaudi 3는 대규모 GenAI 데이터 세트를 효율적으로 처리하여 워크로드 성능과 데이터 센터 비용 효율성을 향상시킵니다.
- Enterprise GenAI를 위한 효율적인 시스템 확장: 200개의 3기가비트 이더넷 포트가 통합된 Gaudi XNUMX는 유연한 개방형 표준 네트워킹을 지원하여 벤더 종속을 제거하는 동시에 대규모 컴퓨팅 클러스터를 지원하는 효율적인 확장을 촉진합니다.
- 개발자 생산성을 위한 개방형 산업 소프트웨어: Gaudi 소프트웨어는 PyTorch 프레임워크를 통합하고 최적화된 Hugging Face 커뮤니티 기반 모델을 제공하여 개발자 생산성을 향상하고 하드웨어 유형 전반에 걸쳐 모델 포팅을 용이하게 합니다.
- Gaudi 3 PCIe: 제품 라인에 새로운 폼 팩터를 도입한 Gaudi 3 PCIe 추가 카드는 높은 효율성과 낮은 전력 소비를 제공하여 미세 조정, 추론, 검색 증강 생성(RAG)과 같은 워크로드에 이상적입니다.
선도적인 GenAI 모델의 훈련 및 추론 작업에 대해 상당한 성능 향상을 제공할 것으로 예상되는 Gaudi 3 가속기는 AI 및 고성능 컴퓨팅(HPC)에 혁명을 일으킬 준비가 되어 있습니다. Intel Gaudi 및 Intel Xe 지적 재산을 Intel oneAPI 사양을 기반으로 하는 단일 GPU 프로그래밍 인터페이스와 통합하는 Intel의 차세대 GPU인 Falcon Shores에서 중요한 역할을 할 것입니다.
인텔 가우디 3 vs 엔비디아
오프닝 세션에서 인텔 CEO인 팻 겔싱어(Pat Gelsinger)는 인텔 가우디 3 AI 가속기를 소개하기 위해 중앙 무대에 올랐습니다. Gaudi 3는 Llama50 100B, 2B, GPT-7 13B 매개변수 전체에서 NVIDIA H3에 비해 훈련 시간이 175% 더 빨라질 것으로 예상됩니다. 또한 Gaudi 3 가속기는 NVIDIA H50에 비해 Llama 40B 및 7B 매개변수와 Falcone 70B 매개변수 모델 전반에 걸쳐 180% 더 높은 추론 처리량과 200% 더 나은 추론 전력 효율성을 생성할 수 있습니다. 또한 Gaudi 3는 Llama 30B 및 200B 매개변수와 Falcon 7B 매개변수 모델에서 NVIDIA H70보다 추론 속도가 180% 더 빠른 것으로 나타났습니다.
인상적인 성능 지표를 갖춘 Gaudi 3는 업계 대안에 비해 50% 향상된 추론 처리량과 60% 향상된 전력 효율성을 자랑합니다.
Dell Technologies, Supermicro, Lenovo 및 HPE와 같은 최고의 OEM이 지원하고 PCIe 카드 지원과 같은 기능으로 강화된 Gaudi 3는 AI 환경에서 엄청난 잠재력을 지닌 GPU로 부상합니다.
인텔 제온 6 프로세서
Intel Gaudi 3 가속기 외에도 Intel은 새로운 Intel Xeon 6 프로세서를 통해 엔터프라이즈 AI의 모든 부문에 걸쳐 차세대 제품 및 서비스에 대한 업데이트를 제공했습니다.
Intel Xeon 6 프로세서는 독점 데이터를 사용하여 비즈니스별 결과를 생성하는 RAG를 포함한 현재 GenAI 솔루션을 실행하기 위한 성능 효율적인 솔루션을 제공합니다. 인텔은 데이터 센터, 클라우드 및 엣지를 위한 차세대 프로세서를 위한 새로운 브랜드를 출시했습니다. 새로운 E-코어(Efficient Core)가 탑재된 Intel Xeon 6 프로세서는 효율성을 제공합니다. 동시에 성능 코어(P-코어)가 탑재된 Intel Xeon 6은 향상된 AI 성능을 제공하고 E-코어 프로세서 이후 곧 출시될 예정입니다.
E-코어(이전 코드명 Sierra Forest)를 탑재한 Intel Xeon 6 프로세서는 2.4세대 Intel Xeon 프로세서보다 와트당 2.7배 향상된 성능과 2배 향상된 랙 밀도를 제공할 것으로 예상됩니다. P-코어(이전 코드명 Granite Rapids)가 탑재된 Intel Xeon 6 프로세서는 MXFP4 데이터 형식에 대한 소프트웨어 지원을 통합하여 FP6.5을 사용하는 4세대 Xeon에 비해 후속 토큰 대기 시간을 최대 16배까지 줄이고 70억 매개변수 Llama2를 실행할 수 있습니다. 모델.
아마존