산업계가 인공지능(AI)을 컴퓨팅 인프라에 지속적으로 도입하고 통합함에 따라 리소스 사용량이 증가하고 에너지 효율성을 유지하기가 어려워지고 있습니다. 전반적으로 가속 컴퓨팅과 그 기반 기술은 차세대 혁신을 개발하는 데 필요한 효율성을 제공하며, NVIDIA GPU, NVIDIA AI, 그리고 새로운 4세대 인텔 제온 스케일러블 프로세서 플랫폼과 같은 차세대 프로세서가 그 선두에 서 있습니다.
NVIDIA와 파트너사들은 4세대 인텔 제온 스케일러블 프로세서 출시와 함께 에너지 효율적인 AI 가속 컴퓨팅 시스템의 새로운 시대를 열고 있습니다. NVIDIA H100 텐서 코어 GPU 와 결합된 이 시스템은 이전 세대보다 훨씬 뛰어난 성능, 확장성 및 효율성을 제공합니다.
엔터프라이즈 AI에 성능과 효율성을 더하는 새로운 시스템
NVIDIA와 Intel로 구동되는 새로운 시스템을 통해 기업은 CPU 전용 데이터 센터 서버보다 25배 더 효율적으로 워크로드를 실행할 수 있습니다. 와트당 이 성능을 제공하는 것은 전력을 적게 사용하는 것과 같으며, 이는 데이터 센터가 최신 워크로드를 가속화하기 위해 더 많은 전력을 사용한다는 것을 의미합니다.
차세대 NVIDIA 가속 서버는 교육 및 추론 속도를 높여 에너지 효율성을 3.5배 향상시켜 실제 비용 절감으로 이어지고 AI 데이터 센터의 TCO를 3배 낮춥니다.
4세대 Intel Xeon CPU는 PCIe Gen 5를 지원합니다.
새로운 4세대 Intel Xeon CPU는 PCIe Gen 5를 지원하여 CPU에서 NVIDIA GPU 및 네트워킹으로의 데이터 전송 속도를 두 배로 높입니다. 증가된 PCIe 레인은 각 서버 내에서 더 높은 GPU 밀도와 고속 네트워킹을 제공합니다.
더 빠른 메모리 대역폭은 AI와 같은 데이터 집약적 워크로드의 성능을 향상시키는 동시에 연결당 최대 400Gbps의 네트워킹 속도로 서버와 스토리지 간의 더 빠른 데이터 전송을 지원합니다.
NVIDIA 파트너사가 제공하는 NVIDIA DGX H100 시스템 및 서버(H100 PCIe GPU 탑재)에는 NVIDIA AI Enterprise 라이선스가 함께 제공됩니다. NVIDIA AI Enterprise 는 엔드투엔드 방식의 안전한 클라우드 네이티브 AI 개발 및 배포 소프트웨어 제품군으로, 효율적인 기업용 AI를 위한 완벽한 플랫폼을 제공합니다.
NVIDIA Base Command로 구동되는 NVIDIA DGX H100 시스템
NVIDIA DGX H100 시스템은 데이터 센터 가속화를 위해 설계된 NVIDIA Base Command 운영 체제 기반의 최적화된 플랫폼을 제공합니다 . 각 시스템은 8개의 NVIDIA H100 GPU, 10개의 NVIDIA ConnectX-7 네트워크 어댑터, 그리고 듀얼 4세대 Intel Xeon Scalable 프로세서를 탑재하여 대규모 생성형 AI 모델, 대규모 언어 모델, 추천 시스템 등을 구축하는 데 필요한 성능을 제공합니다.
NVIDIA 네트워킹과 결합된 이 아키텍처는 이전 세대보다 최대 9배, 가속되지 않은 X20 듀얼 소켓 서버보다 AI 교육 및 HPC 워크로드에 대해 40~86배 더 높은 성능을 제공하는 효율적인 컴퓨팅을 대규모로 강화할 것으로 예상됩니다. 그런 종류의 성능으로 언어 모델을 훈련하는 데 40일이 걸리던 작업을 XNUMX일 이내에 완료할 수 있습니다.
NVIDIA DGX H100 시스템은 NVIDIA DGX SuperPOD 의 핵심 구성 요소로서 최대 1엑사플롭의 AI 성능을 제공하여 대규모 기업 AI 배포의 효율성을 획기적으로 향상시킵니다.
NVIDIA 파트너, 데이터 센터 효율성 향상
AI 데이터 센터 워크로드의 경우 NVIDIA H100 GPU를 통해 기업은 애플리케이션을 보다 효율적으로 구축하고 배포할 수 있습니다.
ASUS, Atos, Cisco, Dell Technologies, Fujitsu, GIGABYTE, Hewlett Packard Enterprise, Lenovo, QCT 및 Supermicro를 포함한 NVIDIA 파트너는 H100 GPU 및 4세대 Intel Xeon Scalable CPU 서버의 새로운 포트폴리오를 곧 제공하기 시작할 것으로 예상됩니다.
NVIDIA ConnectX-7 네트워킹 및 Intel 4세대 Xeon Scalable 프로세서로 서버를 연결하면 효율성이 향상되고 인프라 및 전력 소비가 줄어듭니다. NVIDIA ConnectX-7 어댑터는 PCIe Gen 5와 이더넷 또는 InfiniBand를 통한 400Gbps의 연결 속도를 지원하여 서버와 스토리지 간의 네트워킹 처리량을 두 배로 늘립니다.
어댑터는 고급 네트워킹, 스토리지 및 보안 오프로드를 지원합니다. ConnectX-7은 필요한 케이블과 스위치 포트 수를 줄여 대형 GPU 가속 HPC 및 AI 클러스터를 네트워킹하는 데 필요한 전력을 17% 이상 절약하고 이러한 새로운 서버의 에너지 효율성을 높이는 데 기여합니다.
풀스택 AI 솔루션을 제공하는 NVIDIA AI 엔터프라이즈 소프트웨어
이러한 차세대 시스템은 NVIDIA AI Enterprise Suite에 최적화되어 있습니다. NVIDIA H100에서 실행되는 NVIDIA AI Enterprise는 데이터 사이언스 파이프라인을 가속화합니다. 예측 AI 모델의 개발 및 배포를 간소화하여 필수 프로세스를 자동화하고 데이터에서 빠른 통찰력을 얻습니다.
참조 응용 프로그램, 프레임워크, 사전 훈련된 모델 및 인프라 최적화의 AI 워크플로를 포함한 광범위한 전체 스택 소프트웨어 라이브러리를 통해 이 소프트웨어는 엔터프라이즈 AI 성공을 확장하기 위한 이상적인 기반을 제공합니다.
아마존